互联网的涌现,意味着"信息大爆炸"。
用户担心的,不再是信息太少,而是信息太多。如何从大量信息之中,快速有效地找出最主要的内容,成了互联网的一大核心问题。
各种各样的排名算法,是目前过滤信息的紧张手段之一。对信息进行排名,意味着将信息按照主要性依次排列,并且及时进行更新。排列的依据,可以基于信息本身的特色,也可以基于用户的投票,即让用户决定,什么样的信息可以排在第一位。

下面,我将整理和剖析一些基于用户投票的排名算法,打算分成四个部分连载,本日是第一篇。
一、Delicious
最直觉、最大略的算法,莫过于按照单位韶光内用户的投票数进行排名。得票最多的项目,自然就排在第一位。
旧版的 Delicious,有一个"热门书签排行榜",便是这样统计出来的。
它按照"过去 60 分钟内被收藏的次数"进行排名。每过 60 分钟,就统计一次。
这个算法的优点是比较大略、随意马虎支配、内容更新相称快;缺陷是排名变革不足平滑,前一个小时还排在前列的内容,每每第二个小时就一落千丈。
二、Hacker News
Hacker News 是一个网络社区,可以张贴链接,或者谈论某个主题。
每个帖子前面有一个向上的三角形,如果你以为这个内容很好,就点击一下,投上一票。根据得票数,系统自动统计出热门文章排行榜。但是,并非得票最多的文章排在第一位,还要考虑韶光成分,新文章该当比旧文章更随意马虎得到好的排名。
Hacker News 利用 Paul Graham 开拓的 Arc 措辞编写,源码可以从 arclanguage.org 下载。它的排名算法是这样实现的:
将上面的代码还原为数学公式:
个中,
P 表示帖子的得票数,减去 1 是为了忽略发帖人的投票。
T 表示间隔发帖的韶光(单位为小时),加上 2 是为了防止最新的帖子导致分母过小(之以是选择2,可能是由于从原始文章涌如今其他网站,到转贴至 Hacker News,均匀须要两个小时)。
G 表示"重力因子"(gravityth power),即将帖子排名往下拉的力量,默认值为1.8,后文会详细谈论这个值。
从这个公式来看,决定帖子排名有三个成分:
第一个成分是得票数P。
在其他条件不变的情形下,得票越多,排名越高。
从上图可以看到,有三个同时揭橥的帖子,得票分别为 200 票、60票和 30 票(减 1 后为 199、59和 29),分别以黄色、紫色和蓝色表示。在任一个韶光点上,都是黄色曲线在最上方,蓝色曲线在最下方。
如果你不想让"高票帖子"与"低票帖子"的差距过大,可以在得票数上加一个小于 1 的指数,比如(P-1)^0.8。
第二个成分是间隔发帖的韶光T。
在其他条件不变的情形下,越是新揭橥的帖子,排名越高。或者说,一个帖子的排名,会随着韶光不断低落。
从前一张图可以看到,经由 24 小时之后,所有帖子的得分基本上都小于1,这意味着它们都将跌到排行榜的末端,担保了排名前列的都将是较新的内容。
第三个成分是重力因子G。
它的数值大小决定了排名随韶光低落的速率。
从上图可以看到,三根曲线的其他参数都一样,G的值分别为1.5、1.8和2.0。G值越大,曲线越陡峭,排名低落得越快,意味着排行榜的更新速率越快。
知道了算法的构成,就可以调度参数的值,以适用你自己的运用程序。
[参考文献]
How Hacker News ranking algorithm works
How to Build a Popularity Algorithm You can be Proud of
基于用户投票的排名算法(二):Reddit
Hacker News 排名算法的特点是用户只能投附和票,但是很多网站还许可用户投反对票。便是说,除了好评以外,你还可以给某篇文章差评。
Reddit 是美国最大的网上社区,它的每个帖子前面都有向上和向下的箭头,分别表示"附和"和"反对"。用户点击进行投票,Reddit 根据投票结果,打算出最新的"热点文章排行榜"。
若何才能将附和票和反对票结合起来,打算出一段韶光内最受欢迎的文章呢?如果文章A有 100 张附和票、5张反对票,文章B有 1000 张附和票、950张反对票,谁该当排在前面呢?
Reddit 的程序是开源的,利用 Python 措辞编写。排名算法的代码大致如下:
这段代码考虑了这样几个成分:
(1)帖子的新旧程度t
[blockquote]
t = 发贴韶光 - 2005 年 12 月 8 日7:46:43
[/blockquote]
t 的单位为秒,用 unix 韶光戳打算。不丢脸出,一旦帖子揭橥,t便是固定值,不会随韶光改变,而且帖子越新,t值越大。至于 2005 年 12 月 8 日,该当是 Reddit 成立的韶光。
(2)附和票与反对票的差x
[blockquote]
x = 附和票 - 反对票
[/blockquote]
(3)投票方向y
y 是一个符号变量,表示对文章的总体意见。如果附和票居多,y便是 +1;如果反对票居多,y便是-1;如果附和票和反对票相等,y便是0。
(4)帖子的受肯定程度z
z 表示附和票超过反对票的数量。如果附和票少于或即是反对票,那么z就即是1。
结合以上几个变量,Reddit 的终极得分打算公式如下:
这个公式可以分成两个部分来谈论:
(一)
这个部分表示,附和票超过反对票的数量越多,得分越高。
须要把稳的是,这里用的因此 10 为底的对数,意味着z=10可以得到 1 分,z=100可以得到 2 分。也便是说,前 10 个投票人与后 90 个投票人(乃至再后面 900 个投票人)的权重是一样的,即如果一个帖子特殊受到欢迎,那么越到后面投附和票,对得分越不会产生影响。
当反对票超过或即是附和票,z=1,因此这个部分即是0,也便是不产生得分。
(二)
这个部分表示,t越大,得分越高,即新帖子的得分会高于老帖子。它起到自动将老帖子的排名往下拉的浸染。
分母的 45000 秒,即是 12.5 个小时,也便是说,后一天的帖子会比前一天的帖子多得 2 分。结合前一部分,可以得到结论,如果前一天的帖子在第二天还想保持原来的排名,在这一天里面,它得到的净附和票必须增加 100 倍。
y 的浸染是用来产生正分和负分。当附和票超过反对票时,得分为正;当附和票少于反对票时,得分为负;当两者相等,得分为0。这就担保了得到大量净附和票的文章,会排在前列;得到大量净反对票的文章,会排在末了。
(三)
这种算法的一个问题是,对付那些有争议的文章(附和票和反对票非常靠近),它们不可能排到前列。假定同一韶光有两个帖子揭橥,文章A有 1 张附和票(发帖人投的)、0张反对票,文章B有 1000 张附和票、1000张反对票,那么A的排名会高于B,这显然不合理。
结论便是,Reddit 的排名,基本上由发帖韶光决定,超级受欢迎的文章会排在最前面,一样平常性受欢迎的文章、有争议的文章都不会很靠前。这决定了 Reddit 是一个符合大众口味的社区,不是一个很激进、可以展示少数派想法的地方。
[参考资料]
How Reddit ranking algorithms work
基于用户投票的排名算法(三):Stack Overflow
Reddit 排名算法的特点是,用户可以投附和票,也可以投反对票。也便是说,除了韶光成分以外,只要考虑两个变量就够了。
但是,还有一些特定用场的网站,必须考虑更多的成分。天下排名第一的程序员问答社区 Stack Overflow,便是这样一个网站。
你在上面提出各种关于编程的问题,等待别人回答。访问者可以对你的问题进行投票(附和票或反对票),表示这个问题是不是有代价。
一旦有人回答了你的问题,其他人也可以对这个回答投票(附和票或反对票)。根据投票结果,系统自动找出最佳回答。
排名算法的浸染是,找出某段韶光内的热点问题,即哪些问题最被关注、得到了最多的谈论。
在 Stack Overflow 的页面上,每个问题前面有三个数字,分别表示问题的得分、回答的数目和该问题的浏览次数。以这些变量为根本,就可以设打算法了。
创始人之一的 Jeff Atwood,曾经在几年前,公布过排名得分的打算公式。
写成 php 代码,便是下面这样:
各个算法变量的含义如下:
(1)Qviews(问题的浏览次数)
某个问题的浏览次数越多,就代表越受关注,得分也就越高。这里利用了以 10 为底的对数,用意是当访问量越来越大,它对得分的影响将不断变小。
(2)Qscore(问题得分)和 Qanswers(回答的数量)
首先,Qscore(问题得分)= 附和票-反对票。如果某个问题越受到好评,排名自然该当越靠前。
Qanswers 表示回答的数量,代表有多少人参与这个问题。这个值越大,得分将成倍放大。这里须要把稳的是,如果无人回答,Qanswers 就即是0,这时 Qscore 再高也没用,意味着再好的问题,也必须有人回答,否则进不了热点问题排行榜。
(3)Ascores(回答得分)
一样平常来说,"回答"比"问题"更故意义。这一项的得分越高,就代表回答的质量越高。
但是我觉得,大略加总的设计还不足全面。这里有两个问题。首先,一个精确的回答赛过一百个无用的回答,但是,大略加总会导致,1个得分为 100 的回答与 100 个得分为 1 的回答,总得分相同。其次,由于得分会涌现负值,因此那些特殊差的回答,会拉低精确回答的得分。
(4)Qage(间隔问题揭橥的韶光)和 Qupdated(间隔末了一个回答的韶光)
改写一下,可以看得更清楚:
Qage 和 Qupdated 的单位都是秒。如果一个问题的存在韶光越久,或者间隔上一次回答的韶光越久,Qage 和 Qupdated 的值就相应增大。
也便是说,随着韶光流逝,这两个值都会越变越大,导致分母增大,因此总得分会越来越小。
(5)总结
Stack Overflow 热点问题的排名,与参与度(Qviews 和 Qanswers)和质量(Qscore 和 Ascores)成正比,与韶光(Qage 和 Qupdated)成反比。
基于用户投票的排名算法(四):牛顿冷却定律
这个系列的前三篇,先容了 Hacker News,Reddit 和 Stack Overflow 的排名算法。
本日,谈论一个更一样平常的数学模型。
这个系列的每篇文章,都是可以分开读的。但是,为了担保所有人都在同一页上,我再说一下,到目前为止,我们用不同方法,企图办理的都是同一个问题:根据用户的投票,决定最近一段韶光内的"热文排名"。
你可能会以为,这是一个全新的课题,伴随着互联网而产生,须要全新的方法来办理。但是,实际上不是。我们可以把"热文排名"想象成一个"自然冷却"的过程:
[blockquote]
(1)任一时候,网站中所有的文章,都有一个"当前温度",温度最高的文章就排在第一位。(2)如果一个用户对某篇文章投了附和票,该文章的温度就上升一度。(3)随着韶光流逝,所有文章的温度都逐渐"冷却"。
[/blockquote]
这样假设的意义,在于我们可以照搬物理学的冷却定律,利用现成的公式,建立"温度"与"韶光"之间的函数关系,轻松构建一个"指数式衰减"(Exponential decay)的过程。
伟大的物理学家牛顿,早在 17 世纪就提出了温度冷却的数学公式,被后人称作"牛顿冷却定律"(Newton's Law of Cooling)。我们就用这个定律构建排名算法。
"牛顿冷却定律"非常大略,用一句话就可以概况:
[blockquote]
物体的冷却速率,与其当前温度与室温之间的温差成正比。
[/blockquote]
写成数学公式便是:
个中,
[blockquote]
- T (t)是温度(T)的韶光(t)函数。微积分知识见告我们,温度变革(冷却)的速率便是温度函数的导数T'(t)。- H 代表室温,T(t)-H便是当前温度与室温之间的温差。由于当前温度高于室温,以是这是一个正值。- 常数α(α>0)表示室温与降温速率之间的比例关系。前面的负号表示降温。不同的物质有不同的α值。
[/blockquote]
这是一个微分方程,为了打算当前温度,须要求出T(t)的函数表达式。
第一步,改写方程,然后等式两边取积分。
第二步,求出这个积分的解(c为常数项)。
第三步,假定在时候t[sub]0[/sub],该物体的温度是T(t[sub]0[/sub]),简写为T[sub]0[/sub]。代入上面的方程,得到
第四步,将上一步的C代入第二步的方程。
假定室温H为 0 度,即所有物体终极都会"冷寂",方程就可以简化为
上面这个方程,便是我们想要的终极结果:
[blockquote]
本期温度 = 上一期温度 x exp (-(冷却系数) x 间隔的小时数)
[/blockquote]
将这个公式用在"排名算法",就相称于(假定本期没有增加净附和票)
[blockquote]
本期得分 = 上一期得分 x exp (-(冷却系数) x 间隔的小时数)
[/blockquote]
个中,"冷却系数"是一个你自己决定的值。如果假定一篇新文章的初始分数是 100 分,24小时之后"冷却"为 1 分,那么可以打算得到"冷却系数"约即是0.192。如果你想放慢"热文排名"的更新率,"冷却系数"就取一个较小的值,否则就取一个较大的值。
[参考文献]
Rank Hotness With Newton's Law of Cooling
基于用户投票的排名算法(五):威尔逊区间
迄今为止,这个系列都在谈论,如何给出"某个时段"的排名,比如"过去 24 小时最热门的文章"。
但是,很多场合须要的是"所有时段"的排名,比如"最受用户好评的产品"。
这时,韶光成分就不须要考虑了。这个系列的末了两篇,就研究不考虑韶光成分的情形下,如何给出排名。
一种常见的缺点算法是:
[blockquote]
得分 = 附和票 - 反对票
[/blockquote]
假定有两个项目,项目A是 60 张附和票,40张反对票,项目B是 550 张附和票,450张反对票。叨教,谁该当排在前面?按照上面的公式,B会排在前面,由于它的得分(550 - 450 = 100)高于A(60 - 40 = 20)。但是实际上,B的好评率只有 55%(550 / 1000),而A为 60%(60 / 100),以是精确的结果该当是A排在前面。
Urban Dictionary 便是这种缺点算法的实例。
另一种常见的缺点算法是
[blockquote]
得分 = 附和票 / 总票数
[/blockquote]
如果"总票数"很大,这种算法实在是对的。问题出在如果"总票数"很少,这时就会出错。假定A有 2 张附和票、0张反对票,B有 100 张附和票、1张反对票。这种算法会使得A排在B前面。这显然缺点。
Amazon 便是这种缺点算法的实例。
那么,精确的算法是什么呢?
我们先做如下设定:
[blockquote]
(1)每个用户的投票都是独立事宜。(2)用户只有两个选择,要么投附和票,要么投反对票。(3)如果投票总人数为n,个中附和票为k,那么附和票的比例p就即是k/n。
[/blockquote]
如果你熟习统计学,可能已经看出来了,p服从一种统计分布,叫做"两项分布"(binomial distribution)。这很主要,下面立时要用到。
我们的思路是,p越大,就代表这个项目的好评比例越高,越该当排在前面。但是,p的可信性,取决于有多少人投票,如果样本太小,p就不可信。好在我们已经知道,p服从"两项分布",因此我们可以打算出p的置信区间。所谓"置信区间",便是说,以某个概率而言,p会落在的那个区间。比如,某个产品的好评率是 80%,但是这个值不一定可信。根据统计学,我们只能说,有 95% 的把握可以断定,好评率在 75% 到 85% 之间,即置信区间是[75%, 85%]。
这样一来,排名算法就比较清晰了:
[blockquote]
第一步,打算每个项目的"好评率"(即附和票的比例)。第二步,打算每个"好评率"的置信区间(以 95% 的概率)。第三步,根据置信区间的下限值,进行排名。这个值越大,排名就越高。
[/blockquote]
这样做的事理是,置信区间的宽窄与样本的数量有关。比如,A有 8 张附和票,2张反对票;B有 80 张附和票,20张反对票。这两个项目的附和票比例都是 80%,但是B的置信区间(假定[75%, 85%])会比A(假定[70%, 90%])窄得多,因此B的置信区间的下限值(75%)会比A(70%)大,以是B该当排在A前面。
置信区间的本色,便是进行可信度的改动,填补样本量过小的影响。如果样本多,就解释比较可信,不须要很大的改动,以是置信区间会比较窄,下限值会比较大;如果样本少,就解释不一定可信,必须进行较大的改动,以是置信区间会比较宽,下限值会比较小。
二项分布的置信区间有多种打算公式,最常见的是"正态区间"(Normal approximation interval),教科书里险些都是这种方法。但是,它只适用于样本较多的情形(np > 5 且 n (1 − p) > 5),对付小样本,它的准确性很差。
1927年,美国数学家 Edwin Bidwell Wilson 提出了一个改动公式,被称为"威尔逊区间",很好地办理了小样本的准确性问题。
在上面的公式中,
表示样本的"附和票比例",n表示样本的大小,
表示对应某个置信水平的z统计量,这是一个常数,可以通过查表或统计软件包得到。一样平常情形下,在 95% 的置信水平下,z统计量的值为1.96。
威尔逊置信区间的均值为
它的下限值为
可以看到,当n的值足够大时,这个下限值会趋向。如果n非常小(投票人很少),这个下限值会大大小于
。实际上,起到了降落"附和票比例"的浸染,使得该项目的得分变小、排名低落。
Reddit 的评论排名,目前就利用这个算法。
[参考文献]
How Not To Sort By Average Rating
基于用户投票的排名算法(六):贝叶斯均匀
上一篇先容了"威尔逊区间",它办理了投票人数过少、导致结果不可信的问题。
举例来说,如果只有 2 个人投票,"威尔逊区间"的下限值会将附和票的比例大幅拉低。这样做固然担保了排名的可信性,但也带来了另一个问题:排行榜前列总是那些票数最多的项目,新项目或者冷门的项目,很难有出头机会,排名可能会长期靠后。
以 IMDB 为例,它是天下最大的电影数据库,不雅观众可以对每部电影投票,最低为 1 分,最高为 10 分。
系统根据投票结果,打算出每部电影的均匀得分。然后,再根据均匀得分,排出最受欢迎的前 250 名的电影。
这里就有一个问题:热门电影与冷门电影的均匀得分,是否真的可比?举例来说,一部好莱坞大片有 10000 个不雅观众投票,一部小本钱的文艺片只有 100 个不雅观众投票。这两者的投票结果,怎么比较?如果利用"威尔逊区间",后者的得分将被大幅拉低,这样处理是否公正,能不能反响它们真正的质量?
一个合理的思路是,如果要比较两部电影的好坏,至少该当请同样多的不雅观众不雅观看和评分。既然文艺片的不雅观众人数偏少,那么该当设法为它增加一些不雅观众。
在排名页面的底部,IMDB 给出了它的打算方法。
[li]WR, 加权得分(weighted rating)。[/li][li]R,该电影的用户投票的均匀得分(Rating)。[/li][li]v,该电影的投票人数(votes)。[/li][li]m,排名前 250 名的电影的最低投票数(现在为 3000)。[/li][li]C, 所有电影的均匀得分(现在为6.9)。[/li]
仔细研究这个公式,你会创造,IMDB 为每部电影增加了 3000 张选票,并且这些选票的评分都为6.9。这样做的缘故原由是,假设所有电影都至少有 3000 张选票,那么就都具备了进入前 250 名的评比条件;然后假设这 3000 张选票的评分是所有电影的均匀得分(即假设这部电影具有均匀水准);末了,用现有的不雅观众投票进行改动,长期来看,v/(v+m)这部分的权重将越来越大,得分将逐步靠近真实情形。
这样做拉近了不同电影之间投票人数的差异,使得投票人数较少的电影也有可能排名前列。
把这个公式写成更一样平常的形式:
[li]C,投票人数扩展的规模,是一个自行设定的常数,与全体网站的总体用户人数有关,可以即是每个项目的均匀投票数。[/li][li]n,该项目的现有投票人数。[/li][li]x,该项目的每张选票的值。[/li][li]m,总体均匀分,即全体网站所有选票的算术均匀值。[/li]
这种算法被称为"贝叶斯均匀"(Bayesian average)。由于某种程度上,它借鉴了"贝叶斯推断"(Bayesian inference)的思想:既然不知道投票结果,那就先估计一个值,然后不断用新的信息改动,使得它越来越靠近精确的值。
在这个公式中,m(总体均匀分)是"先验概率",每一次新的投票都是一个调度因子,使总体均匀分不断向该项目的真实投票结果靠近。投票人数越多,该项目的"贝叶斯均匀"就越靠近算术均匀,对排名的影响就越小。
因此,这种方法可以给一些投票人数较少的项目,以相对公正的排名。
"贝叶斯均匀"也有缺点,紧张问题是它假设用户的投票是正态分布。比如,电影A有 10 个不雅观众评分,5个为五星,5个为一星;电影B也有 10 个不雅观众评分,都给了三星。这两部电影的均匀得分(无论是算术均匀,还是贝叶斯均匀)都是三星,但是电影A可能比电影B更值得看。
办理这个问题的思路是,假定每个用户的投票都是独立事宜,每次投票只有n个选项可以选择,那么这就服从"多项分布"(Multinomial distribution),就可以结合贝叶斯定理,打算该分布的期望值。由于这涉及繁芜的统计学知识,这里就不深入了,感兴趣的朋友可以连续阅读 William Morgan 的How to rank products based on user input。