人肉搜索引擎课件.pdf

人肉搜索引擎就是指更多的利用人工参与来提纯搜索引擎提供的信息的一种机 制。猫扑的人肉搜索引擎就是其中一个比较成功的例子。后面我们会根据猫扑的 人肉搜索引擎给出一个更加具体的描述。 针对搜索引擎的LinkFarm 和Spam 也许永远不会停止，因为他们能够从他们的作 恶中得到利益。我们知道得到利益不是作恶的唯一原因，然而大规模的工业化的 作恶唯一的原因当然是那样可以得到利益。 所以，这是一场永远无法结束的战争，只要搜索引擎还是应用最广泛的一种互联 网应用，只要搜索引擎还是用户用户找到合适服务的最主要手段,这就是一场永远 无法结束的战争。很多人把问题归结于PageRank 技术，历史是何其相似啊，当年 人们也是这样地抱怨META 关键字和描述技术。也许Google 或者其他的公司能够 研究出来更加伟大的技术(注一)来取代PageRank，但是谁知道这新的技术什么时 候又会变成明日黄花。 搜索引擎是利用机器自动化的收集网络信息并有序化的一种技术。搜索引擎高效 快速，然而因为现在人工智能并不完善，搜索引擎还很难甄别刻意的修饰过的信 息，所以（亿推英文TuiGuang123_COＭ）Spam 才会那么猖獗。所以，有些人想从 搜索引擎的反面来解决问题，那就是更多的利用人工把搜索引擎得到的信息进一 步萃取，进一步有序化，我们称之为人肉搜索引擎。 很多人知道的中国有一个叫做猫扑的论坛，人气非常旺。Tiny 在21 年到24 年期 间是这个论坛的忠实用户。在我的印象中，人肉搜索引擎的概念应该出自于猫扑。 跟很多论坛一样，猫扑上面也经常有人问这个问题那个问题。同时猫扑有种虚拟 货币叫做Mp，问问题的人往往会用Mp 来奖励可以帮助他们的人。虽然Mp 不能吃 不能喝，但是还是很多人醉心于挣取更多的Mp(注二)。那些惯于通过回答问题挣 取Mp 的人在猫扑一般叫做赏金猎人。 于是很有趣味的一幕出现了，某人需要解决一个问题，就在猫扑发贴并许与一定 数量的Mp 作为酬谢。很快，就会有赏金猎人看到这个贴子，他们就会去用搜索引 擎来寻找问题的答案，然后争先恐后地把找到的答案回在帖子里面邀功。最后， 提问题的人得到了答案，赏金猎人得到了Mp，皆大欢喜。这也就形成了所谓的人 肉搜索引擎的机制。有趣的是，我们可以发现人肉搜索引擎的搜索流程和搜索引 擎在不同服务器之间的分布式搜索流程看起来是那么的相似，区别仅仅在于发动 和执行流程的是人，还是机器。 人肉搜索引擎的质量怎样保证呢?这是一个非常有趣的问题，从刚才的流程上大家 可以发现，如果有足够多的赏金猎人，他们之间就会产生竞争，寻找资料速度的 竞争，资料准确性的竞争。竞争的结果是，一个速度又快资料又准确全面的赏金 猎人会有越来越多的Mp，这会给他带来更多的成就感(注三)，同时他也会更加的 醉心于赏金猎人的工作。甚至，据我所知很多赏金猎人会形成自己的职业道德和 行为准则，这样可以给他们更大的自我实现，同时提高了用户的满意程度。这就 形成可一个正反馈，一个良性循环，前提是有足够的激励(Mp)投入和足够产生竞 争的参与者(赏金猎人)。 同时很多人也为自己是一个人肉搜索引擎的用户感到自豪，因为这确实太好用了， 不需要担心分词不准确，不用担心电脑错误的理解了你的话，不用担心搜索引擎 收录范围不同造成的风险(注四)，甚至不需要学习搜索引擎怎么用(注五)，而且 答案也不会仅仅局限于搜索引擎能找到的信息，虽然绝大部分问题是通过搜索引 擎就可以找到的。 然而，人肉搜索引擎几年来仅仅是一个概念，没有成为一种产品，在猫扑，人肉 搜索引擎只能帮助猫扑提升人气，并不能成为一个产品给猫扑带来效益，同时也 给更多的人服务。这是为什么呢?我想可能有4 点原因： 1、猫扑人肉搜索引擎和论坛的差异不够明显。或者说在猫扑里，人肉搜索引擎只 是论坛的一种应用而已，任何需要人肉搜索引擎服务的人必须是论坛的用户，这 降低了用户普及度(注六)。 2、Mp 过于游戏化。Mp 是虚拟货币，是游戏化的货币，这也给猫扑的人肉搜索引 擎加上了游戏性的标签。做赏金猎人的人仅仅是喜欢这个游戏化氛围的人，或者 说是能被Mp 这样的虚拟货币激励的人，这影响了赏金猎人队伍的扩大，从而影响 了人肉搜索引擎的扩大。 3、人肉搜索引擎的反映比较慢。Google 可以在.1 秒内给你一个答案，然而人肉 搜索引擎需要等待有人看到你的帖子，并找出结果才会有所反应。 4、猫扑人肉搜索引擎不能保留历史纪录，每次有一个问题出现，就会引发一次分 布式搜索。即使问题是重复的，也会同样引发这个流程，而且相同的问题在不同 的时间问，答案可能迥异(注七)，不能对相同答案给予一致性的结果。 或者说，