untitled - 图灵社区.pdfVIP

译者序 《自制搜索引擎》一书终于和读者们见面了，“自制”系列图书的家族 中又多了一名新成员。近几年，图灵先后出版了几本“自制”系列图书， 如《30 天自制操作系统》《自制编程语言》《两周自制脚本语言》等。在这 些书中，我们不用去读枯燥乏味的原理和晦涩难懂的算法，只需跟随作者 的脚步，即可从零开始，一步步地创造出操作系统或编程语言的雏形。 《自制搜索引擎》一书也不例外。在这本不到200 页的书中，作者 先用简明扼要、通俗易懂的语言为我们讲解了搜索引擎的结构及核心概 念，紧接着又带领我们剖析了一个名为wiser 的原创搜索引擎的源代码。 理论与大量源代码的结合帮助我们迈入了搜索引擎的大门，只要用心阅 读并实际操作，就能制作出一个可以在计算机上运行的简易搜索引擎。 然而与其他计算机技术一样，虽然搜索引擎的入门很简单，但要成为这 个领域的技术专家却并不容易，离不开大量的知识积累和实践。所以在 分析完源代码以后，作者又带领我们优化了现有的wiser 搜索引擎，并 简单地介绍了一些更加专业的知识，以启发我们深入思考，为进一步学 习铺平了道路。 阅读本书几乎不需要任何有关搜索引擎的知识储备，但由于wiser 是用C 语言编写的，所以您最好还是能有些C 语言的编程经验。“啊， 用C 写的啊？”也许您也和我当初一样，一听是C 语言就泄气了。的确， C 语言不是那么好用。指针是个难点不说，有些语句的写法也显得很诡 异，而且还缺乏丰富的内置函数和数据结构。但如果您坚信某某语言才 是世界上最好的语言，并要因此放弃本书的话，那么我建议您先下载 wiser 的源代码读一读再做决定。wiser 的源代码仅有大约2600 行。即使 vi　　译者序 只瞥一眼，也应该能够发现这些源代码不但具有详细的注释、清晰的结 构，而且遵循了良好的命名规范。仔细地阅读后，甚至还能看到有些 地方应用了回调函数、设计模式等所谓的“现代”编程技巧。不仅如 此，作者还通过引入了名为uthash 的代码库简化了对字符串、列表和 哈希表的操作。例如要向列表中添加元素时，只需使用形如“LL_ APPEND(*list, element);”的一行代码，这就大大增加了代码的可读性。 相信您读到最后也会由衷地感叹：原来C 语言也能这么好用啊。 对于想要开发搜索引擎的读者来说，本书的作用自不必说。而对于 专注于其他领域的开发者，甚至对于那些只是想学门新技术来娱乐一下 的程序员来说，读读本书也是大有裨益的。例如，我们可以从中学到如 何高效地求得多个大集合的交集，如何压缩存储大量的整数，如何运用 sar 命令查看并分析系统的性能等。即使我们不从事搜索引擎的开发工 作，这些算法和技术也会对日常的工作有所启发和帮助。所以，读过了 本书，就算您并不打算做一个搜索引擎出来，也能得到一些收获。 值得一提的是，在本书中很多叙述得较为简练甚至一笔带过的段落 中，其实隐藏着大量的知识。在掌握了搜索引擎的核心技术后，不妨查 查资料、写写代码，试着去掌握这些更高级的知识，搞清楚里面专业术 语的含义。例如，书中提到了字典树（Tier ）、Suffix Array 等国内教材 中罕见的数据结构，那么我们能不能用自己熟悉的编程语言实现它们？ 作者开发的开源搜索引擎Groonga 采用了内存映射文件技术，那么内存 映射文件的机制是什么……在不断探索这些问题的过程中，我们不但能 把这本不算厚的书读得越来越厚，也能使自己的知识量不断增长。 最后，在这里衷心感谢在翻译过程中给予我支持与鼓励的各位。欢 迎诸位读者批评指正，提出宝贵的建议。希望所有对搜索引擎感兴趣的 读者都能从本书中获益。 胡屹 2015 年 10 月于北京 前言 本书聚焦于Google 和Yahoo! 等Web 检索服务幕后的搜索引擎，旨 在阐明这种系统内部的工作机制。诸位读者通过第 1 章的学习，掌握了 搜索引擎的基础知识和原理之后，就可以从第2 章开始，对照着示例搜 索引擎的源代码体验搜索引擎的开发过程了。这种原理和实践的有机结 合，有助于大家更加深入地理解搜索引擎的构造。 一直在企业和大学从事搜索引擎研发工作的山田负责搜索引擎原理 的写作，并完成了整体构思和统稿的工作。开源搜索引擎Senna/ Gr