网易通用搜索优化之道.pdf

网易通用搜索优化之道 系统实现与数据分析 网易杭州研究院 吴一男 2013/08 大纲  介绍  通用搜索系统  搜索的云服务化  搜索数据分析与应用  产品应用  未来发展 发展过程 产品需求 系统，功能，性能 易用，资源 业务，效果，应用 产品价值 介绍：背景  背景与需求 – 众多产品的搜索需求 – 搜索引擎产品vs. 面向产品的搜索服务 – 通用搜索，定制搜索，搜索优化  相关产品 – 开源产品：Solr/SolrCloud, ElasticSearch, IndexTank, Sensei – 云搜索：Amazon CloudSearch ，阿里云搜索 – 通用搜索：淘宝TSearcher 介绍：实现  通用搜索系统（NDIR ）  搜索云服务化（NCS ）  搜索数据分析与应用 通用搜索系统  系统架构  主要模块  整合与管理 通用搜索系统：架构 通用搜索系统：模块  索引/检索引擎：Lucene  实时索引：Zoie  分布式系统：分区，镜像，主从，扩容  数据接入：DataStream同步产品数据库  服务接口：HTTP/REST API ，Java SDK  配置管理：Zookeeper  定制化：插件化  监控：主机/进程，服务可用，应用状态，日志 通用搜索系统：Zoie实时索引 通用搜索系统：整合 通用搜索系统：配置管理 搜索的云服务化  云搜索架构  主要模块  系统后续改进 搜索的云服务化：目标  面向人员：产品开发者（轻量级运维）  使用与运维：简单，低成本  资源利用：弹性，共享，高效  服务质量：高可用，数据可靠性，性能合理，系统稳定 搜索的云服务化：架构 搜索的云服务化：模块  云搜索实现： – 通用搜索系统NDIR – 云平台资源：云主机，云硬盘，网络 – 管理服务器+ 管理前端 – 数据服务接口：兼容  云平台资源： – 云主机NVS ：弹性计算资源 – 云硬盘NBS ：弹性存储资源 – 网络：浮劢IP资源 搜索的云服务化：管理界面 系统后续改进  资源分离  计算资源：云主机NVS （高可用）  存储资源：云硬盘NBS + HDFS （数据可靠性）  索引资源：Lucene + HBase （索引独立） 系统后续改进：架构 NVS index Index Index Store Index Store Search search Log Queue Dispatcher