实时搜索架构分析——王鹏云.pdfVIP

实时搜索架构分析 王鹏云 wangpengyun@ @wangpengyun 内容提要 • 初识实时搜索 • 搜索系统的基础知识 • 传统搜索和实时搜索的区别 • 实时搜索系统架构 • 实时搜索的难点 • 实时搜索开源工具 初识实时搜索 • 实时搜索不是新鲜事物 – 新闻搜索，社区搜索…… – 微博火爆让实时搜索成为热点 • 商业价值 – 新信息聚合和放大 – 热门话题和趋势分析 – 搜索广告 • 主要实时搜索引擎 – Google 、 bing 、 twitter 、 friendfeed…… 搜索系统的基础知识 • Crawling – 抓取、超链分析 • Indexing – 内容提取、分词、倒排索引 • Searching – 查询分析、索引查询 • Ranking – TF/IDF 、 PageRank 、其他特征 传统搜索和实时搜索的区别 • 结果呈现 – 静态 vs 动态 • 搜索效果 – 相关性 vs 实时性 – PageRank vs 社会化特征 • 数据获取 – 抓取 vs 推送 • 数据分布 – URL 分布 vs 时间分布 实时搜索系统架构图 antispam Internet ram switch ram queue index A index B High-level ui snapshot/ searcher merge add/modify/del p a r a l result data