软件搜索.pptVIP

软件搜索 岑荣伟(cenrongwei@) 提纲 背景 框架介绍 数据源 搜索引擎 数据库 扩展 背景 2003年，Google已索引33亿Web页面（1/6） 2000年，深层网页已达到表层网页的400-500倍 Deep web 一般根据数据库信息动态生成 数据信息单一，质量好 传统搜索引擎 数据集大，内容繁多，目标性不强 数据划分 背景 软件搜索 第十七次中国互联网络发展状况统计报告（用户经常使用搜索引擎搜索的信息） 网页/网站 93.5% 软件 55.1% MP3 47.9% 上海艾瑞市场咨询有限公司 框架 数据源 三类数据源 Xml Deep web Surface web 信息重组 数据源 XML: PAD (Portable Application Description) 数据源 Deep Web 例：/preview/194294 例：/software/software_WinZip+Computing_WinZip-15925.html wrapper抽取 roadrunner Surface Web “.exe”，“.rar”，“.zip”，icon等 Title域，大字体等 文本窗口 搜索引擎—TMiner 预处理 Flex工具分析文档 前向最小匹配及多极分词 位置信息 索引器 倒排索引 内存管理 索引合并 单机合并 多机合并 搜索引擎—TMiner 索引器 搜索引擎—TMiner 检索器 BM2500 词对 域信息 多进程检索 数据库 目的 便于对象部分属性的提取和对象的管理 优点 信息结构化程度高，易于管理 Software库 Programinfo，Companyinfo，Softwarecategory Softwaretype，? Operatingsystem ，keyword等 特点 和通用搜索引擎相比 关键词歧义性小 分类检索(域检索) 检索结果更加精确 显示更多细节信息 和数据库检索相比 处理数据量更大 速度更快 模糊检索能力强 扩展 数据源类型扩展 例如pdf，doc，blog等 信息数据获取 Deep web获取，数据库购买等 信息抽取 特征发掘 模式匹配 多对一，一对多信息重组 扩展 检索对象扩展 商品检索 基于文本的音乐检索 学术论文检索 。。。 * * * ——垂直搜索 Data XML id S.E. query id results winamp IE… DB winamp HTML XML Indexer Data 1 Index 1 Indexer Data 2 Index 2 Post Processor Indexer Data N Index N Independent CGI Thread 1 Thread 2 Thread N … Server Server Server ... Thread 1 Thread 2 Thread N … Thread 1 Thread 2 Thread N … *