网络搜索引擎原理Introduction创新.pptVIP

* /coolbaby/archive/2005/09/22/486990.aspx /html/sousuoyinqingjishuyuxinwen/2004/1201/1357.html /zhanghefu/archive/2007/03/25/1540495.aspx * 网络搜索引擎原理 信息与通信工程工程学院 陈光 源于信息检索(Information Retrieval) 解决网络海量非结构化超文本数据的高效检索问题 核心矛盾:数据全面性/可用性 vs. 效率/性能 网络搜索——概念 信息集合 （结构化/半结构化/非结构化） 需求集合 匹配 选择 结构化数据 如 Oracle、Lotus Notes 以及符合 ODBC 标准的内容，具有表、字段等结构化特性 半结构化数据 XML等，具有非统一的标记 非结构化数据 通常指自由文本，以及诸如语音和视频的富媒体内容 结构化、半结构化、非结构化数据 Unstructured (text) vs. structured (database) 结构化、非结构化数据 Information Retrieval Information Retrieval (IR) is finding material (usually documents) of an unstructured nature (usually text) that satisfies an information need from within large collections (usually stored on computers). These days we frequently think first of web search, but there are many other cases: E-mail search Searching your laptop Corporate knowledge bases Legal information retrieval 网络搜索 VS.信息检索 Collection: A set of documents Assume it is a static collection for the moment Goal: Retrieve documents with information that is relevant to the user’s information need and helps the user complete a task Basic assumptions of Information Retrieval 网络搜索 VS.信息检索 how trap mice alive The classic search model Collection User task Info need Query Results Search engine Queryrefinement Get rid of mice in a politically correct way Info about removing mice without killing them Misconception? Misformulation? Search How good are the retrieved docs? Precision : Fraction of retrieved docs that are relevant to the user’s information need Recall : Fraction of relevant docs in collection that are retrieved Evaluation Metrics * Sec. 1.1 网络搜索 VS.信息检索 * 网络搜索 VS.信息检索 文本 链接 类别 信息检索 网络搜索 信息获得 信息获得比较容易,被检索内容基本上都是规范化信息（半结构化）. 信息获得困难,特别是信息提取的准确率受算法影响很大. 信息总量 支持的信息总量较少,搜索速度随信息总量增加而递减. 支持几十亿到几百亿的信息总量,搜索速度和信息总量基本无关. 分词技术 分词准确性较高,分词速度中等,搜索结果比较满意.词库更新慢. 分词速度极快,分词准确性中等.新词补充及时. 存储索引 索引结果硬盘存储,系统内存消耗较少,可和其他程序并存. 索引结果,以内存存储为主,硬盘存储为辅, 大多独占操作系统. 搜索耗时 搜索用时为秒级,只支持小用户量并发. 搜索用时可达到毫秒级,拥有超强并发处理能力. 搜索结果 搜索结果准确,结果总数为实际数目, 搜索结果能准确重现. 结果不