第二讲 搜索引擎发展趋势 情报分析技术课件.pptx

化柏林 010huabolin@istic.ac.cn 中国科学技术信息研究所;报告提纲;;中国科技信息研究所 化柏林 ;中国科技信息研究所 化柏林 ;网页爬行;标引入库;响应查询;二代搜索引擎的爬行;三代搜索引擎的爬行;根据用户输入查询条件，以数据记录的形式从数据库里取出来，生成网页的， 数据量更大、更专业、更新速度快、价值也高。 能够参照html文件中析取出的URL构造新的URL并下载。 这种URL的构造具有尝试性，能够学习，三代搜索引擎应该能够搜索网上公开的、免费的、非注册的动态网页。;四代搜索引擎的爬行;五代搜索引擎的爬行;;分析处理;分析要素;二代搜索引擎的分析;二代搜索引擎的分词;向量切分法按长度分为最大与最小，按分向又分为正向、逆向和双向，组合起来就有六种向量切分方法。 向量切分法切分准确率较高，索引量要比自然切分小得多，如使用最大向量切分，就不会出现输入“北大”却查出“东北大学”这种情况。 向量切分法应用较为广泛，目前许多系统都使用这种方法。如CNKI、NSTL等，这也是为什么有时候输入的检索词长了结果反而多了。如在CNKI的期刊论文数据库里检索“网络信息计量学”比检索“网络信息计量”的结果要多很多。 ;二代搜索引擎的分词;三代搜索引擎的分析;三代搜索引擎的分析;信息检索与信息抽取;文献自动综述;三代搜索引擎的分析;四代搜索引擎将深入语义层面，深入理解句子的意思，理解图像的含义、音频视频的内容，这时对于不同媒体格式的数据可以达到统一。 不仅要分析词的义项、分析句子的语义，应该还能够对语篇进行语义分析 这个时期可以进行观点型搜索、流派型搜索，如查持有“数据挖掘不同于知识发现，而是知识发现的一个阶段”观点的文章或与其观点不同的文章。 ;四代搜索引擎的分析;四代搜索引擎的分析;五代搜索引擎的分析;;搜索引擎的出入口 ;二代搜索引擎的出入口 ;三代搜索引擎的出入口 ;三代搜索引擎的出入口;四代搜索引擎的出入口;四代搜索引擎的出入口;五代搜索引擎的出入口;五代搜索引擎的出入口;五代搜索引擎的出入口;;搜索引擎的资源支撑;搜索引擎的资源支撑;搜索引擎的资源支撑;搜索引擎的资源???撑;试想新浪的爱问和百度的知道，除了能满足现在一些问题需求外，更重要的是积攒了许多问题及答案。 一旦这些问题库与答案库足够大，再加上自然语言处理的成熟，就可以对现有的问题进行分析理解，并把不同问题进行组合与推理，让计算机回答一些新问题也不是没有可能。 除了这些问题库，如果能把网页里有的知识和论文里的知识都提取出来，以计算机可理解的形式存到数据库里，形成包罗万象的知识库，那么计算机所拥有的知识岂只是一个专家或一批专家所能比拟的。这也就是真正的知识工程。;搜索引擎的资源支撑;搜索引擎的资源支撑;