互联网搜索技术交流.pptVIP

目录 互联网搜索发展历程 互联网搜索基础技术 互联网搜索新技术及应用 搜索引擎发展历史 自动搜索 1990-加拿大麦吉尔大学FTP文件查找软件Archie 1993-Matthew Gray开发第一个网页爬虫World Wide Web Wanderer 1994-Michael Mauldin创建首个现代意义的搜索引擎Lycos 1998-Google 2000-百度 人工整理的目录搜索 1995-Yahoo 1996-搜狐 搜索引擎商业模式 广告商支付网站上放置的广告条 CPM: Cost Per Mille (thousand impressions). 每一次广告条显示都收费. CPC: Cost Per Click. 只有用户点击时才收费. CTR: Click Through Rate. 点击占总显示数目的比例. CTR = CPC / (CPM * 1000) CPA: Cost Per Action (Acquisition). 只有当用户在目标网站上实际购买时才收费. 广告商竞拍“关键词”，当用户查询中包含一个被购买的关键词，最高拍卖价格的广告显示. PPC: Pay Per Click. 竞拍词广告的CPC (e.g. Google AdWords). 目录 互联网搜索发展历程 互联网搜索基础技术 互联网搜索新技术及应用 最简单的Web搜索流程 最简单的Web搜索体系结构 Web采集 页面分析和信息抽取 索引 搜索 缓存 Web搜索应用服务 分词 中文分词 将句子切成基本词汇单元 基本算法 基于字符串匹配的分词方法/机械分词法 基于统计的分词方法 索引 索引是什么？ 提供从记录的特征快速查询到记录的数据结构 倒排索引 从index term快速查询到doc的索引结构 Doc正常表示为index term的集合，建立索引是把每个index term表示为其出现的doc的集合，这个过程称为inversion，即倒排。 索引创建 相关度与排序 给定一组查询词，如何选取出相匹配的查询结果？ 相关度与排序 网页相关性的重要性分析Google PageRank核心思想 PageRank 是基于“从许多优质的网页链接过来的网页，必定还是优质网页”的回归关系，来判定所有网页的重要性。 搜索质量评估指标--查全率和查准率 对某个测试参考集,信息查询实例为I，I对应的相关文档集合为R。假设用某个检索策略对I进行处理后，得到一个结果集合A。令Ra表示R与A的交集。 查全率(Recall)：检出的相关文档个数与相关文档集合总数的比值，即R=|Ra| / |R| 查准率(Precision)：检出的相关文档个数与检出文档总数的比值，即P=|Ra| / |A| 目录 互联网搜索发展历程 互联网搜索基础技术 互联网搜索新技术及应用 互联网搜索新应用 更有组织性的结果 G 利用用户信息 Google、 Yahoo的个性化搜索 Amazon A9 Search , 自动推荐系统 （协同过滤） 利用web文档结构信息 酷讯， ，车票、求职、租房等生活信息搜索(信息提取) /products，购物搜索 更自然的搜索界面 /，支持自然语言的语句做查询 (浅层自然语言处理) /，/watch?v=-qW0FttV3c4NR=1 / 社会化搜索 / 聚类搜索结果：vivisimo 整合搜索：yahoo 个性化搜索 web文档结构信息抽取：购物搜索 自然语言搜索：hakia 视、音频搜索：blinkx 桌面自动搜索：Blinkx Pico 社会化搜索： 机械分词方法，按照一定策略将待分析的字串与词典中的词条进行匹配，若在词典中找到某个字符串，则匹配成功（识别出一个词）。 按照扫描方向不同，可以分为正向匹配、逆向匹配。 基于统计的分词方法，相邻字同时出现频率越大，越可能构成词。。这种方法只需对语料中的字组频度进行统计，不需要切分词典，因而又叫做无词典分词法或统计取词方法。但这种方法也有一定的局限性，会经常抽出一些共现频度高、但并不是词的常用字组，例如“这一”、“之一”、“有的”、“我的”、“许多的”等，并且对常用词的识别精度差，时空开销大。实际应用的统计分词系统都要使用一部基本的分词词典（常用词词典）进行串匹配分词，同时使用统计方法识别一些新的词，即将串频统计和串匹配结合起来，既发挥匹配分词切分速度快、效率高的特点，又利用了无词典分词结合上下文识别生词、自动消除歧义的优点。 互联网搜索技术交流 中国电信股份有限公司广州研究院 广东省电信有限公司研究院 年 月 日 www 采集 语言处理 索引 检索 Web搜索 应用服务 Pages www 爬虫 存储 页面解析 索引器 检索器 缓存 搜索应用