按词和按字全文检索技术的比较.pdfVIP

第17届全国计算机信息管理学术研讨会论文集 him．nih．gov／pubs／faetsheets／umls．html for ATet UMLSSemantic Complexity． a1．Aggregating TypesReducingConceptual 【2】McCray uk／kmc／news／stories／medinf0200l_report．pdf http：／／www．ucl．ac Wet Thesaurus-Based theUMLS 【3】Hersh a1．Assessing QueryExpansionUsing et 【4】YuHa1．RepresentingOenomicKnowledgeintheUMLS http：www．amia．org／pubs／symposia／D005384．PDF [5]胡铁军等．统一的中国医学语言系统研究进展．中华医学图书馆杂志，2001，10(2)：l~3 19 【6】6吴蔚天．汉语计算语义学——关系、关系语义场和形式分析．北京：电子I、ll,tB版社， 1999 [7】黄曾呖等．模拟大脑语言感知过程的自然语言语句分析方法．中华人民共和国国家知 识产权局发明专利申请公开说明书(公开号CN1236138A)．北京：专利文献出版社出版， 1999 16按词与按字全文检索技术的比较 北京信息工程学院中文信息处理研究中心肖诗斌 (北京，100101) 【摘要】将文章中所有的文字序列都作为检索对象，找出包含有欲检索词汇的文章，这 就是全文检索。全文检索系统根据使用领域分为两类：互联网搜索引擎和企业内容检索系 统，两者使用的核心技术都是全文检索技术，但侧重点有所不同．全文检索技术也有两大派 别：按字索引和按词索引．最后通过一个典型的全文检索系统，说明按字索引和按词索引 的共性和区别。 【关键词】全文检索，搜索引擎，内容检索，按字索引，按词索引，词素解析，N-gram，TRS 一、 全文检索系统面面观 互联网搜索引擎面向的是Interact上大量的杂乱无章的网页，主要目的是找到一些有 用的参考信息和屏蔽一些有害信息，尽量把有用的网页排在前面。关于有用性，有各种度 量方法，比如根据网页链接(pagelink)的多少作为网页重要性的依据，或者根据出钱的多少 决定网页重要性的竞价系统。前者代表性的系统有Google，后者代表性的系统有百度。互 联网搜索引擎的共同特点是不追求企业应用要求的高度查全率和高度查准率。另外，由于 数据量巨大，后台索引和检索数据库需要强大的硬件服务器群支持，几百上千台服务器， 甚至上万台，以及好的体系结构设计和适合全文检索系统运行的硬件服务器选型。这也是 为什么成功的互联网搜索引擎都是以ASP方式提供服务，以及为什么互联网搜索引擎厂家 的全文检索系统应用到企业中往往以失败告终。其原因殊不知互联网搜索引擎的强大功能 是由后台强大的硬件服务器群和适合的体系结构支撑的，而不是因为它本身的技术好。再 者，企业应用要求的高度查全率和高度查准率，以及信息更新的实时性，它很难做到。 第83页 第17届全国计算机信息管理学术研讨会论文集 企业内容检索系统要求查询结果具备高度查全率和高度查准率，以及信息更新的实时 性。企业信息相对而言是经过整理的有用信息，在高度查准率的同时要求高度查全率。高 度查准率的目的是让用户节省时间早点找到有用信息；高度查全率是为了全面分析情报而 不错过商机。也因为这个原因，互联网搜索引擎为了提高查询速度普遍采用的估算技术在 企业应用中很难派上用场，互联网搜索引擎的普遍做法是：不是在所有的服务器里检索信 息，只是在相应的一些服务器里检索信息，然后在返回首批检索结果时根据经验估算总的 检索命中数。企业收集到情报后希望它的使用者马上能够检索到它，而不是还要经过一个 长时间的延迟。 互联网搜索引擎和企业内容检索系统