1文本处理技术及应用.pdfVIP

发现孤立点，可以生成任意形状的簇，而且具有很高的时间效率。但是，该算法要求 用户指定两个参数来确定高密度区域，所以聚类结果受这两个参数的影响很大。 1．1．1．4全文索引模型简介 全文检索的首要问题是全文索引模型的选择”1。目前主流的全文索引模型有 倒排表模型和Pat数组模型等，但它们都有自身的缺点。倒排表模型主要表现为 空间效率较差、检索效率低下、创建过程烦琐，而Pat数组无论是创建过程，还 是检索过程都严重依赖源文本”“”。 从书目索引延伸出来的方法就是现在应用最广泛的倒排表模型”。倒排表模 型记录下每个索引项(一般是字或词)在文本集中出现的所有位置，并根据它们 完成检索服务。倒排袁模型的思想比较简单，在索引创建过程中只需对文本集进 行顺序扫描并记下位置，并不需要更多的分析，对索引的填写总体E也是顺序进 行的，因此外存I／O操作相对较少。经过多年的发展，倒排表模型的空间效率也 得到很大的提高，有代表性的工作有：E1las在1975年描述的y和6编码法； 以及目自i在静态全文数据库中得到广泛应用的Golomb编码。 虽然倒排表模型难于再进一步提高检索效率，但是它的结构和创建过程本身 联系比较密切，并不需要进行一系列变化，而且准动态的倒排表模型的动态性能 相对其它模型也是比较好的。 署名文件有时电称散列函数法。每个文本有一个关联署名或描述符，每个索 引项作为散列函数的参数产生几个散列值，与这些值相应的署名的位数被置为 l。当把文本中每个字符的散列值叠加时，就得到了合并后的文本署名的全集。 要检测…’个查询项是否在给定的文本中出现，就要计算此查询项的散列函数值。 如果某些文本的描述符中所有的对应位均被设定，则此术语可能出现在该文本 中。要解决这种不确定性，必须读入并扫描文本以检查查询项是否真正出现。可 以通过为每个查询项设置几个位并使署名足够长来降低这种失败匹配的概率，但 无论如何，总是需要进行失败匹配的检查，这在相当程度上增加了查询过程的开 销。 位图使用起来很容易而且很快，尤其适合布尔检索，但是位图空间丌销特别 大。一些实验表明，位图空间开销可能是原文本的几十倍。尽管已经发现了一些 高效的位图压缩方法，但压缩后的空问开销仍然远大于倒排表和署名文件。这导 致位图是三种索引模型中应用最少的一种。 这两种模型同倒排表模型从实质上讲是同‘基本观念的变体。二者均能提供 比倒排表更迅速的查询处理，但均需要大量的存储空间。由于索引空间的大小是 10 影响动态性能的～个较主要的因素，因此它们的动态性能在先天均比不上倒排表 模型。虽然这两种模型往往配合压缩技术，但是由于数据的压缩工作往往在索引 生成之后进行，且开销也很大，因此压缩仅仅提高了索引的空问效率，而降低了 动态性能。 提出。它很有特色的地方是将一个文本看成一组半无限串的叠加，而这组半无限 串的排序结果被表示成树的形式。它的最大优点是极大加快了检索速度，尤其对 某些特殊的检索，如前缀检索、范围检索等检索效率更高。它的最大缺点是空问 开销大，而且创建过程中的空间开销更大，创建效率也很低，而且无论是创建过 程还是检索过程都严重依赖源文本，而倒排表在检索中是不需要源文本的。Pat 即将Pat树的叶节点串行化就得到了Pat数组。Pat数组的比Pat树更直观，完 全可以不通过Pat树去理解和创建，但是两者的思想是一致的。由于树这种数据 结构放入外存之后I／o的效率变得很低，而Pat数组索引的创建和合并均需大量 移动数据，因此两者的动态性能都不理想。可见Pat．数组将文本中所有可能出现 的字符串做了排序，待检索的字符串可在其上实施多种检索手段。一般地，在排 序的数组中采用二分法是最快的。Pat数组的检索要读取源文本，但读取次数为 O(Log：N)(N为Pat数组的长度)。这个时间开销与待检索串的长度和检索结果个 数无关，这一个特点使得它远优于倒排表。倒排表虽然一般不读取源文本(即检 索不涉及磁盘操作)，但当检索串很跃或检索结果很多时，效率降低很多。随着 磁盘读写技术得发展，我们更有理由相信Pat数组是很有前途的技术。 1．1．1．5生物信息学中的局部比对简介 随着基因组计划的实旖，新的分子生物信息数据大量涌现“。如何从中得到 有价值的知识是一项非常艰巨的任务”…。生物信息学就是为了满足这一要求而迅 速发展起来的。生物信息学是一门交叉学科，它将数学、计算机科学应用于生物 大分子信息的获取、加工、存储、分类、检索和分析等，以达到阐明和理解大量 数据所蕴含的