Web文本特征提取方法的研究和发展.pdfVIP

第十九届全国计算机信息管理学术研讨会论文集 R [1 Y，Katz 1]Chen H，Kubiatowicz PlacementforScalable J．Dynamic Content Replica Delivery http：／／www．cs．rice．edu／Conferences／IPTPS02／1 84．pdf[2005—7—10】 Web文本特征提取方法的研究与发展 中国科学技术信息研究所庞景安 (北京复兴路15号，100038) 【摘要】本文对当前有关Web文本特征提取方法的研究和实验进行了简要地综述和分析， 比较了每类方法的优势和不足，指出研究中存在的难点和共同探讨的问题，并在此基础上，对 该领域未来研究的发展方向和趋势进行了预测． 【关键词】Web文本文本特征特征提取学习算法 1引言 当前，Intemet正以前所未有的速度飞速发展，Web已经发展成为拥有数以亿计页面的分布 式信息空间，而且这个数字仍以每4至6个月翻一番的速度增加。人们迫切需要从这些海量的、 异构的Web信息资源中，快速、有效地发现和利用有价值的知识和信息。 Web文本挖掘就是从大量的Web文档中发现隐含知识和模式的一种方法和工具，它从数据 挖掘发展而来，但与传统的数据挖掘相比又存在许多不同。Web文本挖掘的对象是海量、异构、 分布的Web文档；文档内容是人类所使用的自然语言，缺乏计算机可理解的语义。传统数据挖 掘所处理的数据是结构化的，而Web文档都是半结构或无结构的。所以，Web文本挖掘面临的 首要问题是如何在计算机中合理地表示文本，使之既要包含足够的信息以反映文本的特征，又 不至于过于复杂使学习算法无法处理。 近年来应用最多的Web文本特征表示方法是向量空间模型(VSM)。在该模型中，文档空 间被看作是由一组正交词条向量所组成的向量空间，每个文档表示为其中的一个范化特征向量V (d)=(tl 中出现的所有单词作为tl，也可以要求ti是d中出现的所有短语，从而提高文本特征表示的准确 性。 利用向量空间模型(VSM)表示Web文档时，特征向量的维数经常会达到几十万，即使删 除停用词和低频词，仍会有大量的特征留下。统计学、模式识别和机器学习中都有许多特征选 择的方法，但是都不适用于Web文本挖掘，因为Web文本的特征数量实在太大。若特征数为F， 优化时要搜索的特征空间大小为2F。这样的计算复杂度是难以实现的。于是关于Web文本特征提 取的研究就显得非常重要，成为Web文本挖掘进行的必要前提和基础。 2基于评估函数的特征提取方法 这类型算法是在特征独立的假设基础上，通过构造评估函数，对特征集合中的每个特征进 行独立评估，并对每个特征打分。然后将所有特征按分值大小排序，提取预定数目的最优特征 作为提取结果的特征子集。显然，对于这类型算法，决定Web文本特征提取效果的主要因素是 评估函数的质量。常用的评估函数有以下几种： (1)文档频数(document frequency) 192 第十九届全国计算机信息管理学术研讨会论文集 。。m妒)_P㈣=箭 (2)信息增益(information gain) cross (3)期望交叉熵(expecbedentropy) CrDssEntryTxt(耻㈣军P(Ci ty)log等 (4)互信息(mutual information) 胁觑口呦r劢(耻军P(Ci)logiP(W万IC,) 耽瞎，z岫耐砌c，，=P∥，军尸cc，)l，os ratio) (6)优势率(odds