基于SWN理论的关键字抽取策略.docVIP

基于SWN理论的关键字抽取策略 本文在基于文本挖掘中的共现分析理论上，结合SWN理论及 算法，借助图的平均最短路径变化量和簇系数变化量，计算分词在信 息中的重要性，以确定文本关键字。 ，供学习和研宄 使用，己的信息， 关键词抽取；分词；SWN;共现分析；平均最短路径变化量；簇系 数变化量 TP31A1674-6708 (2011) 57-0227-02 1文本预处理和分词 文本预处理［1］是进行关键字抽取的第一个步骤。文本预处理操 作，一般包括去除文档中的格式标记、过滤非法字符、字母大小写转 换、去除停用词和稀有词、词干化处理和中文分词处理等处理步骤。 基于字符串匹配的分词方法通常又称为机械分词法或词典法，这 种方法是基于一个相对完备的词典，对待分词文本按照特定的规则逐 个进行字符串匹配，如果匹配则认为是一个词，一般在机械分词法中 用少量词法、语法和语义信息等对分词系统辅助，使其达到最佳效果， 由于其实现简单，目前几乎所有的分词方法都属于这一种。 根据每次匹配时优先考虑长词还是优先考虑短词，将基于字符串 匹配的分词法又分为最大匹配法和最小匹配法。由于大多数汉字均可 构成单字词，所以按最小匹配法分词的结果往往因分得太细而不合要 求。反之，当待分词文本中出现“词中含词”的情况时，最大匹配法 就可能因分得太粗而不合要求。本设计采用最大匹配算法进行分词。 2共现分析 共现分析［5］是词语网络构建和分析的基础理论和方法论。 由于文本的半结构化特性，现有的成熟的数据挖掘技术无法发现 文本中蕴含的大量信息；针对文本数据库内容的特殊性，提出许多文 本挖掘方法。在众多文本挖掘方法中，共现分析以科学的分析原理、 简便的操作流程和客观的分析结果，逐渐受到文本知识挖掘人员的青 睐。该方法以文本的最小内容单位一词汇为分析对象，挖掘词汇语义， 以此为基础实现文本内容的有效表示；并能对大规模文本集合进行文 本精练和知识提取，可完成文本总结、文本分类、文本聚类、关联分 析、分布分析及趋势预测等多种文本挖掘任务。 共现窗口是共现分析中一种非常重要的研究，即在同一共现窗口 中出现的词是有关联的，具体到商品信息中，共现窗口可以选择一个 自然段，也可以选择一个句子，即在一句话中出现的分词是有关联的 3 S丽理论 3.1平均最短路径长度 在网络中，两点间的距离被定义为连接两点的最短路所包含的边 的数目，把所有结点对的距离求平均，就得到了网络的平均距离 (average distance,也叫平均最短路径变化量)L。L表示网络的有 效大小，代表两个结点间的最典型的分离距离。 我们用G表示一个网络所对应的拓扑结构图，N和K分别表示图 中的结点总数和边的总数，k为从每个结点引出的平均边数。Ki是从 第i个结点引出的边的个数(第i个结点的度)。贝IJ: 为了说明图的特性，又设dij表示点vi和vj之间的平均最短路 径，用|E(G) |表示任意一个图的中边的个数。 下面给出图的平均最短路径变化景的数学定义： 我们把图G中所有点之间的距离的平均值叫图G的平均S短路径 长度，可表示为： 其中L (G)表示图G的平均最短路径长度。 设L为图G的平均路径长度，即所有边的权值之和和与顶点个数 的比，1，(1)为图01的平均路径长度，则在图G中去掉顶点i后形成 的图Gi的平均路径变化量A Li为 3.2簇系数 另外一个叫做簇系数(clustering coefficient)的参数，专门 用来衡量M络节点聚类的情况。比如在朋友关系网中，你朋友的朋友 很可能也是你的朋友；你的两个朋友很可能彼此也是朋友。簇系数就 是用来度量网络的这种性质的。用数学化的语言来说，对于某个节点， 它的簇系数被定义为它所有相邻节点之间连边的数目占可能的最大连 边数目的比例，网络的簇系数c则是所有节点簇系数的平均值。 假设无向网络中顶点i与其他顶点相连的边数为ki条，这ki个 顶点称为顶点i的邻居。显然，这ki个顶点之间最多可能有ki (ki-1) /2条边。而ki个顶点之间实际存在的边数为Ei，将实际存在的边数 Ei与可能的边数ki (ki-1) /2相比得到顶点i的聚类系数Ci，公式 如下: 图G的簇系数C是所有顶点簇系数Ci的平均值，用C (G)来表 不： 设C为图G的簇系数平均值，C(i)为图Gi的簇系数平均值，则 在图G中去掉顶点i后所形成的图Gi的簇系数变化景3. 3 SWN理论 近年来复杂网络研宄的兴起，学者们关注网络结构复杂性以及网 络行为之间的关系。为研究不同复杂网络的结构共性，需要一种描述 网络的统一工具，数学上称为图。任何一个网络都可以看作是巾一些 顶点按某种方式连接在一起而构成的图。复杂网络所构成的图普遍具 有较大的簇系数和较小的平均最短路径长度，此时高聚类性和小世界 效应会在网络中同时呈现，