基于粗糙集的WEB文本特征约简.docVIP

基于粗糙集的WEB文本特征约简 　　摘要:为了得到用户满意的文本特征约简,在粗集理论属性约简技术的基础上,提出文本特征选择的新方法RSUA。RSUA方法采用用于关联规则挖掘的Apriori算法的思想进行决策表的约简。实验验证了RSUA方法的有效性。 　　关键词:RSUA;粗糙集;Web 　　中图分类号:TP301文献标识码:A文章编号:1009-3044(2009)32-9052-02 　　Selece Eigenvectors Form Documents Based on Rough Set Reduction Algorithm 　　LI Hong-xia, YI Li-ping 　　(School of Computer, Jiangxi Aviation Vocational Technical College, Nanchang 330024, China) 　　Abstract: The paper discuss a new method(RSUA) for selece eigenvectors form documents based on rough Set Reduction. It put forward a mining model of association rules with decision attributes based on Apriori. 　　Key words: RSUA; Rough Set; Web 　　网络的快速发展给人们带来大量信息,网页中最主要的信息资源是文本,WEB挖掘就是针对网上大量文本信息进行知识发现、知识表示的研究领域。由于构成文本的原始词汇量往往非常巨大,一般为几万甚至几十万,所以文本的原始特征项空间也非常巨大,这样大的特征空间对许多分类算法来说是很难处理的,在实际应用中系统运行速度也对特征空间的压缩提出了要求。对文本原始特征空间的压缩一般使用特征选择或特征提取方法。 　　文本挖掘的一个重要问题就是高维的特征空间,这些特征空间是由文本中的词或词组构成的,许多传统算法难处理。 　　1 算法的设计思想 　　关联规则是关联分析中的一种常见的技术,是寻找在同一个事件中出现的不同项的相关性。挖掘关联规则问题就是产生支持度和可信度分别大于用户给定的最小支持度和最小可信度的关联规则。在利用粗糙集的决策表进行数据分析,决策属性的选取很重要,对一个问题当有多个影响因素时,通过关联规则得到一些符合最小支持度和最小可信度的一些规则,从中可以发现一些规则,这样可以根据决策规则的条件,作为粗糙集决策表的决策属性,利用粗糙集进行运算,得到这一决策属性的相关因素。 　　而利用粗糙集进行分析时,可以约简冗余属性,缩小考虑范围,同时验证或从另一角度对同一问题进行分析。另外,粗糙集可以处理含有不一致、噪声、不完备的数据,比关联规则具有更广的使用范围。粗糙集的约简中,将关联规则挖掘和粗糙集理论结合起来,引入关联规则中的支持度概念,并重新定义了这个概念。 　　在决策表DT中,t为条件属性,s为决策属性,规则t=s的基数card(t=s)称作规则t=s的支持度,记为sup(t=s);属性t的基数card(t)称作属性t的支持度,记为sup(t)。 　　假如一条规则t=s的sup(t=s)=sup(t),则称该规则是确定性规则;假如一条确定规则的支持度大于用户指定的最小支持度,称这条规则为强确定性规则。 　　这里主要讨论决策表中的强确定性规则,提出算法RSUR,该算法采用用于关联规则挖掘的Apriori算法的思想进行决策表的约简,即“频繁项集的所有非空子集都必须也是频繁的”,也就是:假如规则t=s不是强的,则它的扩展tΛp=s也不是强的。算法根据用户指定的最小支持度,利用Apriori性质删除低于最小支持度的规则,得到强确定的规则表。 　　2 算法的描述 　　算法RSUA的算法描述如下: 　　输入:决策表DT,最小支持度minup; 　　输出:所产生的规则集。 　　步骤一:对决策表进行属性约简; 　　步骤二:K赋值为1; 　　步骤三:计算候选集CK中每个属性的属性支持度和规则支持度; 　　步骤四:若规则支持度小于最小支持度,则将其从CK中删除;若该规则的属性支持度等于规则支持度,则将该规则移入规则集Pk; 　　步骤五:将CK扩展为CK+1,首先扫描CK,将CK中的每两项合成具有K+1个属性的候选项,插入CK+1中。接着检查CK+1中的每一项C,若C的K子集中有不在CK中的项,则将C删除;若C是不相容的,将C删除。最后得到CK+1,将K赋值为K+1; 　　步骤六:循环调用三至五步,直到CK为空; 　　步骤七:结束。 　　3 实验结果 　　为了验