一种新的Web中文文本聚类方法研究.pdfVIP

第３０卷第１２期　　　 计算机应用与软件 Ｖｏｌ３０Ｎｏ．１２ ２０１３年１２月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｄｅｃ．２０１３ 一种新的Ｗｅｂ中文文本聚类方法研究 １ ２ ３ 叶宇飞　安世全 　代　劲 １（重庆邮电大学计算机科学与技术学院　重庆４０００６５） ２（重庆邮电大学移通学院　重庆４０００６５） ３（重庆大学计算机科学与技术学院　重庆４０００６５） 摘　要　　传统的文本聚类缺少语义信息，文本的特征向量高维稀疏，忽略了Ｗｅｂ文本的特殊性。为了解决这些问题，提出一种 Ｗｅｂ中文文本聚类方法。在基于知网（ＨｏｗＮｅｔ）的概念空间基础上过滤非名词，分析文本中重要词汇的语义，对标签特征集与正文 特征集进行特征集聚类，再利用改进的ＴＦＩＤＦ算法选取两个集合中的特征，最终将文本表示为选取的标签特征集与正文特征集的 并集，降低了特征的维度，高效地表示了文本。通过实验验证了其有效性。 关键词　　Ｗｅｂ文本聚类　特征降维　知网　文本相似度 中图分类号　ＴＰ３９１．１　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１３．１２．０５８ ＲＥＳＥＡＲＣＨＯＮＡＮＯＶＥＬＷＥＢＣＨＩＮＥＳＥＴＥＸＴＣＬＵＳＴＥＲＩＮＧＭＥＴＨＯＤ １ ２ ３ ＹｅＹｕｆｅｉ　ＡｎＳｈｉｑｕａｎ　ＤａｉＪｉｎ １（ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＣｈｏｎｇｑｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｃｈｏｎｇｑｉｎｇ４０００６５，Ｃｈｉｎａ） ２（ＣｏｌｌｅｇｅｏｆＭｏｂｉｌｅＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ，ＣｈｏｎｇｑｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｃｈｏｎｇｑｉｎｇ４０００６５，Ｃｈｉｎａ） ３（ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＣｈｏｎｇｑｉｎｇＵｎｉｖｅｒｓｉｔｙ，Ｃｈｏｎｇｑｉｎｇ４０００６５，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｔｒａｄｉｔｉｏｎａｌｔｅｘｔｃｌｕｓｔｅｒｉｎｇｌａｃｋｓｔｈｅｓｅｍａｎｔｉｃｉｎｆｏｒｍａｔｉｏｎ，ｉｔｓｔｅｘｔｅｉｇｅｎｖｅｃｔｏｒｉｓｈｉｇｈｄｉｍｅｎｓｉｏｎｓｐａｒｓｅ，ａｎｄｉｇｎｏｒｅｓｔｈｅ ｐａｒｔｉｃｕｌａｒｉｔｙｏｆｔｈｅＷｅｂｔｅｘｔ．Ｉｎｏｒｄｅｒｔｏｓｏｌｖｅｔｈｅｓｅｐｒｏｂｌｅｍｓ，ｗｅｐｒｏｐｏｓｅａＷｅｂＣｈｉｎｅｓｅｔｅｘｔｃｌｕｓｔｅｒｉｎｇｍｅｔｈｏｄｉｎｔｈｉｓｐａｐｅｒ．Ｏｎｔｈｅｂａｓｉｓ ＨｏｗＮｅｔｂａｓｅｃｏｎｃｅｐｔｓｐａｃｅ，ｔｈｅｍｅｔｈｏｄｆｉｌｔｅｒｓｔｈｅｔｅｒｍｓｂｕｔｎｏｕｎｓ，ａｎａｌｙｓｅｓｔｈｅｓｅｍａｎｔｉｃｓｏｆｔｈｅｉｍｐｏｒｔａｎｔｗｏｒｄｓｉｎｔｈｅｔｅｘｔ，ａｎｄｃａｒｒｙｏｕｔ ｔｈｅｆｅａｔｕｒｅｓｅｔｃｌｕｓｔｅｒｉｎｇｏｎｌａｂｅｌｆｅａｔｕｒｅｓｅｔａｎｄｔｅｘｔｆｅａｔｕｒｅｓｅｔ．ＴｈｅｎｉｔｕｓｅｓｔｈｅｉｍｐｒｏｖｅｄＴＦＩＤＦａｌｇｏｒｉｔｈｍｔｏｓｅｌｅｃｔｆｅａｔｕｒｅｓｆｒｏｍｔｈｅｓｅｔｗｏ ｓｅｔｓ，ａｎｄｆｉｎａｌｌｙｅｘｐｒｅｓｓｅｓｔｈｅｔｅｘｔａｓａｕｎｉｏｎｏｆｔｈｅｓｅｌｅｃｔｅｄｌａｂｅｌｆｅａｔｕｒｅｓｅｔａｎｄｔｅｘｔｆｅａｔｕｒｅｓｅｔ．Ｉｔｒｅｄｕｃｅｓｔｈｅｄｉｍｅｎｓｉｏｎｓｏｆｆｅａｔｕｒｅｓ，ａｎｄ ｅｘｐｒｅｓｓｅｓｔｈｅｔｅｘｔｅｆｆｉｃｉｅｎｔｌｙ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｄｅｍｏｎｓｔｒａｔｅｉｔ