基于分类词典的文本相似性度量方法.docVIP

基于分类词典的文本相似性度量方法 李海林 邹金串 华侨大学信息管理系 华侨大学现代应用统计与大数据研究中心 X 关注成功！ 加关注后您将方便地在 我的关注中得到本文献的被引频次变化的通知！ 新浪微博 腾讯微博 人人网 开心网 豆瓣网 网易微博 摘????要： 针对现有基于语义知识规则分析的文本相似性度量方法存在时间复杂度高的局限性, 提出基于分类词典的文本相似性度量方法。利用汉语词法分析系统ICTCLAS对文本分词, 运用TF×IDF方法提取文本关键词, 遍历分类词典获取关键词编码, 通过计算文本关键词编码的近似性来衡量原始文本之间的相似度。选取基于语义知识规则和基于统计两个类别的相似性度量方法作为对比方法, 通过传统聚类与KNN分类分别对相似性度量方法进行效果验证。数值实验结果表明, 新方法在聚类与分类实验中均能取得较好的实验结果, 相较于其他基于语义分析的相似性度量方法还具有良好的时间效率。 关键词： 文本挖掘; 语义分析; 分类词典; 关键词提取; 词语编码; 相似性度量; 聚类; 分类; 作者简介：李海林, 男, 1982年生, 副教授, 博士, 主要研究方向为数据挖掘与决策支持, 主持国家自然科学基金1项和省部级基金2项, 发表学术论文40余篇, 其中被SCI检索11篇, EI检索20余篇。 作者简介：邹金串, 女, 1993年生, 硕士研究生, 主要研究方向为文本挖掘。E-mail:Zou_jinchuan@ 163.com. 收稿日期：2016-08-30 基金：国家自然科学基金项目 Text similarity measure method based on classified dictionary LI Hailin ZOU Jinchuan Department of Information Systems, Huaqiao University; Research Center of Applied Statistics and Big Data, Huaqiao University; Abstract： Existing text-similarity measurement methods based on the semantic knowledge rules analysis have the limitation of high time complexity. In this paper, we propose a text-similarity measurement method based on the Classified Dictionary. First, we segmented texts using the Chinese Lexical Analysis System. Then, we extracted text keywords using the term frequency-inverse document frequency ( tf* idf) method and performed keywords coding by traversing the dictionary. By calculating the coding similarity of the text keywords, we can determine the similarity of the original texts. As our two comparison methods, we selected similarity measurement methods based on semantic knowledge rules and statistics. We verified our similarity measurement results using traditional clustering algorithms and the k-nearest neighbors classification method. Our numerical results show that our proposed method can obtain relatively good results in clustering and classification experiments. In addition, compared with other semantic analysis measurement methods, this method has better time efficiency. K