文本挖掘技术在科技管理领域热点主题抽取方向的应用研究.pdfVIP

第２９卷第７期　　　 计算机应用与软件 Ｖｏｌ２９Ｎｏ．７ ２０１２年７月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｊｕｌ．２０１２ 文本挖掘技术在科技管理领域热点主题抽取方向的应用研究 施韶亭　曹　方 （甘肃省科学技术情报研究所　甘肃兰州７３００００） 摘　要　　科技管理领域热点主题抽取过程主要历经文本挖掘技术中的数据采集与清洗、信息抽取、主题分析三个阶段。其中，热 点主题抽取采用ＴＦＩＤＦ信息抽取算法，主题聚类采用共现方法中的合并聚类。通过热点主题抽取、趋势分析和聚类分析，可以实现 领域热点工作的提前预测和科学决策，有助于推动政务领域信息的智能化和知识化。 关键词　　科技管理　文本挖掘　信息抽取 中图分类号　ＴＰ３０１　　　　文献标识码　Ａ ＡＰＰＬＩＥＤＳＴＵＤＹＯＮＴＥＸＴＭＩＮＩＮＧＴＥＣＨＮＩＱＵＥＴＯＳ＆ＴＭＡＮＡＧＥＭＥＮＴＦＩＥＬＤ ＨＯＴＴＯＰＩＣＥＸＴＲＡＣＴＩＯＮＤＩＲＥＣＴＩＯＮ ＳｈｉＳｈａｏｔｉｎｇ　ＣａｏＦａｎｇ （ＧａｎｓｕＩｎｓｔｉｔｕｔｅｏｆＳｃｉｅｎｔｉｆｉｃａｎｄＴｅｃｈｎｏｌｏｇｉｃａｌＩｎｆｏｒｍａｔｉｏｎ，Ｌａｎｚｈｏｕ７３００００，Ｇａｎｓｕ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　ＴｈｅＳ＆Ｔｍａｎａｇｅｍｅｎｔｆｉｅｌｄｈｏｔｔｏｐｉｃｅｘｔｒａｃｔｉｏｎｐｒｏｃｅｓｓｍａｉｎｌｙｕｎｄｅｒｇｏｅｓｔｈｒｅｅｓｔａｇｅｓ：ｄａｔａａｃｑｕｉｓｉｔｉｏｎａｎｄｃｌｅａｎｉｎｇ，ｉｎｆｏｒｍａｔｉｏｎ ｒｅｔｒｉｅｖａｌ，ａｎｄｔｏｐｉｃａｎａｌｙｓｉｓ．Ａｓｆｏｒｈｏｔｔｏｐｉｃｅｘｔｒａｃｔｉｏｎ，ＴＦＩＤＦｉｎｆｏｒｍａｔｉｏｎｅｘｔｒａｃｔｉｏｎａｌｇｏｒｉｔｈｍｉｓａｐｐｌｉｅｄ；ｉｎｔｅｒｍｓｏｆｔｏｐｉｃｃｌｕｓｔｅｒｉｎｇ， ａｇｇｌｏｍｅｒａｔｉｖｅｃｌｕｓｔｅｒｉｎｇｆｒｏｍｃｏｎｃｕｒｒｅｎｃｅｍｅｔｈｏｄｉｓａｐｐｌｉｅｄ．Ｂｙｍｅａｎｓｏｆｈｏｔｔｏｐｉｃｅｘｔｒａｃｔｉｏｎ，ｔｒｅｎｄａｎａｌｙｓｉｓａｎｄｃｌｕｓｔｅｒｉｎｇａｎａｌｙｓｉｓ，ｔｈｅ ｆｏｒｅｃａｓｔａｎｄｓｃｉｅｎｔｉｆｉｃｄｅｃｉｓｉｏｎｍａｋｉｎｇｆｏｒｆｉｅｌｄｈｏｔｗｏｒｋｃａｎｂｅｒｅａｌｉｚｅｄ，ｗｈｉｃｈｈｅｌｐｓｐｒｏｍｏｔｅｔｈｅｇｏｖｅｒｎｍｅｎｔｂｕｓｉｎｅｓｓｆｉｅｌｄｉｎｆｏｒｍａｔｉｏｎ ｉｎｔｅｌｌｅｃｔｕａｌｉｚａｔｉｏｎａｎｄｋｎｏｗｌｅｄｇｅｄｒｉｖｉｎｇ． Ｋｅｙｗｏｒｄｓ　　Ｓ＆Ｔｍａｎａｇｅｍｅｎｔ　Ｔｅｘｔｍｉｎｉｎｇ　Ｉｎｆｏｒｍａｔｉｏｎｒｅｔｒｉｅｖａｌ 对主题共现的相似度计算，建立共现矩阵，实现主题的聚类 ０　引　言 分析。 文本挖掘作为数据挖掘的一个新主题，尚未有统一的定 １　研究方法和数据来源 义［１］。在计算机领域普遍接受的概念是：文本挖掘指从大量文 本数据中抽取事先未知的、可理解的、最终可用的知识的过程， 文本挖掘的具体过程包括文本向量模型、自然语言分析等 同时运用这些知识更好地组织信息以便将来参考［２］。文本挖 技术在内的信息抽取［９］，文本数据只有经历这些过程处理后， 掘可以在自然语言的文本中寻找模式和趋势的优点，使得这项 才能实现主题的聚类、度量和可视化等知识化应用。其中信息 技术应用的领域比较广泛，如商业数据中竞争情报的获取［３］、 抽取过程的方法有基于规则的，也有基于统计的，算法主要有 政府信息中决策信息的发现［４］ ［５］ Ｃｖａｌｕｅ、ＴＦＩＤＦ、遗传、ＬＤＡ模型等。文本聚类有基于层次、密 、金融机构中交易的预警 、科 学学中科学图谱［６］的分析等。鉴于文本挖掘的价值，美国政府 度、网格方等方法，算法有 ｋ均值、Ｎｅｗｍａｎ、谱聚类、