【推荐】自动分类技术在企业竞争情报系统中的应用.docVIP

自动分类技术在企业竞争情报系统中的应用 自动分类技术在企业竞争情报系统中的应用 白广慧连浩许洪波程学旗 (中国网通集团研究院,北京100036) (中国科学院研究生院,北京100039) (中国科学院计算技术研究所,北京100080) 摘要论文介绍了基于支持向量机(SVM)方法的自动分类技术,以及该项技术在企业竞争情报系统中实现情报资料 自动分类的应用,通过对测试结果的评估表明,这种基于统计学习原理的自动分类方法能够达到较好的效果,实现企业 情报资料智能化预处理功能. 关键词数据挖掘情报自动分类支持向量机 文章编号1002—8331一(2005)18—0212—03文献标识码A中图分类号TP2 AutomaticCategorizationTechnologyandItsApplicationsin EnterpriseCompetitiveIntelligenceSystems BaiGuanghui?LianHaoXuHongbo~ChengXueqP (ChinaNetcomGroupLabs,Beijing100036) (GraduateSchooloftheChineseAcademyofSciences,Beijing100039) (InstituteofComputingTechnologyoftheChineseAcademyofSciences,Beijing100080) Abstract:ThispaperintroducesanautomaticcategorizationtechnologybasedonSupportVectorMachine(SVM),andits applicationsinenterprisecompetitiveintelligencesystems.TheSVMmethodbasedontheStatisticalLearningtheory showsgoodresultincategorizationtests,andplayskeyfunctioninenterprisecompetitiveinformationprocessing. Keywords:datamining,automaticcategorization,SupportVectorMachine(SVM) 1背景简介 建立企业竞争情报系统是提升企业竞争力的一个重要环 节.统计表明,美国90%的公司均拥有自己的竞争情报机构;全 球500强企业中,几乎所有企业都设有专门的情报部门. 在构建企业竞争情报系统的过程中,面临着处理海量非结 构化信息的难题.通过网络机器人从互联网上收集的原始资 料,加上通过咨询机构各种渠道获取的信息资料,每天接收的 数量非常大,上千篇,甚至上万篇.对于这些资料信息,需要进 行的一项重要工作就是进行情报分类,以便情报人员进行后续 的情报加工处理工作.对于海量的情报资源,如果依靠人工进 行分类处理,不但需要耗费很大的人力资源,而且时效性不能 满足企业的实际需要.在竞争情报系统实施过程中,可以采用 自动分类技术对情报资料进行分类,分类准确率能够达到实用 化要求,并高效地节省了人力资源. 我们在竞争情报资料的自动分类实现中,综合运用了基于 关键词过滤的规则方法和基于支持向量机的统计学习方法.本 文重点介绍支持向量机的自动分类技术,并对它的分类效果进 行评估. 2自动分类技术的实现 自动分类是指利用计算机根据文献内容进行类别划分的 功能. 理想的自动分类要分三步进行: (1)定义特定系统的特定分类体系; (2)根据分类体系的定义,为每个类别选择一定数量的样 本文章,训练计算机,得到分类模版; (3)将这个模版交给网络采集工具,在采集的同时根据模 版对所采信息进行基于内容的分类,即利用计算机分析待分类 对象中的特征,然后将其与各种类别中的对象所具有的特征进 行比较再将对象划归特征最接近的类别的过程. 自动分类的常用方法可分为如下三类: (1)基于词的分类技术:文本自动处理是以概念为基本单 元,而词是概念的基本组成部分,是信息的载体,因此这种方法 是根据那些代表文章主题内容的词汇对文章进行类别判定的 一 种方法. (2)基于知识的分类技术:这种基于知识的文本自动分类 方法,主要依赖于一个明确的知识库,知识的表示方法主要有 规则库,语义模型或格框架等.基于知识的分类技术的显着特 点是需要手工建造知识库,且建造的知识库领域性极强,移植 困难. (3)基于信息的分类技术:基于信息的分类技术是一种介 于词的技术和基于知识的技术之间的方法,该方法对上下文敏 作者简介:白广慧(1976一),女,工程师,研究方向:计算机及应用,网络安全.连浩,女,研究生,研究方向:中文处理,网络安全.许洪波,男,助理