呼叫中心文本分类系统的设计与实现.pdfVIP

摘要 摘 要 随着城市智能化的发展，政府部门为了了解民生诉求普遍建立了呼叫中心， 并成为群众表达民意诉求的重要渠道。民生诉求文本包含了丰富的当地热点事件 和诉求信息，这些文本数据往往长短不一、包含较大信息量，伴随着数据量的逐 渐增大，如何发现群众关心的热点诉求成了管理者关注的焦点。 本文利用文本分类技术，对呼叫中心的诉求数据进行分析，设计实现了一个 从数据采集、数据预处理、文本数据分类和可视化展示为一体的文本分类系统。 本文主要工作包括： （1）数据采集，采集分散在不同数据源的原始数据。论文设计合理的数据 存储格式，完成数据的初步录入。呼叫中心的数据源每天都有更新汇总，因此后 期采用增量采集的模式，完成对新数据的增量录入。 （2 ）数据预处理，论文设计实现了一套数据初步清洗的方法，完成对真实 数据的清洗和过滤。同时针对数据中的诉求文本设计实现了中文文本处理流程， 包括中文分词、去除停用词、特征选择和文本表示等步骤。在文本特征表示阶段， 针对传统 TFIDF 算法忽略特征类内和类间的分布的缺陷，结合卡方统计和信息 熵提出改进的TFIDF-T 算法；同时研究了基于词向量Word2vec 的文本表示，提 出了词向量平均的A_Word2vec 模型和结合TFIDF 权重的T_Word2vec 文本特征 表示模型。 （3 ）诉求文本分类，将上面几种文本特征表示模型与 KNN 、SVM 和朴素 贝叶斯三种分类算法结合、并与基于Word2vec 词向量模型的深度学习文本分类 模型 FastText 进行比较，结果表明以 T_Word2vec 模型进行文本特征表示，以 KNN 为分类算法具有较好的诉求文本分类效果。进一步，并借助Hadoop 集群的 分布式并行计算能力，实现了诉求文本分类算法的并行化。 （4 ）可视化展现，对最终的分类结果生成直观的报表展示，实现诉求事项 分时间、区域的展示。 系统测试和实际运行表明，本文实现的呼叫中心文本分类系统具有较好的准 确率和性能，能够及时反映出民生热点诉求。 关键词：Hadoop ，呼叫中心，文本分类，Word2vec，TF-IDF I ABSTRACT ABSTRACT With the development of urban intelligence, government departments have established call centers in order to understand peoples livelihood demands, and have become an important channel for the masses to express their opinions. The text of peoples livelihood appeal contains a wealth of local hot events and appeal information. These text data are often of varying lengths and contain a large amount of information. With the gradual increase of the amount of data, how to find the type of hot appeals that the masses care about has become the concern of managers Focus. This thesis uses text classification technology to analyze the call centers appeal data, and designs and implements a text classification system from data collection, data prepro