能源行业安全事故网上监控系统设计.docVIP

能源行业安全事故网上监控系统设计 摘要：近年来，我国能源行业的安全生产责任事故层出不穷。为了能将相关事故尽可能快速有效地汇报相关部门，必须对互联网上关于能源行业的事故新闻做到实时的监控。该文提出了一套对互联网上能源行业事故实时抓取分析的事故监控系统，采用机器学习与规则匹配相结合的文本挖掘技术来分类新闻事件，采用改进后的新闻事件分类方法比单纯使用机器学习的方法在准确率和召回率都有显著提升。文章最后提出系统实现的框架，并提出改进意见。 关键词：文本表示；特征提取；SVM分类器；规则过滤 中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2016）03-0061-04 1 背景 能源行业主要包括煤炭行业，石油行业，电力行业，核电行业和新能源行业，随着我国经济的快速发展，国内各个领域对于能源的需求也是与日俱增，也促成了我国能源行业的快速发展。但有些能源生产单位只注重产量，对能源的安全生产缺少科学管理，导致能源行业事故时有发生。 总体而言，对于能源的开采工作都是一些高风险的作业，一旦发生事故，不仅会对企业造成巨大经济损失，而且会造成巨大的环境破坏。因此，消除和控制能源行业的安全生产事故，降低能源行业事故造成的影响，有效保护环境，已经是政府和相关能源生产单位的当务之急。 在当下，政府对于能源行业安全生产相关事故的关注，一般是通过相关生产部门的汇报以及能源行业相关网站的报道。但是由于能源行业涉及的部门众多，层级复杂，当基层部门发生安全生产事故时，无法及时有效地做到对上级通报实时情况。通过浏览相关能源事故网站的方法可以及实地了解底层生产安全的状况，但是相关网站通报的信息繁杂，安全事故信息零星地分散在各个网站上，无法做到信息的分类与汇总。所以，对于密切关注能源生产安全事故的政府部门以及相关责任部门来说，拥有一套可以实时监控能源安全事故发生，并且可以根据事故的类型做分类与汇总的监控系统系统，是十分必要的。 本文主要介绍能源行业安全事故网上监控系统的设计架构以及核心分类算法。该系统的主要目的是抓取现各大搜索引擎以及能源行业门户网站中的新闻，对抓取的新闻进行事故的识别以及事故的分类，对分类后的信息汇总到系统的客户端上，对用户实时展示。本文安排如下：介绍使用机器学习方式对文本进行分类算法的研究方法和研究现状，并介绍如何利用机器学习与规则相结合的方法来提高文本分类的准确性，最后介绍系统的架构以及采用的技术。 2 文本分类相关技术 2.1 文本分类 描述信息技术的发展使得互联网成为人们获取信息的重要手段，但互联网上的信息量十分巨大，而且大多没有次序，人们很难快速找到有效的信息。为了应对巨大的信息量，许多文本分类技术应运而生，其中，利用机器学习按照文本内容实现文本自动分类是解决信息快速检索的途径之一[1，2]。基于机器学习的自动方式主要是通过对若干不同类别文本的学习，自动建立特征词库。而且当供学习的样本文本更新后，通过重新学习就可自动更新特征词库，以适应对新的文本类别的分类识别[3]。 目前，应用于文本分类的技术和算法很多，例如有朴素贝叶斯算法，K 最近邻算法，神经网络，支持向量机（Support Vector Machine 即 SVM） 等。其中，支持向量机（SVM）是依托统计学习理论的基础，根据有限的信息条件得到较好的结果[4]。SVM分类算法是以结构风险最小化为目标，所求得的解是全局最优解，该算法克服“维数灾难”问题，有比较深厚的理论基础。文本自动分类的概念可以归纳为[5]： 在确定的分类目标下，将待分类的网页文本根据内容自动的划分到某个类别中，使得网页文本具有正确的标签。文本分类是个有监督的学习过程，在构建自动分类的系统之前，需要通过对足够量的现有文本进行类别的标注，构造训练集，以已构造的训练集为基础，通过分类器找出文本类别与文本特征之间的关系，然后利用这个关系模型对新的文本进行类别的判断。 2.2 文本特征提取 为了将文本表示成文本分类器所是别的形式，通常文本以向量的形式出现在向量空间模型里，向量空间模型有以下要素构成： 1）文档：由一定数量的文字片段构成，像由若干句子、句群、段落和整篇文章构成的文档。 2）特征项：向量空间模型中最基本且不可分的单位是特征项，字、词、短语都能做特征项。 3）项的权重：文档D（t1，t2，...tn）中有n个特征项，其中每一个特征项tk，都依据它们在文档中的重要程度，被赋予相应的权重，表示为D （Wl，W2，...，Wn）。 因此一个文档可以表示成n维向量空间中的一个向量，可以将D D （Wl，W2，...，Wn）称为文本D的向量空间模型或者向量表示。通常待分类的文本可以表示为特征空间中的一个特征向量，而其中混杂的大量高维的无关特征将影响分类模型的分类效果。为了降低向量空间的维度，消除无关特征的