基于移动互联网的质检信息采集与聚类分析技术浅析.pdfVIP

China Science Technology Overview 信息技术与应用 基于移动互联网的质检 信息采集与聚类分析技术浅析 于新雨 毛立凯 陈桥 (北京中防昊通科技中心,北京 100013) 【摘　要】在移动互联网环境下,利用文本挖掘和搜索引擎技术,通过前端内容的自动采集处理、对敏感词进行过滤,并且进行智能聚类分类、主 题检测、专题聚焦、统计分析,实现质检执法各部门对各自相关网络舆情关注的需要,支持形成质检信息分析报告,从而为决策层全面掌握信息动态、做 出正确舆论引导提供分析依据。 【关键词】移动互联网 质检执法 舆情信息 聚类分析 1 引言 2.3 移动互联网的质检信息预处理 随着当今信息化技术的不断发展,移动互联网已经成为人们日 移动互联网的质检信息预处理主要是对采集到的质检信息网 常生活的必不可少的组成部分。依托十多年数字化进程中积蓄的能 页进行初步的加工和处理,为后继的质检信息分析奠定基础。主要 量,大量网络化信息从PC互联网向移动互联网快速迁移,与移动智 涉及信息过滤、关键信息抽取、自动摘要等核心技术。 能终端同步渗透到国民经济各个领域和日常生活之中。在庞大的互 2.4 移动互联网的质检信息分析 联网体系之中,网络舆情是人们关于社会中各种现象、问题所表达 移动互联网的质检信息分析是指对从移动互联网中所采集到 的信念、态度、意见和情绪等表现的总和,特别是关系到城市安全、 的反映质检信息的新闻、评论等信息素材进行分类、聚类、倾向性分 供热锅炉和压力管线等特种设备的质检信息采集和聚类分析技术。 析等,根据质检信息分析评价指标的结果,确认其可信度和有效性, 如何正确采集供热锅炉和压力管线等特种设备的运行数据和情景 然后对质检信息主题重新组织信息,经过分类和处理后生成有针对 现实,及时通知质检等相关部门,早发现、早治理,对维护城市安全 性的质检信息。 具有重大意义。因此,亟待利用移动互联网技术,构建基于移动互联 2.5 移动互联网的质检信息处理 网的质检信息采集与聚类分析技术平台,为我国城市安全管理、质 移动互联网的质检信息处理包括质检信息预警、质检信息报告 检领域热力锅炉和其它特种设备管理提供智能高效的信息化支撑 和质检信息引导。首先根据分析统计得到的相关质检信息,根据相 服务。 关质检信息预警指标,实施报警和预测,然后向质检部门汇报总结 后的质检信息,从而为质检信息工作者的决策提供服务。 2 智能计算技术的质检信息监控 3 网络质检信息获取与处理 2.1 移动互联网的质检信息来源 移动互联网的质检信息来源的选择对于以后的质检信息挖掘 3.1 爬虫技术 研究至关重要,只有准确地把握质检信息的最初来源,才可能获得 利用现有的网络爬虫(crawl)技术来完成网络质检信息的获取 更为全面的质检信息。目前,质检信息主要的来源有政府网站,如新 是个不错的选择,网络爬虫技术大部分是基于表单填写,按表单填 华网、人民网等;新闻及网络媒体站点,如光明日报、新浪等;微博、