大数据环境下微信公众平台非结构化数据融合研究.docVIP

大数据环境下微信公众平台非结构化数据融合研究 　　〔摘要〕微信公众平台具有开源、发布及时的特点，目前它已经成为各机构发布信息的重要渠道。但这类数据又具有非结构化、无语义描述的特点，如何将微信公众平台从非结构化数据转化为可分析、判断的结构化数据，成为一个亟须解决的问题。针对该问题，本文提出一个对微信公众平台结构化数据监测的层次体系。这一方法将通过数据融合方式，从平台资源中抽取数据，构建结构化数据库，进行权重比较，判断情报价值，进而实现对研究领域的态势监测。 　　〔关键词〕微信公众平台；非结构化数据；同型异源数据；异型异源数据；同型同源数据；数据融合；态势监测 　　DOI：10.3969/j.issn.1008-0821.2015.08.027 　　〔中图分类号〕G25073〔文献标识码〕A〔文章编号〕1008-0821（2015）08-0141-03 　　由于手机终端设备越来越智能化，3G手机、4G手机以及WiFi的普及为网民提供了更为优质的上网环境，微信成为人们交流和传播信息最广泛的平台。2015年2月3日CNNIC（中国互联网络信息中心）发布的第35次《中国互联网络发展状况统计报告》显示，截至2014年12月，我国手机网民规模达649亿人，手机网民为557亿人，手机即时通信使用率为912%。2011年1月21日，腾讯公司推出微信，支持发送语音输入、小视频、实时对讲机、图片和文字等功能，适合大部分智能手机，截至2014年7月，已有超过3亿人使用。手机微信成为一个生活方式。 　　2012年8月，腾讯公司推出致力于为机构或个人提供服务拓展、品牌推广渠道的微信公众平台，其核心理念为“再小的个体，也有自己的品牌”[3]。公众平台从推出至今，通过不断丰富、完善自身的功能，用户遍布社会知名人士、商业团体、企事业单位、政府机构等众多领域。每个公众平台都有所属组织机构发布的重要信息，在这里人们可以更快、更便捷地了解相关机构的动态和活动。如《图书情报工作》期刊截至2015年3月23日，在CNKI中仅列出2015年第3期的全文，没有第4期的任何信息，但却能从其微信公众平台上看到2015年第4期的期刊目录。 　　微信公众平台已经成为移动设备中开源情报重要的获取源之一。这些信息大部分是一种非结构化、无语义描述的信息。他们的结构不同、内容不同、布局不同，这使得从微信公众平台获取数据带来难度。如何实现将微信公众平台非结构化的、自由的信息转化为可计算的、结构化的数据，成为开源情报获取的一个重要问题。 　　针对上述问题，笔者提出了一个针对微信公众平台结构化监测的层次体系，并基于这一思路设计了一个技术框架。 　　1微信公众平台的非结构化数据类型分析 　　随着移动互联网、物联网和云计算技术的迅速发展，大数据时代已经来临[4]。非结构化数据成为科研的重点对象。微信公众平台是一个多种信息资源交互的平台，数据呈现多重格式，如视频、音频、图像、文档等，这些数据格式呈现明显的异构性，有结构化数据、半结构化数据，还有非结构化的数据[5]。笔者将微信公众平台的非结构化数据源划分为3种类型，即同型异源数据、异型异源数据、同型同源数据（见图1）。 　　11同型异源数据 　　不同微信公众平台相同类型的数据，为同型异源数据。不同的站点有着不同的信息收集渠道、加工体系和标准，不同站点的信息发布模式均不相同。不同的微信平台，发布同一条信息，即使发布数据类型相同，其发布的具体内容、阐述重点也不尽相同，如果利用惟一数据源进行信息分析，获得结论可能会缺乏全面性，故应将多种数据整合在一起，进行融合分析。 　　2异型异源数据 　　在不同的微信公众平台上，由于数据不同，就会导致不同的数据呈现形式。同一信息，可以以视频、HTML页面、PDF、Word等形式呈现，但表达的内容大致相同，如果对数据进行监测研究，仅对其单一类型进行分析，显然会导致数据分析结果不全面。我们将这些呈现同一信息的数据源进行采集，对其进行各种分析、融合，这样更能得出某信息研究的整体情况。 　　13同型同源数据 　　同一微信公众平台，数据类型虽然有不同的呈现形式，但总有些内容不同、文献类型相同的信息资源，这些信息资源构成了每个公众平台的主体，是整个信息平台存在的基础。信息源发布方，可根据访问者的检索历史、浏览历史、近期关注的各种数据进行统计整合，判断用户的需求和兴趣点，从而为机构的项目发展或者战略计划的调整提供参考依据。 　　2微信公众平台非结构化数据监测 　　通过对微信公众平台的非结构化数据源数据类型划分可以看出，如果想将这些不同类型、不同内容的数据进行整合、判断、研究，需要对这些数据进行监测。 　　21微信公众平台数据监测思路 　　机构在微信公众平台发布同类信息时，经常会体现出不同的侧重点