大数据时代基于统计特征情报关键词提取方法尝试.docVIP

大数据时代基于统计特征情报关键词提取方法尝试 　　摘 要：本文对大数据时代基于统计特征的情报关键词提取方法展开了相关的探究工作，首先就大数据的概念与特征进行了简要介绍，进而具体分析了目前情报关键词提取领域的发展现状与存在的主要问题，并最终提出了基于语义方法、基于统计方法、基于机器学习方法、基于复杂网络方法等关键词提取方法，旨在为有关研究人员提供一些新的研究思路与方法。 　　关键词：大数据；统计特征；情报关键词；提取方法 　　引言 　　随着当前相关科学技术的快速化发展，以互联网技术为代表的信息技术已经广泛渗透到了人??日常生活的方方面面，大数据时代已经悄然来临。由此也使得网络情报研究工作面临着前所未有的挑战与机遇，针对目前的现状情况，相关科研人员怎样能够在极度复杂的网络信息当中高效获取具有研究价值的重要议题将异常关键，对此，本文将就大数据时代基于统计特征的情报关键词提取方法展开相关的研究工作。 　　1概述 　　大数据也被称之为巨量数据集合，是指无法在一定的时间范围当中采用一般性的软件工具所获取、管理及处置的数据集合，必须要借助于新型处理模式方可达到更加强大的决策能力、洞察发现能力以及对流程优化改造能力的海量、高增长率以及多样化的信息资产。大数据的主要特征可概括为6V特征： 　　⑴Volume：数据容量大，大数据所具备的大容量是其与传统数据最为明显的一项特征差异。传统的一般关系型数据库处理其数据量级往往在TB级左右，而反观大数据所数据的数据量级经常可达到PB级别以上。 　　⑵Variety：数据类型多，大数据所进行处理的计算机数据类型已经不仅再局限于一般性的文本形式亦或是结构化的数据库表格，其同时还含括了音频、视频、文字、BLOG、微博等多种复杂的数据结构。 　　⑶Velocity：数据流动快，与传统的数据相比高速化同样也是大数据的一项重要特征，在面对接近于无穷尽的海量数据时，针对所获取到的数据信息分析处理效率越快越好，数据的处理效率将直接决定着组织命运。 　　⑷Value：数据潜在价值大，利用强大的智能学习机制与高级分析可更加高效的完成对数据价值的“精炼萃取”，将大数据的潜在价值尽可能多的挖掘出来，科学应用大数据，以低成本来创造出高价值。 　　⑸Veracity：数据真实性高，由于大数据所包含的数据容量十分庞大，其可通过多个不同的维度来实现对数据的分析与处理，因此最终所提炼出的目标数据具有较高的真实性。 　　2现状及问题 　　一般情况下，关键词是在所表述文章当中对其核心内容具有实质性价值的一类词汇，是为了实现对文章更加便捷的标引与检索而从文章的题目、摘要，以及正文当中所精选出的词汇或词组。在本次研究中将关键词的概念界定为可反映出互联网网页核心内容的有关词汇。对于关键词的提取则主要是利用对核心词汇的统计以及其语义内涵的分析，进而由各个独立的网页亦或是网页集当中挑选出合理的，可以将文章主旨思想精确表述的特征集选取过程。关键词是表述网页主旨内涵最为基础的一个单位，因此就通常在信息检索、自主问答、内容追踪等相关信息处理领域内均需进行关键词的提取，并且对于关键词的提取也将会对情报监测与跟踪产生出极其关键的线索价值，并使得情报工作的方向逐步变得确定。 　　受到大数据本身特点的影响，采取传统情报关键词提取方法难免会出现一些问题情况，其中主要就包括了：（1）进行关键词的提取往往都会带有一定的目的性，因此数据本身的代表性便至关重要，若所提取的关键词代表性不强，则很有可能导致最终的结论不够客观；（2）在关键词提取时还必须充分考量到大数据相关性有可能会产生的误差，切忌仅关注于表面，如某地区的网页数据量十分庞大，这是否就代表了该地区的网络形象较好？很显然并不一定，也很有可能会存在着大量的负面信息，因此在进行关键词的提取时还应当就信息相关性予以充分考量；（3）在提取关键词时还必须将信息当中所含括的个人隐私予以充分考量，在大数据当中所涵括的内容十分复杂而且来源途径众多，其中必然会涉及到大量的个人隐私，因此在实施大数据关键词提取时应尽可能回避这一问题。 　　3大数据时代情报关键词提取方法及构造 　　3.1关键词提取方法 　　3.1.1基于语义方法 　　基于词典的辅助，利用句法和词法来实施自动分词与词性标注，可促使计算机能够更加全面的掌握各类信息片段、词汇间的语义相关性，并进一步可借助于复杂计算来提取相应关键词。 　　3.1.2基于统计方法 　　利用词语统计信息来进行关键词的提取，其中应用最普遍的方法是词频―逆向文本频率指标以及N-gram方法，这一种类型的方法仅需对有关词汇的应用频率及过滤技巧加以统计即可，但其缺点也较为明显，即精度性相对较差。有研究人员就提出了一种经改进处理的TFIDF网页关键词提取方法，其可实现与