网的络大数据现状与展望.docx

网络大数据:现状与展望1引言1.1研究与发展现状近年来，随着互联网、物联网、云计算、三网融合等IT与通信技术的迅猛发展，数据的快速增长成了许多行业共同而对的严峻挑战和宝贵机遇，因而信息社会己经进入了大数据(hig Data)时代.大数据的涌现不仅改变着人们的生活与工作方式、企业的运作模式，甚至还引起科学研究模式的根本性改变.一般意义上，大数据是指无法在一定时间内用常规机器和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合川.网络大数据是指“人、机、物”三元世界在网络空间(Cyberspace)中彼此交互与融合所产生并在互联网上可获得的大数据，简称网络数据.当前，网络大数据在规模与复杂度上的快速增长对现有IT架构的处理和计算能力提出了挑战.据著名咨询公司IDC发布的研究报告，2011年网络大数据总量为1. 8 ZB，预计到2020年，总量将达到3 5 ZB.IBM将大数据的特点总结为3个V，即大量化(Volume)、多样化(Variety)和快速化(Velocity).首先，网络空间中数据的体量不断扩大，数据集合的规模己经从UB}TB到了PB，而网络大数据甚至以EB和ZB(10z1)等单位来计数.IDC的研究报告称，未来十年全球大数据将增加50倍，管理数据仓库的服务器的数量将增加10倍以迎合50倍的大数据增长.其次，网络大数据类型繁多，包括结构化数据、半结构化数据和非结构化数据.在现代互联网应用中，呈现出非结构化数据大幅增长的特点，至2012年末非结构化数据占有比例达到互联网整个数据量的75%以上.这些非结构化数据的产生往往伴随着社交网络、移动计算和传感器等新技术的不断涌现和应用.再次，网络大数据往往呈现出突发涌现等非线}h}状态演变现象，因此难以对其变化进行有效评估和预测.另一方而，网络大数据常常以数据流的形式动态、快速地产生，具有很强的时效性，用户只有把握好对数据流的掌控才能充分利用这些数据. 近几年，网络大数据越来越显示出巨大的影响作用，正在改变着人们的工作与生活.2012年11月《时代》杂志撰文指出奥巴马总统连任成功背后的秘密，其中的关键是对过去两年来相关网络数据的搜集、分析和挖掘②.目前，eBay的分析平台每天处理的数据量高达100 PB，超过了纳斯达克交易所每天的数据处理量.为了准确分析用户的购物行为，eBay定义了超过500种类型的数据，对顾客的行为进行跟踪分析③. 2012年的双十一，中国互联网再次发生了最大规模的商业活动:淘宝系网站的销售总额达到191亿元人民币.淘宝之所以能应对如此巨大的交易量和超高并发性的分析需求，得益于其对往年的情况，特别是用户的消费习惯、搜索习惯以及浏览习惯等数据所进行的综合分析. 网络大数据给学术界也同样带来了巨大的挑战和机遇.网络数据科学与技术作为信息科学、社会科学、网络科学和系统科学等相关领域交叉的新兴学科方向正逐步成为学术研究的新热点.近年，Nature》和《Science》等刊物相继出版专刊来探讨对大数据的研究. 2008年《Nature》出版的专刊“BigData，从互联网技术、网络经济学、超级计算、环境科学和生物医药等多个方而介绍了海量数据带来的眺战叫.2011年《Science》推出关于数据处理的专刊`Dealing with Data，讨论了数据洪流(Data Deluge)所带来的机遇川.特别指出，倘若能够更有效地组织和使用这些数据，人们将得到更多的机会发挥科学技术对社会发展的巨大推动作用.1. 2网络大数据研究的意义 总体而言，网络大数据研究的重要性体现在以下几个方而: (1)网络大数据的研究对捍卫国家网络空间的数字主权，维护社会稳定，推动社会与经济可持续发展有着独特的作用.信息化时代，国家层而的竞争力将部分体现为一国拥有网络大数据的规模、活性以及对数据的解释与运用的能力.国家在网络空间的数字主权也将是继海、陆、空、天四空间之后另一个大国博弈的空间.在网络大数据领域的落后，意味着失守产业战略制高点，意味着国家安全将在网络空间出现漏洞.为此，今年3月，美国政府整合6个部门投资2亿美元启动“大数据研究和发展计划”.在该计划中，美国国家科学基金会提出要“形成一个包括数学、统计基础和计算机算法的独特学科”.该计划还强调，大数据技术事关美国的国家安全，影响科学研究的步伐，还将引发教育和学习的变革.这意味着网络大数据的主权己上升为国家意志，直接影响国家和社会的稳定，事关国家的战略安全. (2)网络大数据是国民经济核心产业信息化升级的重要推动力量.“人、机、物”三元世界的融合产生了大规模的数据，如何感知、测量、利用这些网络大数据成为国民经济中许多行业而临的共同难题，成为这些行业数字化、信息化的障碍和藩篱.如何使不同行业都能突破这一障碍，关键在于对网络大数据基本共性问题的解