对大数据发展及思考.docVIP

对大数据发展及思考 　　随着物联网、移动互联网、下一代互联网和云计算技术的发展，人类社会进入了“BIG DATA”时代，全球数据生产在高速增长。根据IBM的统计，每天会产生超过2.5×1018字节的信息，全球90%的数据都是在过去两年里生成的。据IDC预测，未来10年全球数据量将以40%的速度增长，2020年全球数据量将达到35ZB，为2009年的44倍。 　　大数据的概念及发展 　　大数据概念最初起源于美国，是由思科、威睿、甲骨文、IBM等公司倡议发展起来的。大约从2009年始，“大数据”成为互联网信息技术行业的流行词汇。 　　大数据已成为继云计算等之后的全球性新热点，其关键词在全球范围内迅速升温，短短四年间，“大数据”关键词的搜索量指数双倍增长。由维基百科可知，“大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。”大数据，或者说海量数据，指的是在人类社会运用了现代信息技术之后，掌握了比以前数量大得多的各种数据。最早提出“大数据时代已经到来”的机构是全球知名咨询公司麦肯锡。它是一个不断演变的概念，当前的兴起，是因为从IT技术到数据积累，都已经发生重大变化。所谓大是相对的，随着信息技术的发展，在这20多年里，我们讨论的数据量从以K计算，发展到M、G、T、P等，每次都提高了三个数量级。 　　如今，大数据时代已经来临，它将在众多领域掀起变革的巨浪。但我们要冷静的看到，大数据的核心在于为客户挖掘数据中蕴藏的价值，而不是软硬件的堆砌。在政府公共服务、医疗服务、零售业、制造业、以及涉及个人位置服务等领域大数据将得到广泛应用，并产生巨大的社会价值和产业空间，预测2020年，大数据应用市场规模将达到近2600 亿美元。大数据是传统数据的延伸，是对传统数据在深度和广度上的补充。发展大数据是促进政务信息资源开发利用的必然要求，是提高政府决策科学化水平的必然要求，是提高城市管理精细化水平的必然要求，是促进现代服务业发展的必然要求。 　　2012年3月29日，美国奥巴马政府推出“大数据研究与开发计划”，提出“通过收集、处理庞大而复杂的数据信息，从中获得知识和洞见，提升能力，加快科学、工程领域的创新步伐，强化美国的国土安全，转变教育和学习模式”。2014年年初，英国商业、创新和技能部宣布，将注资6亿英镑发展8类高新技术，其中对大数据的投资即达1.89亿英镑。法国政府为促进大数据领域的发展，将以培养新兴企业、软件制造商、工程师、信息系统设计师等为目标，开展一系列的投资计划。法国政府在其发布的《数字化路线图》中表示，将大力支持“大数据”在内的战略性高新技术。大数据“可爱又可怕”。一方面，大数据给人们的生活带来了诸多方便，给企业提供了更多的商业机会；另一方面，大数据又增加了重要信息泄露的风险，家庭住址、密码、手机号码、支付密码等个人信息都存在被盗用的危险，有可能会给受害人造成较大的精神及财产损失。 数据的爆炸式增长出乎人们的想象，使得适应和应对数据增长成为整个社会关注的焦点，大数据的概念也在这一背景下诞生的。但是并不是所有的数据都可以称其为大数据，大数据的判断需要基于4个层面，即大数据的4V特性包括体量（Volume）、多样性（Variety）、价值密度（Value）、速度（Velocity），体量指非结构化数据的超大规模和增长，总数据量的80%～90%，比结构化数据增长快10倍到50倍，是传统数据仓库的10倍到50倍；多样性指大数据的异构和多样性，很多不同形式（文本、图像、视频、机器数据），模式或者模式不明显，不连贯的语法或句义；价值密度指大量的不相关信息，对未来趋势与模式的可预测分析，深度复杂分析（机器学习、人工智能Vs传统商务智能（咨询、报告等）；速度指实时分析而非批量式分析，数据输入、处理与丢弃，立竿见影而非事后见效。 　　应对大数据的几点思考 　　大数据正成为继云计算、物联网、移动互联网之后信息技术领域的又一热点，是现有产业升级与新产业诞生的重要推动力量。大数据建设面临机遇，也要面对挑战。 　　很重要的一点便是个人隐私保护的问题。随着许多部委信息化建设进入“数据大集中”阶段，这些部门纷纷建设数据中心。现在“鸡蛋放在一个篮子里”，风险比以前分散存储的大。一旦出现信息安全问题，危害及影响面更大。透视“棱镜门 ”不难发现 ，信息技术的发展 ，使得获取他人信息易于探囊取物，大数据时代的隐私与信息安全危机等问题已向全球发出预警。目前，人们生活越来越多地与互联网发生关联，而目前中国互联网监管还存在漏洞，相关法律法规还存在空白。个人数据有可能被滥用、隐私被侵犯、电信诈骗等网络犯罪案件高发，犯罪手段花样不断翻新，令人担忧。目前，许多国家都已经出台了个人隐私保护法。建议政府部门加强个人隐私保护立法工作，严厉打击侵犯个人隐私的行为。对