国外大数据产业发展及启示.docVIP

国外大数据产业发展及启示 　　一 、大数据的内涵及其应用 　　（一）大数据的概念、特征 　　现代社会正以不可想象的速度产生海量数据。根据IDC（Internet Data Center）即互联网数据中心预测，2020年的数据增长量将是2010年的44倍，达到35ZB。大数据（big data）是由数量巨大、结构复杂、类型众多的数据构成的数据集合，是基于云计算的数据处理与应用模式。大数据又称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前的主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策的资讯。 　　大数据具有以下四个基本特征：一是海量的数据容量（Volume Big），目前数据量级已从TB发展至PB乃至ZB；二是快速的数据流转和动态的数据体系（Velocity Fast），数据流往往为高速实时数据流，而且需要快速、持续的实时处理，处理工具亦在快速演进，软件工程及人工智能等均可能介入；三是多???的数据类型（Variable Type），数据类型繁多，主要为网页、视频、图像与位置信息等半结构化和非结构化数据信息；四是巨大的数据价值和数据低密度（Value high and Low density），以视频安全监控为例，连续不断的监控流中，有价值的可能仅为一两秒的数据流，360°全方位视频监控的“死角”处，可能才挖掘出能被利用的有价值的图像信息。 　　（二）大数据的应用领域 　　大数据是海量交易数据 、海量交互数据以及海量数据处理三种相互关联又迥然各异的技术趋势的集合体，每一种技术趋势都代表着创新突破和发展潜力。随着各项创新技术的汇集， 大数据的应用已经相当广泛。 　　1. 城市管理。搜集城市的地理信息和其他数据，医院、警察局等公共服务部门的位置，天气变化，为可能发生的紧急事件提供预案；通过各行业收集到的数据，分析宏观数据，准确及时地对市场进行调控；通过在城市多处设置的传感器收集交通数据，从而指导人们确定出行计划，避免拥堵，有效缓解大城市交通拥挤问题。 　　2. 农工商业发展。运用大数据对气象、气候、地形进行智能分析，形成现代化高科技农业生产模式；形成以大数据信息为背景的新型现代化工业，智能自动化生产；数据分析工具帮助银行、商店确定最佳的营业网点，优化业务的运营；帮助企业监控客户的商店活动情况与交易记录，确定商品种类、商品摆放位置、商品调价的时间和幅度，减少企业存货，提升利润率；在电子商务方面，准确分析用户的购物行为，通过对用户行为数据的分析，决定购物网站的网页形式和内容，把消费者和销售者对应起来，形成新的“销售—消费”模式；在商品储存方面，开发一种供应链模型，根据产品线的销售情况、运输费用、储存费用，提供极为准确的成本维护视图，建立最优化的商业经营模式。 　　3. 市场研究。安装搜集运营数据的装置，实时连续地收集网络信息，使我们更快地对市场做出反应；利用菜单变化、餐厅设计以及劳动生产力的培训程度对销售额影响进行建模，获取各因素与销售额的相关关系。 　　4. 个人服务。它能自动记录个人经常出现的地理位置，并自动生成为数据图表，帮助分析个人行程路线、生活场所，变成“个人生活助理工具”；也可以通过手机App搜集全球人们对于特定问题的看法，找出对于大众生活的若干观察，调查社会群众对于热门话题的立场。 　　除此之外，大数据还在其他领域有着重要的作用，并且随着大数据收集、整合以及分析技术的提升，大数据的应用领域势必将更加广阔。大数据正驱动着传统产业向现代化、“数据化”产业过渡。 　　二、 国外大数据产业的发展 　　（一）美国 　　2004年，布什政府通过司法程序，将“星风”监视计划分拆为由国家安全局执行的4个监视计划，除“棱镜”外，还包括“主干道”、“码头”和“核子”（“棱镜”用于监视互联网个人信息）。加上已被有关机构掌握的个人信用数据、犯罪记录和人口统计等数据，美国公民的一切行为数据基本上被收集储存。 　　近日，由前美国中央情报局（CIA）雇员斯诺登揭秘的“棱镜门”持续发酵。据斯诺登爆料，美国国家安全局和联邦调查局于2007年启动了一个代号为“棱镜”的秘密监控项目，直接进入美国网际网络公司的中心服务器里挖掘数据、收集情报。在美国犹他州专门用于储存数据的美国“间谍中心”也正在紧锣密鼓地修建中。该数据中心主要用于收集、存储、分析信息，破解密码，打击恐怖主义及拦截来自世界各地通信，支持奥巴马政府的综合国际网络安全倡议，并为情报界提供支持。此外，金融信息、国外的军事情报、外交情报以及一些法律文件等也都会在这里进行解密。 　　而作为奥巴马开放政府承诺的产物，2009年至今Data.gov（美国政府数据库）全面开放了40万联邦政府原始数据集。日前Data.gov宣布采用新“开源政府平台”