大数据的产生和发展现状研究.docVIP

大数据的产生和发展现状研究 一、大数据的产生与发展现状 随着物联网、云计算等信息技术的飞速发展,大数据技术(Big Data)也越发进入人们的视线。大数据是用传统方法或工具很难处理或分析的数据信息。目前,人们对大数据的理解还不够全面和深入,关于大数据的含义也没有一个统一的定义。亚马逊大数据科学家John Rauser认为:大数据是超过任何一台计算机处理能力的庞大数据量。Informatica 的中国区首席顾问但彬指出:大数据是海量数据与复杂类型的数据的结合。而维基百科则把大数据定义成诸多大而复杂的、难以用当前数据库处理的数据集合。 大数据研究受到国内外学术界和工业界的广泛关注,已成为当今信息时代全世界讨论的热点。2008年,Nature杂志就推出大数据专刊,计算社区联盟也在同一年发表了报告《Big data computing; Creating revolutionary breakthroughs in commerce, science and society》,报告阐述了解决大数据问题所需的关键技术以及所面临的挑战。美国奥巴马政府于2012年3月在白宫网站发布了《大数据研究和发展倡议》,提出了通过收集、处理海量、复杂的数据信息,从而提升能力,加快科学和工程领域的创新步伐,转变学习教育模式,强化美国本土的安全”。2011年1月,微软公司同惠普公司合作开发了一系列能够提升生产力,同时提高决策速度的设备。此外,欧盟委员会也提出驾驳大数据浪潮的战略思路,日本发布的《面向 2020 的 ICT综合战略》也提出需要构造大量丰富的数据基础。 近年来,我国也积极开展对大数据的研究。2011年10月,工信部确认京沪深杭等 5 城市为“云计算中心”试点城市。2012年6月,中国计算机学会青年计算机科技论坛也举办了“大数据时代,智谋未来”学术报告研讨会。大数据及其科学研究方法涉及应用领域很广,并将与国计民生密切相关的科学决策、金融工程以及知识经济领域紧紧接合。 二、大数据的特点 目前,企业界和学术界都一致认为,大数据具有4个“V”特征,即:容量(Volume)、种类(Variety)、速度(Velocity)和至关重要的价值(Value)。 (1) 容量(Volume)巨大。海量的数据集从TB 级别提升到PB 级别。 (2) 种类(Variety)繁多。大数据数据源有多种,数据格式和种类不同于以前所规定的结构化数据范畴。 (3)价值(Value)密度低。如视频的例子,在不间断连续监控的过程中,可能有意义的数据仅有一两秒。 (4)速度(Velocity)快。包含大量实时、在线数据处理分析的需求1秒钟定律。 三、大数据应用的领域 大数据产业的发展将推动全球经济由粗放型向集约型转变,这将对提升企 业整体竞争力和政府监管能力具有意义深远的影响。 商业作为大数据的重要应用领域。沃尔玛公司通过对消费者购物行为等一 系列非结构化数据的分析,了解不同顾客的购物习惯,公司从所销售的数据进行分析,从而选出适合在一起搭配出售的商品;淘宝也针对买家开设了大数据平台,为客户量身打造了一整套完善的网购体验产品。 大数据在金融业也起到了至关重要的作用。美国Equifax公司利用大数据技术,通过对其的数据库中与财务有关的记录海量信息进行索引处理和交叉分享,从而得到客户的个人信用等级,以推断出客户的支付需求与能力。 随着大数据在医疗与生命科学研究过程中的广泛应用和不断扩展。2010年,中国公布的《十二五规划》指出:要重点建设国家级、省级和地市级三级医疗卫生信息平台,建设电子病历和电子档案两个最为基础的数据库。各级医院也将在医疗信息仓库、数据中心等领域加大投入,医疗数据信息的存储将愈加被关注,医疗信息中心的关注焦点也将由传统的计算领域转为存储领域。 除此之外,大数据在制造业领域也有着广阔的应用。制造业企业积累了广泛的数据信息,在开展对业务数据进行技术管理的同时,企业需要通过大数据处理技术来帮助决策者从数据库储存的海量信息中找到有价值的信息,并且对其进行分析处理,从而增强决策的正确性、规避风险。 四、大数据所面临的挑战 大数据技术使人们能够更好地利用之前不能使用的各个数据类型,找出被忽略的信息,促进企业组织更加高效、智能。但随着对大数据研究的不断深入,人们也更加意识到当大数据技术向人们敞开“方便之门”的同时,也带来了众多的挑战: (1)大数据需要更为专业化的管理技术人才。 (2) 大数据的合理利用需要解决容量大、类别多和时效性高的数据处理问题。 (3)大数据的利用对信息安全提出了更高要求。 (4)大数据的集成与管理问题。 这些挑战已成为关系到未来大数据发展的重要因素,同时也成为未来引领大数据发展的推动力。 五、结束语 大数据已经逐步渗透到人们工作生活的诸多领域中,对于大数