试论大数据时代科技平台构建.docVIP

试论大数据时代科技平台构建 　　摘 要：传统数据库技术已无法满足海量数据的充分利用，大数据的管理和使用成为突出问题。大数据处理使实现精准化和精细化管理成为现实。本文对大数据的概念进行了深入探讨，并分析了大数据时代的解决方案与大数据科技平台构建的必要性及技术措施。 关键词：数据；科技；平台 中图分类号：TP30 文献标识码：A 1 大数据的概念 大数据是指在业务过程中产生的数据集合，尤指非结构化数据和半结构化数据。关于大数据，Gartner给出了这样的定义：需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。 大数据的特点是具有“4V”，或者说有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。如网络日志、视频、图片、地理位置信息等等。第三，价值密度低，商业价值高。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。所以业界将其归纳为4个”V”——Volume，Variety，Value，Velocity。 物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是大数据来源或者承载的方式。 “大数据”之“大”，不仅仅是指容量之大，更在于通过对海量数据的交换、整合和分析，发现新的知识，创造新的价值，带来“大知识”、“大科技”、“大利润”和“大发展”。 大数据并不等于大集中。相反，大数据往往与云计算联系在一起，因为实时的大型数据集分析需要分布式计算和并行计算模式（如MapReduce），把计算任务分配到分散的计算机上。如果说2012年是云计算应用元年，那么2013年就是中国的大数据元年。大数据与云计算是问题的两面：一个是问题，一个是解决问题的方法。云计算进行大数据分析、预测会使决策更为精准，释放出数据的隐藏价值。 2 迎接大数据时代 计算机技术经历了大型主机、小型计算机、微型计算机、分布式计算几个时代，目前已进入以云计算、大数据为代表的第五次浪潮。大数据浪潮的一个表现是信息技术（IT）市场从“以计算为中心”向“以数据为中心”转变。随着人类对数据的依赖程度不断提高，数据的生命周期也在不断延伸，而非结构化数据的增长远快于结构化数据的增长。 全球数据总量每18个月翻一番。据麦肯锡调查报告，美国15个主要行业中每家公司过去一年所产生的数据量，就超过了同期美国国会图书馆所存储的数据量。自从人类发明印刷术以来，以往一千多年来所有印刷材料相当于200PB（1PB=1015B），而2011年全球数据量就达到了1.8ZB（1ZB=1021B）。据IDC发布的2012年数字宇宙研究报告中预测，到2020年数字宇宙的规模为35ZB。 仅仅是从互联网，我们就可获得信息内容接触信息（浏览/点击的内容、时长等）、搜索/需求信息（经常搜索的词、搜索行为的转换、需求什么类型的信息等）、信息偏好（喜欢的信息、反感的信息等）、信息消费行为（消费时间、消费类别、消费金额、消费次数等）、人口统计信息（性别、年龄、职业、教育程度、婚姻状况等）、收发信息的设备和区域等信息（智能设备种类、系统、所在城市、网络接入情况等）。在大数据、移动互联网的支撑下，BYOD（Bring Your Own Device，自带设备办公）正在迅速得到普及。 2010年7月，联合国发布了《大数据促发展：挑战与机遇》白皮书，指出大数据对于全世界是一个历史性的机遇。2012年3月，美国总统奥巴马宣布美国政府拨款两亿美元启动“大数据研究和发展计划”，把大数据提升到国家战略位置。2012年10月，时任广东省委书记汪洋向公众推荐涂子沛先生所著《大数据：正在到来的数据革命》一书，在我省掀起了一股大数据热潮。 拥有处理大数据的能力和有效分析大数据的工具，正成为一种必需的竞争优势。大数据厂商早就注意到大数据市场的兴起，IBM、HP、Oracle、微软、SAP等IT巨头都是大数据市场的积极推动者，各自推出了自己的Hadoop版本。IBM在迎接大数据挑战的战略中，制定了“3A5步”的路线图，即掌控信息（Align）、获取洞察（Anticipate）、采取行动（Act）、学习（Learn）和转型（Transform）。其在2011年推出了Netezza数据仓库一体机，随后又推出了应对非结构化数据需求的InfoSphe