TipDM大数据云服务实验室建设方案.pdfVIP

TipDM大数据云服务实验室建设方案--第1页

TipDM

大数据云服务实验室建

设方案

广州泰迪智能科技有限公司

2016年4月

TipDM大数据云服务实验室建设方案--第1页

TipDM大数据云服务实验室建设方案--第2页

一、背景

1.1大数据挖掘行业背景和发展趋势

移动互联网、电子商务以及社交媒体的快速发展使得企业需要面临的数据量成

指数增长。根据IDC《数字宇宙》(DigitalUniverse)研究报告显示，2020年全

球新建和复制的信息量已经超过40ZB，是2012年的12倍;而中国的数据量则会

在2020年超过8ZB，比2012年增长22倍。数据量的飞速增长带来了大数据技

术和服务市场的繁荣发展。IDC亚太区(不含日本)最新关于大数据和分析(BDA)领

域的市场研究表明，大数据技术和服务市场规模将会从2012年的5.48亿美元增

加到2017年的23.8亿美元，未来5年的复合增长率达到34.1%。该市场涵盖

了存储、服务器、网络、软件以及服务市场。数据量的增长是一种非线性的增长速

度。据IDC分析报道，最近一年来，亚太区出现了越来越广泛的大数据和分析领

域的应用案例。在中国，从互联网企业，到电信、金融、政府这样的传统行业，都

开始采用各种大数据和分析技术，开始了自己的大数据实践之旅;应用场景也在逐

渐拓展，从结构化数据的分析，发展到半结构化、非结构化数据的分析，尤其是社

交媒体信息分析受到用户的更多关注。用户们开始评估以Hadoop、数据库一体机

以及内存计算技术为代表的大数据相关新型技术。

最新调研结果显示，提高竞争优势，降低成本以及吸引新的客户是中国用户对

大数据项目最期望的三大回报。目前现有的大数据项目主要集中在业务流程优化以

及提高客户满意度方面的应用。IDC发现很多用户希望大数据能够为企业带来业务

创新，并且开始使用高级分析的解决方案以管理复杂的数据环境。过去一年中用户

对社交数据的收集和分析应用的关注度增加明显。未来，地理位置信息分析将会增

长迅速，这也会推动用户对大数据安全和隐私管理的关注。在亚太区，澳大利亚和

新加坡的用户对大数据的相关投资主要在咨询服务方面，更关注如何根据新的最佳

实践需求设计和实施方案。中国和印度在大数据领域的硬件投资则非常明显，更倾

向于数据中心相关的基础架构的投资。

在传统的数据分析与商业数据挖掘中，人们通常遵循二八原则。也就是任务

20%的用户提供了80%的价值，因此利用优势资源用户对于少数用户的服务。随着

1

TipDM大数据云服务实验室建设方案--第2页

TipDM大数据云服务实验室建设方案--第3页

互联网的发展，越来越多的低价值用户进入到商业体系中，这部分用户成为商业企

业竞争的目标。比如电商行业，大量顾客都是传统意义上的低价值客户，数据表明

对于这部分用户价值的挖掘可以改变二八原则，甚至可达到价值的几乎均匀分布。

并且由于计算技术的发展，对于大数据的分析也成为了可能。

1.2大数据挖掘实验室建设的必要性

数据挖掘与大数据分析是以计算机基础为基础，以挖掘算法为核心，紧密面向

行业应用的一门综合性学科。其主要技术涉及概率论与数理统计、数据挖掘、算法

与数据结构、计算机网络、并行计算等多个专业方向，因此该学科对于实验室具有

较高的专业要求。实验室不仅要提供基础的开发环境，还要提供大数据的运算环境

以及用于实验的实战大数据案例。这