运营商大数据应用解决方案教程.doc

运营商大数据应用 解决方案 目 录 1. 大数据概述 4 1.1. 概述 4 1.2. 大数据定义 4 1.3. 大数据技术发展 6 2. 大数据应用 9 2.1. 大数据应用阐述 9 2.2. 大数据应用架构 11 2.3. 大数据行业应用 11 2.3.1. 医疗行业 11 2.3.2. 能源行业 12 2.3.3. 通信行业 12 2.3.4. 零售业 13 3. 大数据解决方案 14 3.1. 大数据技术组成 14 3.1.1. 分析技术 14 3.1.1.1. 可视化分析 14 3.1.1.2. 数据挖掘算法 14 3.1.1.3. 预测分析能力 14 3.1.1.4. 语义引擎 14 3.1.1.5. 数据质量和数据管理 15 3.1.2. 存储数据库 15 3.1.3. 分布式计算技术 16 3.2. 大数据处理过程 18 3.2.1. 采集 18 3.2.2. 导入/预处理 19 3.2.3. 统计/分析 19 3.2.4. 挖掘 19 3.3. 大数据处理的核心技术-Hadoop 19 3.3.1. Hadoop的组成 20 3.3.2. Hadoop的优点： 23 3.3.2.1. 高可靠性。 23 3.3.2.2. 高扩展性。 23 3.3.2.3. 高效性。 23 3.3.2.4. 高容错性。 23 3.3.3. Hadoop的不足 23 3.3.4. 主要商业性“大数据”处理方案 24 3.3.2.5. IBM InfoSphere大数据分析平台 24 3.3.2.6. Or a c l e Bi g Da t aApplianc 25 3.3.2.7. Mi c r o s o f t S QLServer 25 3.3.2.8. Sybase IQ 26 3.3.5. 其他“大数据”解决方案 26 3.3.2.9. EMC 26 3.3.2.10. BigQuery 27 3.3.6. 大数据”与科技文献信息处理 27 3.4. 大数据处理技术发展前景 27 3.4.1. 大数据复杂度降低 27 3.4.2. 大数据细分市场 28 3.4.3. 大数据开源 28 3.4.4. Hadoop将加速发展 28 3.4.5. 打包的大数据行业分析应用 28 3.4.6. 大数据分析的革命性方法出现 29 3.4.7. 大数据与云计算:深度融合 29 3.4.8. 大数据一体机陆续发布 29 4. 基于基站大数据应用及案例 30 4.1. 气象灾害应急短信发布平台 30 4.1.1. 概述 30 4.1.1.1. 项目背景 30 4.1.1.2. 平台概述 30 4.1.2. 平台建设特点与原则 30 4.1.2.1. 建设特点 30 4.1.2.2. 建设原则 30 4.1.2.3. 大数据管理平台特点 31 4.1.3. 平台整体架构 31 4.1.3.1. 建设原理 31 4.1.3.2. 平台总体设计 33 1. 平台总体结构 33 4.1.3.3. 平台技术思路 34 4.2. 旅游客源分析 34 4.2.1. 整体方案 34 4.2.1.1. 方案思路 34 4.2.1.2. 系统架构 35 大数据概述 概述 大数据，IT行业的又一次技术变革，大数据的浪潮汹涌而至，对国家治理、企业决策和个人生活都在产生深远的影响，并将成为云计算、物联网之后信息技术产业领域又一重大创新变革。未来的十年将是一个“大数据”引领的智慧科技的时代、随着社交网络的逐渐成熟，移动带宽迅速提升、云计算、物联网应用更加丰富、更多的传感设备、移动终端接入到网络，由此而产生的数据及增长速度将比历史上的任何时期都要多、都要快。 数据技术发展历史如图一所示： 图一 大数据定义 “大数据”是一个涵盖多种技术的概念，简单地说，是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。IBM将“大数据”理念定义为4个V，即大量化(Volume)、多样化(Variety)、快速化(Velocity)及由此产生的价值(Value)。如图二; 图二 要理解大数据这一概念，首先要从大入手，大是指数据规模，大数据一般指在10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别，其基本特征可以用4个V来总结(Vol-ume、Variety、Value和Veloc-ity)，即体量大、多样性、价值密度低、速度快。 数据体量巨大。从TB级别，跃升到PB级别。 数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。 价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。 处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同