【大数据）大数据应用解决方案及培训教材.doc

（大数据）大数据应用解决方案及培训教材  大数据应用 解决方案 目录 TOC \o "1-5" \h \z \u 1.大数据概述6 1.1.概述6 1.2.大数据定义6 1.3.大数据技术发展8 2.大数据应用11 2.1.大数据应用阐述11 2.2.大数据应用架构13 2.3.大数据行业应用13 2.3.1.医疗行业13 2.3.2.能源行业14 2.3.3.通信行业14 2.3.4.零售业15 3.大数据解决方案16 3.1.大数据技术组成16 3.1.1.分析技术16 3.1.1.1.可视化分析16 3.1.1.2.数据挖掘算法16 3.1.1.3.预测分析能力16 3.1.1.4.语义引擎16 3.1.1.5.数据质量和数据管理17 3.1.2.存储数据库17 3.1.3.分布式计算技术18 3.2.大数据处理过程20 3.2.1.采集20 3.2.2.导入/预处理21 3.2.3.统计/分析21 3.2.4.挖掘21 3.3.大数据处理的核心技术-Hadoop21 3.3.1.Hadoop的组成22 3.3.2.Hadoop的优点：25 3.3.2.1.高可靠性。25 3.3.2.2.高扩展性。25 3.3.2.3.高效性。25 3.3.2.4.高容错性。25 3.3.3.Hadoop的不足25 3.3.4.主要商业性“大数据”处理方案26 3.3.2.5.IBM InfoSphere大数据分析平台26 3.3.2.6.Or a c l e Bi g Da t aApplianc27 3.3.2.7.Mi c r o s o f t S QLServer27 3.3.2.8.Sybase IQ28 3.3.5.其他“大数据”解决方案28 3.3.2.9.EMC28 3.3.2.10.BigQuery29 3.3.6.大数据”与科技文献信息处理29 3.4.大数据处理技术发展前景29 3.4.1.大数据复杂度降低29 3.4.2.大数据细分市场30 3.4.3.大数据开源30 3.4.4.Hadoop将加速发展30 3.4.5.打包的大数据行业分析应用30 3.4.6.大数据分析的革命性方法出现31 3.4.7.大数据与云计算:深度融合31 3.4.8.大数据一体机陆续发布31 4.基于基站大数据应用及案例32 4.1.气象灾害应急短信发布平台32 4.1.1.概述32 4.1.1.1.项目背景32 4.1.1.2.平台概述32 4.1.2.平台建设特点与原则32 4.1.2.1.建设特点32 4.1.2.2.建设原则32 4.1.2.3.大数据管理平台特点33 4.1.3.平台整体架构33 4.1.3.1.建设原理33 4.1.3.2.平台总体设计35 1.平台总体结构35 2.平台技术架构36 4.1.3.3.平台技术思路37 4.1.3.4.平台技术路线38 1.内存数据库38 2.短信发送多链路配置38 3.队列缓存38 4.参数可配置38 4.1.3.5.平台性能要求38 4.1.4.平台网络拓扑38 4.1.5.平台关键流程39 4.1.5.1.平台数据流程39 4.1.5.2.平台业务主流程40 4.1.5.3.短信下发审批流程41 4.1.5.4.信令分析处理流程42 4.1.5.5.短信发送流程43 4.1.6.平台功能模块43 4.1.6.1.信令分析子系统43 4.1.6.2.短信发送子系统44 1.短信发送功能44 2.短信回执接收功能44 3.短信批量发送管理功能45 4.统计报表45 4.1.6.3.管理子系统45 1.用户管理45 2.权限管理46 3.实时监控46 4.日志管理46 5.基站位置信息管理46 6.系统参数配置管理46 4.1.6.4.内容数据库子系统46 4.1.7.平台外部接口47 4.1.7.1.信令采集接口47 1.接口说明47 2.数据采集模式47 4.1.7.2.短信发送接口47 1.短信发送通知接口47 2.短信发送状态查询接口47 3.短信发送接口47 4.1.7.3.基站位置信息接口48 1.数据同步模式48 2.基站位置信息全量同步接口48 3.基站位置信息增量同步接口48 4.2.旅游客源分析48 4.2.1.建设目标48 4.2.2.整体方案49 4.2.2.1.方案思路49 4.2.2.2.分析范围49 4.2.2.3.方案特点50 4.2.3.方案设计51 4.2.3.1.系统关系51 4.2.3.2.系统架构51 1.数据分析后台能力52 2.Web前台能力52 4.2.3.3.数据采集53 4.2.3.4.业务分析53 1.总体分析流程53 2.景区综合流量统计分析54 3.景区游客来源地构成分析55 4.景区全网总游客实时估算57