原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
大数据技术之电信客服
目录
一、项目背景2
二、项目架构2
三、项目实现2
3.1、数据生产3
3.1.2、数据结构3
3.1.3、编写代码4
3.1.4、打包测试12
3.2、 /消费(存储)12
3.2.1、 ： 实时产生的数据到kafka 集群13
3.2.2、编写代码：数据消费（HBase）15
3.2.3、编写测试单元：范围查找数据（本方案已弃用，但需掌握）30
3.2.4、运行测试：HBase 消费数据40
3.2.5、编写代码：优化数据存储方案42
3.2.6、运行测试：协处理器46
3.2.7、编写测试单元：范围查找数据46
3.3、数据分析52
3.3.1、Mysql 表结构设计53
3.3.2、需求：按照不同的维度统计通话54
3.3.3、环境准备55
3.3.4、编写代码：数据分析59
3.3.5、运行测试96
3.4、数据展示97
3.4.1、环境准备97
3.4.2、编写代码106
3.4.5、最终预览131
3.5、定时任务132
四、项目总结133
一、项目背景
通信运营商每时每刻会产生大量的通信数据，例如 ， ，彩信记录，第
资费等等繁多信息。数据量如此巨大，除了要满足用户的实时 和展示之外，还需要
定时定期的对已有数据进行离线的分析处理。例如，当日话单，月度话单，季度话单，年度
话单，通话详情， 等等+ 。我们以此为背景，寻找一个切入点，学习其中的方法论。
二、项目架构
三、项目实现
系统环境：
系统 版本
windows 10 专业版
linux CentOS 7
开发工具：
工具 版本
idea 2017.2.5 旗舰版
maven 3.3.9
JDK 1.8+
集群环境：Apache Hadoop
框架 版本
hadoop hadoop-2.8.4
zookeeper zookeeper-3.4.10
hbase hbase-1.3.1
hive apache-hive-2.3.0
flume apache-flume-1.7.0
kafka kafka_2.11-
硬件环境：
bigdata11 bigdata12 bigdata13
内存 8G 6G 6G
CPU 1 核 1 核
文档评论（0）