原创力文档- 1、本文档共57页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
智慧交通大数据平台及应用
ADDYOURPOWERPOINTTITLEHERE
演讲人：曹正凤
第四届中国数据分析师行业峰会
CHINADATAANALYSTSUMMIT
9北京中国大饭店2017.07
从零进阶！数据分析的统计学基础
2017/7/17第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT
2017/7/17
目
目录
1
1大数据团队概况及建设方案
智慧交通大数据平台
智慧交通大数据平台
2
智慧交通大数据应用
智慧交通大数据应用
3
第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT
大数据部的组织架构技术总监开发团队（4)产品团队（3）)平台团队（4)201
大数据部的组织架构
技术总监
开发团队（4)
产品团队（3）
)平台团队（4
)
2017
BigDataDepartment
QA团队（2）
数据团队（4）
第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT
强大的技术架构团队共19人
u技术总监1人
u专业数据挖掘分析师4人
u大数据可视化工程师1人
u需求分析师3人
u总工程师1人
u高级软件工程师5人
u架构师1人
u业务经理1人
uQA管理1人
2017
BigDataDepartment
博士学历2人
研究生学历8人
第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT
智慧交通大数据中心建设方案（1+N战略）
第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT
第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT
一期建设的内容
第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT
2智慧交通大数据平台
2
智慧交通大数据平台建设的目的和意义
人人都能进行大数据分析
第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT
大数据学习门槛高
sparkmahout
JAVAJDBC
第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT
开源大数据平台的开发难度高
例如，黑屏命令行操作维护方式，增加了运维开发人员的工作难度、操作量，降低的工具的友好性。
第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT
开源大数据平台运维成本高
大数据集群数量众多的服务器不便于整体的部署与管理。
1.资源监控
2.组件部署
3.资源分配
4.辅助工具
…
第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT
2智慧交通大数据平台
2智慧交通大数据平台
智慧交通大数据平台的功能特性
第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT
功能特性——各种异构数据的全方位汇集
我们的产品
第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT
功能特性--拖拽式、图形化大数据分析环境，降低门槛和使用难度
第四届中国数据分析师行业峰会CHINADATAANALYSTSUMMIT
参数配置优化?图形化界面操作，配置过程简单、易操作；?
参数配置优化
?图形化界面操作，配置过程简单、易操作；
?Hadoop基础组件（Hadoop-core、Hive、HBase）配置参数1000+；
自动部署
?操作系统、LDP平台自动化部署功能
?添加、批量移除，触发
hadoop、hbase等服务的一系列处理
服务器状态监控
服务器状态监控
?CPU、内存、网络、磁盘运行状态
?超过阀值报警
任务监控
任务监控
?清晰的看到主机上运行了那些任务，任务的运行状态，是正常运行还是有故障
?各个任务运行的内存、CPU的使用情况
CHINADATAANALYSTSUMMIT
CHINADATAANALYSTSUMMIT
?功能特性——安全可靠
?LDP
?LDP平台可以控制数据访问，并对已通过验证的用户提供数据访问特权。
?LDP平台支持细粒度的Hadoop
?LDP平台支持细粒度的Hadoop
了不同特权级别的访问控制，包括查找、插
文档评论（0）