CAD数据分析师：智慧交通大数据平台及应用.docx

智慧交通大数据平台及应用ADD?YOUR?POWERPOINT?TITLE?HERE演讲人：曹正凤第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT北京?中国大饭店?2017.07个人简介曹正凤统计学博士北京大数据协会?理事经管之家（原人大经济论坛）大数据课程培训负责人首发集团智慧交通大数据中心筹备组负责人博士论文：随机森林算法优化研究出版专著：从零进阶！数据分析的统计基础EI核心论文：Parameter?Settings?of?Genetic?AlgorithmBased?on?Multi-Factor?Analysis?of?Variance主持全国统计科学研究项目：基于大数据平台的我国宏观经济走势预测研究第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT从零进阶！数据分析的统计学基础2017/7/17第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT目?录123大数据团队概况及建设方案智慧交通大数据平台智慧交通大数据应用第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT大数据部的组织架构2017BigData?Department技术总监产品团队（3）开发团队（4）平台团队（4）数据团队（4）QA团队（2）第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT强大的技术架构团队共19人??技术总监1人??专业数据挖掘分析师4人??大数据可视化工程师1人??需求分析师3人??总工程师1人??高级软件工程师5人??架构师1人??业务经理1人??QA管理1人第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT2017BigData?Department??博士学历2人??研究生学历8人智慧交通大数据中心建设方案（1+N战略）第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT一期建设的内容第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT2智慧交通大数据平台智慧交通大数据平台建设的目的和意义人人都能进行大数据分析第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT大数据学习门槛高sparkmahoutJAVAJDBC第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT开源大数据平台的开发难度高例如，黑屏命令行操作维护方式，增加了运维开发人员的工作难度、操作量，降低的工具的友好性。第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT开源大数据平台运维成本高大数据集群数量众多的服务器不便于整体的部署与管理。1.?资源监控2.?组件部署3.?资源分配4.?辅助工具…第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT2智慧交通大数据平台智慧交通大数据平台的功能特性第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT功能特性——各种异构数据的全方位汇集我们的产品第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT功能特性--拖拽式、图形化大数据分析环境，降低门槛和使用难度第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT??功能特性——便于维护自动部署??操作系统、LDP平台自动化部署功能??添加、批量移除，触发hadoop、hbase等服务的一系列处理服务器状态监控??CPU、内存、网络、磁盘运行状态??超过阀值报警第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT参数配置优化??图形化界面操作，配置过程简单、易操作；??Hadoop基础组件（Hadoop-core、Hive、HBase）配置参数1000+；任务监控??清晰的看到主机上运行了那些任务，任务的运行状态，是正常运行还是有故障??各个任务运行的内存、CPU的使用情况??功能特性——安全可靠安全授权细粒度访问控制基于角色的管理??LDP平台可以控制数据访问，并对已通过验证的用户提供数据访问特权。??LDP平台支持细粒度的Hadoop数据和元数据访问控制；在服务器、数据库、表和视图范围提供了不同特权级别的访问控制，包括查找、插入等；允许管理员使用视图限制对行或列的访问，支持字段级别的访问控制；??LDP平台通过基于角色的授权简化了管理，可以将访问同一数据集的不同特权级别授予多个组。多租户管理??LDP平台允许为委派给不同管理员的不同数据集设置权限。认CHINA?DATA?ANALYST?SUMMIT证机器级别的安全??对可信任的客户端提供认证，确保他们可以