智慧交通大数据平台及应用ADD?YOUR?POWERPOINT?TITLE?HERE演讲人:曹正凤第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT北京?中国大饭店?2017.07个人简介曹正凤统计学博士北京大数据协会?理事经管之家(原人大经济论坛)大数据课程培训负责人首发集团智慧交通大数据中心筹备组负责人博士论文:随机森林算法优化研究出版专著:从零进阶!数据分析的统计基础EI核心论文:Parameter?Settings?of?Genetic?AlgorithmBased?on?Multi-Factor?Analysis?of?Variance主持全国统计科学研究项目:基于大数据平台的我国宏观经济走势预测研究第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT从零进阶!数据分析的统计学基础2017/7/17第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT目?录123大数据团队概况及建设方案智慧交通大数据平台智慧交通大数据应用第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT大数据部的组织架构2017BigData?Department技术总监产品团队(3)开发团队(4)平台团队(4)数据团队(4)QA团队(2)第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT强大的技术架构团队共19人??技术总监1人??专业数据挖掘分析师4人??大数据可视化工程师1人??需求分析师3人??总工程师1人??高级软件工程师5人??架构师1人??业务经理1人??QA管理1人第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT2017BigData?Department??博士学历2人??研究生学历8人智慧交通大数据中心建设方案(1+N战略)第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT一期建设的内容第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT2智慧交通大数据平台智慧交通大数据平台建设的目的和意义人人都能进行大数据分析第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT大数据学习门槛高sparkmahoutJAVAJDBC第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT开源大数据平台的开发难度高例如,黑屏命令行操作维护方式,增加了运维开发人员的工作难度、操作量,降低的工具的友好性。第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT开源大数据平台运维成本高大数据集群数量众多的服务器不便于整体的部署与管理。1.?资源监控2.?组件部署3.?资源分配4.?辅助工具…第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT2智慧交通大数据平台智慧交通大数据平台的功能特性第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT功能特性——各种异构数据的全方位汇集我们的产品第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT功能特性--拖拽式、图形化大数据分析环境,降低门槛和使用难度第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT??功能特性——便于维护自动部署??操作系统、LDP平台自动化部署功能??添加、批量移除,触发hadoop、hbase等服务的一系列处理服务器状态监控??CPU、内存、网络、磁盘运行状态??超过阀值报警第四届中国数据分析师行业峰会CHINA?DATA?ANALYST?SUMMIT参数配置优化??图形化界面操作,配置过程简单、易操作;??Hadoop基础组件(Hadoop-core、Hive、HBase)配置参数1000+;任务监控??清晰的看到主机上运行了那些任务,任务的运行状态,是正常运行还是有故障??各个任务运行的内存、CPU的使用情况??功能特性——安全可靠安全授权细粒度访问控制基于角色的管理??LDP平台可以控制数据访问,并对已通过验证的用户提供数据访问特权。??LDP平台支持细粒度的Hadoop数据和元数据访问控制;在服务器、数据库、表和视图范围提供了不同特权级别的访问控制,包括查找、插入等;允许管理员使用视图限制对行或列的访问,支持字段级别的访问控制;??LDP平台通过基于角色的授权简化了管理,可以将访问同一数据集的不同特权级别授予多个组。多租户管理??LDP平台允许为委派给不同管理员的不同数据集设置权限。认CHINA?DATA?ANALYST?SUMMIT证机器级别的安全??对可信任的客户端提供认证,确保他们可以
您可能关注的文档
- 2018年蓝色立体公司介绍通用模板.pptx
- 2018年餐饮行业日本料理模板.pptx
- 2018校园安全教育模板.pptx
- 2018简约时间管理培训.pptx
- 2018红色政府党建建议模板.pptx
- 2019古韵中国风商务办公.pptx
- 2019黑色简约公司简介模板.pptx
- 20、《学会看病》课件.ppt
- 2381-SGF2018-Comparisons_of_Large_Complex_Data_Sets_with_Matching_Common_Dimensions_to_catch_any_Changes_using_SAS.pptx
- 2企业并购与整合实务培训补充资料.doc
- 小区绿化施工协议书.docx
- 墙面施工协议书.docx
- 1 古诗二首(课件)--2025-2026学年统编版语文二年级下册.pptx
- (2026春新版)部编版八年级道德与法治下册《3.1《公民基本权利》PPT课件.pptx
- (2026春新版)部编版八年级道德与法治下册《4.3《依法履行义务》PPT课件.pptx
- (2026春新版)部编版八年级道德与法治下册《6.2《按劳分配为主体、多种分配方式并存》PPT课件.pptx
- (2026春新版)部编版八年级道德与法治下册《6.1《公有制为主体、多种所有制经济共同发展》PPT课件.pptx
- 初三教学管理交流发言稿.docx
- 小学生课外阅读总结.docx
- 餐饮门店夜经济运营的社会责任报告(夜间贡献)撰写流程试题库及答案.doc
最近下载
- 【花生十三】25公务员考试资料分析速算练习册及速算过程.pdf VIP
- mst2016说明书.pdf VIP
- 口腔科课件洁治.pptx
- 2025兴安盟公安局招聘165名留置看护警务辅助人员备考试题及答案解析.docx VIP
- 35KV变电站毕业设计(完整版).doc VIP
- AP微观经济学 2012年真题 (选择题+问答题) AP Microeconomics 2012 Released Exam and Answers (MCQ+FRQ).pdf VIP
- 上海师范大学天华学院公共课《大学计算机基础》期末试卷A(有答案).docx VIP
- 高中生对AI 技术应用的态度与认知调查问卷.docx VIP
- 2025年度”五个方面“专题组织生活会个人对照检查发言材料.docx VIP
- 南方医科大学各专业实习大纲汇编.pdf VIP
原创力文档

文档评论(0)