cad数据分析师智慧交通大数据平台及应用.pptxVIP

CAD数据分析师智慧交通大数据平台及应用会计学 2017BigData Department大数据部的组织架构技术总监QA 团队（ 2 ）产品团队（ 3 ）开发团队（ 4 ）平台团队（ 4 ）数据团队（ 4 ）第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT强大的技术架构 团队共 19 人 ? 技术总监 1 人 ? 专业数据挖掘分析师 4 人 ? 大数据可视化工程师 1 人 ? 需求分析师 3 人 ? 总工程师 1 人 ? 高级软件工程师 5 人 ? 架构师 1 人 ? 业务经理 1 人 ? QA 管理 1 人 第四届中国数据分析师行业峰会 CHINA DATA ANALYST SUMMIT 2017BigData Department? 博士学历 2 人? 研究生学历 8 人智慧交通大数据中心建设方案（ 1+N 战略）第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT一期建设的内容第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT2智慧交通大数据平台智慧交通大数据平台建设的目的和意义 人人都能进行大数据分析第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT大数据学习门槛高 sparkmahout JAVA JDBC第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT开源大数据平台的开发难度高 例如，黑屏命令行操作维 护方式，增加了运维开发 人员的工作难度、操作量， 降低的工具的友好性。第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT开源大数据平台运维成本高大数据集群数量众多的服务器不便于整体的部署与管理。1. 资源监控2. 组件部署3. 资源分配4. 辅助工具…第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT2智慧交通大数据平台 智慧交通大数据平台的功能特性第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT 功能特性 —— 各种异构数据的全方位汇集我们的产品第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT功能特性 -- 拖拽式、图形化大数据分析环境，降低门槛和使用难度第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT? 功能特性 —— 便于维护 自动部署 ? 操作系统、 LDP 平台自动化 部署功能 ? 添加、批量移除，触发 hadoop 、 hbase 等服务的一 系列处理 服务器状态监控 ? CPU 、内存、网络、磁盘运 行状态 ? 超过阀值报警 第四届中国数据分析师行业峰会 CHINA DATA ANALYST SUMMIT参数配置优化? 图形化界面操作，配置过程 简单、易操作；? Hadoop 基础组件（ Hadoop- core 、 Hive 、 HBase ）配置 参数 1000+ ；任务监控? 清晰的看到主机上运行了那 些任务，任务的运行状态， 是正常运行还是有故障? 各个任务运行的内存、 CPU 的使用情况? 功能特性 —— 安全可靠 安全授权 细粒度访问控制 基于角色的管理 ? LDP 平台可以控制数据访问，并对已通过验证的用户提供数据访问特权。? LDP 平台支持细粒度的 Hadoop 数据和元数据访问控制；在服务器、数据库、表和视图范围提供 了不同特权级别的访问控制，包括查找、插入等；允许管理员使用视图限制对行或列的访问，支 持字段级别的访问控制；? LDP 平台通过基于角色的授权简化了管理，可以将访问同一数据集的不同特权级别 授予多个组。多租户管理? LDP 平台允许为委派给不同管理员的不同数据集设置权限 。机器级别的安全 ? 对可信任的客户端提供认证，确保他们可以执行作业的相关操作。防止用户恶意冒充 client 提交任 第四届中国数据分析师行业峰会 务。即使伪装成用户入侵到一个 HDFS 或者 MapReduce 集群上，也无法读取 HDFS 上的数据。3智慧交通大数据应用综合稽查 第四届中国数据分析师行业峰会 CHINA DATA ANALYST SUMMITBI 展示视频结构化基于大数据平台的综合稽查 产品概况针 对当 前高 速公 路的 逃费问题 ，提 出了一套 基于 大数据 分析 的高 速公 路防 逃费稽查 方案 ，本系统 方案 利用当 前高 速公 路视 频监 控系统的 可视 化视频和 图片 信息结 合通 行信 息 ， 运用 大数据存 储和 分析的手 段 ， 从海量 历史 数据 中提 取出 疑似逃费 车辆 和黑名单 的车 牌 、抓 拍图 片、 通行 视频 和通行路 径等 证据信息 ，形 成逃费 证据 链信 息