企业大数据项目解决方案_大数据企业架构分析(PPT21张).ppt

大数据企业架构讨论 案例研究：智慧交通 大数据实时处理和分析 目的：提高城市交通的科学管理和组织服务水平 业务目标 ? 智能交通数据的有力支撑 ? 智能交通公共信息服务的实时传递和快速反 应的应急指挥 ? 智能交通业务联动快速应对变化 ? 可视化事件跟踪 挑战 ? 近千万辆轿车、轨道交通、快速公交系统 ? 高并发事件及数据流的实时处理 ? 海量非结构化大数据的组织与分析 ? 压力传感器 传感 ? 速度传感器 器 ? 生物传感器 ? 温度、湿度…… RFID ? 射频天线扫描 ? 电子标识 摄像 ? 高速拍照 头 ? 高清摄像头 3 车地双向实时无线通信网数传电台 政府专网 Internet GPRS/CDMA/3G/Wi-Fi/WiMax光纤TCP/IP 公路可视化综合信息平台 雷达测速 GIS 公共交通运营管理平台 监控 车次号识别 紧急救援 CBTC 旅行时间 路径识别 城市综合信息管理平台 通信 ETC PIS 信号 BRT 公交调度管理 电警 接处警 卡口 交通诱导 信号控制 出行者信息系统 视频监控 智能停车场 电子站牌 事件检测 用户服务 政府 企业 个人 公共 感知层/ 信息采集 网络层/ 信息传输 应用层/ 信息处理 水运综合管理平台 ITS智能交通物联网平台 交通行业 信息服务 智能交通整体规划架构 铁路综合管理平台 4 ? 深度分析 ? 敏捷开发 ? 高度扩展性 ? 实时分析结果 ?大吞吐量 ?实时准备 ?所有的数据源及数据结构 ? 低延时 ? 高并发的交易 ? 高度灵活的数据结构 数据获取 数据传输 数据处理 数据是智能交通的核心 数据获取 数据传输 数据处理 People. Process. Portfolio. Discussion 实时事件处理 — 概念图解 业务场景 ? 重要车辆监控 ? 交通诱导 ? 出行者信息 ? 技术机遇 ? 实时处理大数据量 ? 合并历史事务和实时事务 架构决策 ? 实时流 ? 利用现有分析 ? 最大限度地减少数据移动 实时 批处理 流 （CEP 引擎） 警报 BPEL ? 移动 ? 信息板 ? 数据库 NoSQL HDFS 实时分析数据流 实时数据源 CEP RDBMS 实时位置 NOSQL 外部数据库 黑名单 小型机 历史事务 备份 历史配置文件 RDBMS 事务 历史数据源 计算配置文件 实时事务 （基于消息） Hadoop 集群 事件处理 规则和结果 关联和分析 — 概念图解 NoSQL BI 平台与分析 业务机会 ? 行车路线建议 ? 信号控制 ? 交通流量分析 技术选择 ? 将缩减结果集成到关系数据 库 ? 构建另一个环境 ? 手动关联 架构决策 ? 使用集成元数据 ? 使用标准 BI 平台 ? 最大限度地减少数据移动 数据仓库 数据集市 数据库中的 分析 MapReduce HDFS 实时处理和分析 — 逻辑图解 关键组件 Oracle 大数据机 Oracle Exalogic Oracle CEP/Coherence Oracle SOA Suite Oracle 大数据连接器 Oracle Exadata Oracle Advanced Analytics Oracle Exalytics Oracle BI Foundation Oracle 大数据机 Oracle 大数据连接器 Oracle Exadata Oracle Exalytics InfiniBand Infini Band Oracle Advanced Analytics Oracle BI HDFS 和 NoSQL MapReduce CEP/SOA Coherence 消息流 Oracle Exalogic People. Process. Portfolio. Discussion 问题 ? 请为自己公司/单位设计一个大数据的解决方案。分组讨 论结束之后，每组派一到两个代表上来讲一下这个方案 ? A) 公司里存在哪些数据 ? 结构化/多结构化/大小/实 时数据/流式数据 ? 公司是否已经应用了非关系型数据库 ? B)那些业务考虑引入大数据 ? C)有了这些大数据，如何设计公司的大数据平台 ? D)公司数据的问题或者远景 ? 企业的数据架构远景 岳‘.＿←..’... ＠ 。 同ACL1 a: .a吕.S 案例：Facebook数据仓库架构 Hadoop@Facebook 世界上第二大Hadoop集群 用于处理 log 和dimension data Use Case ? 从大量数据中产生每天和每小时的汇总. 在历史数据中执行 ad hoc jobs ? 事实上作为一个长期的数据归档 ? 根据特定属性来查找log, 可用于维护