南航SVC大数据支撑案例.pptx

南航SVC大数据支撑案例 提 纲 进一步的工作 系统架构 技术选型考虑 案例说明 数据分散，形成数据孤岛；无法统一共享。 高端系统旅客资料 大客户旅客资料 呼叫旅客资料 客舱旅客资料 电子客票旅客资料 离港旅客资料 销售旅客资料 客户统一视图系统（SVC） 通过SVC系统统一客户数据 集中访问效率不高，系统稳定性不足，投资大。 SVC初期探索 SVC架构优化思考及技术选型 RMDB主要技术难题 扩展困难 并发读写慢 成本高（小型机+存储） 无法支撑海量数据 NoSQL的优点 NoSQL的不足 大数据量 高性能、高可用 弹性扩展能力 灵活的数据模型 低成本 不完全支持SQL 不支持事务 不支持多表关联 不支持聚合查询 无法保证数据一致性 优 点 迁移成本底 方案成熟稳定 能很好的支撑事务 能保证数据的完整性 能提供较高的TPS满足业务性能要求 开发成本低，技术风险低 有较好的扩展性 我们的选择 并发访问量高，速度快，稳定高效，系统投资小。 系统部署架构 数据库 小型机C档 光纤交换机 光纤交换机B档 磁盘阵列 磁盘阵列B档 数据库软件 SVC主备两套 CBD主备两套 小型机方案 汇总600万 数据库 PC server 数据库软件 SVC主备两套，CBD主备两套 汇总 35万 分布式方案 并发访问量高，速度快，稳定高效，系统投资小。 投资比较 结果比较 选择hadoop+hive做分析平台 高效率： 通过分发数据，hadoop可以在数据所在的节点上并行地处理,处理非常的快速。 高扩容能力： 服务器群总计可达数千个节点，能可靠地存储和处理PB级数据。 成本低： 使用普通机器组成的服务器群来分发以及处理数据。 可靠性： hadoop能自动地维护数据的多份复制，并且在任务失败后能自动地重新部署计算任务。 跨平台： JAVA实现支持各种平台并支持多种语言的MapReduce. A表(30亿)+B(2亿)表 A表做聚合统计查询，时间5分12秒； A表做数据清洗，时间12分07秒 A表与B表 join 后做聚合统计查询，时间14分36秒 测试结果 数据分析平台架构 业务数据库 业务系统 大数据处理集群 交易数据 文件/邮件数据 客户数据 设备/运行数据 大数据处理平台 Datanode Datanode Datanode Datanode Name node HDFS ETL 数据 A1 A2 A1 A2 A1 A2 Map Reduce 任务管理 导入 导入 数据清洗 Hadoop可以存贮PB级别的数据，并且每个文件在不同的机器上有2份或3份备份，这样即使一台机子故障，将不会影响系统的可用性。 大数据处理平台 大数据存储问题的解决 MySql Hadoop集群 ETL工具 平台数据转换服务 3、转换任务调用 4、数据转换 1、数据导入 BI分析 BI系统 报表查询 数据源 SVC CBD FFP 2、数据导入 Hive mapred 5.1、报表生成 5.2、特殊报表生成 6、报表导出 BI分析效率的解决 构建开源数据服务平台 分布式数据库中间件 数据库节点 数据库节点 数据库节点 数据库节点 可扩容至1024个节点 界面化配置 按需扩容 灵活缓存机制： 注解式、 配置式、 编程式、 AOP拦截 在应用和底层数据源之间，构建一层代理，统一数据层； 垂直切分：数据按业务划分存储在不同的数据库，表间关联密切的表划分在一起，例如同一模块的表。 水平切分：将同一个表中的不同数据拆分到不同的数据库中； 统一数据访问API：隐藏后端复杂数据分布细节，数据库操作看起来就像是在同一数据库中； 统一数据服务平台中间层 数据服务平台架构 容易引起: 重复研究 法律问题 包版本冲突 系统不稳定 技术无法积累 对人员要求高 研发成本高 后续维护成本高 分享：开源技术统一管理的必要性 平台层 视图层 框架层 中间件层 js：query、dwr、swato、GWT、 prototype…… UI控件：Dhtml 、jquery UI、 ExtJs、 easyui…… JSP：velocity、tag、 JFS…… MVC：struts1、struts2、spring、webwork…… ORM： hibernate、ibatis、persist…… 组件：日志类、工作流类、XML解释类、安全类、缓存池类、接口服务类、数据传输类…… 容器：tomcat、jboss、jetty、apach、 nginx …… 消息：active Mq、mule、openESB…