南航SVC大数据支撑案例.pptxVIP

SVC大数据支撑案例提 纲 案例说明 技术选型考虑 系统架构 进一步的工作客户统一视图系统（SVC） 数据分散，形成数据孤岛；无法统一共享。高端系统旅客资料离港旅客资料大客户旅客资料客舱旅客资料5463728电子客票旅客资料1呼叫旅客资料销售旅客资料通过SVC系统统一客户数据呼叫中心B2C投诉InventoryFlight DataCustomerLoyalty常客离港GeneralInformationSchedules行李查询SVC高端ReservationsWeight Balance大客户中转IrregularOperations3rd Party客舱ETDWTicketingCheck-inSeatingSVC初期探索 集中访问效率不高，系统稳定性不足，投资大。SVC架构优化思考及技术选型RMDB主要技术难题 扩展困难并发读写慢成本高（小型机+存储）无法支撑海量数据NoSQL的优点NoSQL的不足大数据量高性能、高可用弹性扩展能力灵活的数据模型低成本 不完全支持SQL不支持事务不支持多表关联不支持聚合查询无法保证数据一致性我们的选择优 点迁移成本底方案成熟稳定能很好的支撑事务能保证数据的完整性能提供较高的TPS满足业务性能要求开发成本低，技术风险低有较好的扩展性系统部署架构 并发访问量高，速度快，稳定高效，系统投资小。投资比较并发访问量高，速度快，稳定高效，系统投资小。 小型机方案分布式方案 数据库小型机C档数据库PC server光纤交换机光纤交换机B档数据库软件SVC主备两套，CBD主备两套 磁盘阵列磁盘阵列B档SVC主备两套CBD主备两套 数据库软件汇总35万汇总600万结果比较选择hadoop+hive做分析平台A表(30亿)+B(2亿)表A表做聚合统计查询，时间5分12秒；A表做数据清洗，时间12分07秒A表与B表 join 后做聚合统计查询，时间14分36秒高效率：通过分发数据，hadoop可以在数据所在的节点上并行地处理,处理非常的快速。高扩容能力：服务器群总计可达数千个节点，能可靠地存储和处理PB级数据。成本低：使用普通机器组成的服务器群来分发以及处理数据。可靠性：hadoop能自动地维护数据的多份复制，并且在任务失败后能自动地重新部署计算任务。跨平台：JAVA实现支持各种平台并支持多种语言的MapReduce.测试结果数据分析平台架构业务系统业务数据库1高速数据存取数据接口处理结果导出2Hive Devoloper平台管理器文件管理通用数据访问ETL工具交易数据元数据管理安全管理3数据统一管理任务管理集群管理文件/邮件数据平台监控平台管理任务调度4可配置化无需编程大数据处理集群客户数据5业务处理与hadoop分离大数据处理平台设备/运行数据大数据存储问题的解决 Hadoop可以存贮PB级别的数据，并且每个文件在不同的机器上有2份或3份备份，这样即使一台机子故障，将不会影响系统的可用性。数据清洗导入任务管理ETL数据导入HDFSMap ReduceName nodeDatanodeDatanodeDatanodeDatanodeA1A2A1A2A2A1大数据处理平台BI分析效率的解决BI系统MySqlBI分析SVCCBDFFP6、报表导出5.2、特殊报表生成5.1、报表生成数据源Hive mapred 报表查询ETL工具Hadoop集群1、数据导入2、数据导入4、数据转换平台数据转换服务3、转换任务调用构建开源数据服务平台在应用和底层数据源之间，构建一层代理，统一数据层；垂直切分：数据按业务划分存储在不同的数据库，表间关联密切的表划分在一起，例如同一模块的表。水平切分：将同一个表中的不同数据拆分到不同的数据库中；统一数据访问API：隐藏后端复杂数据分布细节，数据库操作看起来就像是在同一数据库中；灵活缓存机制：注解式、配置式、编程式、AOP拦截界面化配置按需扩容分布式数据库中间件数据库节点数据库节点数据库节点数据库节点可扩容至1024个节点建设目标通过分布式集群实现分库分表，解决大数据支撑问题；利用Galera，在客户端与MySQL服务器之间抽象出一层“统一数据中间层”，统一数据中间层包含HA功能，以简化MySQL的高可用环境的构建；实现集群自动管控功能，包括节点增减、监控等；实现数据服务云统一数据服务平台中间层数据服务平台架构分享：开源技术统一管理的必要性视图层js：query、dwr、swato、GWT、 prototype……UI控件：Dhtml 、jquery UI、 ExtJs、 easyui……JSP：velocity、tag、 JFS……容易引起:重复研究法律问题 包版本冲突系统不稳定技术无法积累对人员要求高研发成本高后续维护成本高MVC：struts1、struts2、spring、