Intel hadoop 发行案例_v4.pptx

Intel Hadoop 发行版案例;案例分享一浙江省多个地级市智能交通系统大数据;动机;;;;智能交通的软件架构;当前智能交通的功能;案例分享二广东移动省公司请账单系统 ;新详单系统建设的必要性;新清帐单系统关键需求;新清账单系统基于Hbase的测试结果;新详单系统实现架构——逻辑架构;新详单项目实施情况;序号;;新详单系统二期需求概要;Backup;案例分享三银联大数据数据票据详单平台 ;项目简介： 银联大数据平台是银联处理票据详单，电子保单，银联交易详单平台。 票据数据主要包括消费者在POS机上的消费签购单详和法人单位开具给个人的付费凭证。 票据数据每个月有5000万到6000万条数据。该数据的使用者除了银联的内部用户外，也开放给参与交易的商户。 银联大数据平台也包括电子保险单存储。 每份保单文件为约 3MB 大小， 一个城市每年约产出1500万份保单。 银联大数据平台的第三项功能是银联交易详单， 包括银联网存款，取款，转账详单。每月产生40TB到47TB数据。电子保险单存储和银联交易详单平台的用户主要是银联的内部用户。 ;面临的挑战：采用IDH系统方案之前，银联的方案有困难 1）在数据集达到半年数据规模时， 采用XML方案的系统票据查询速度过慢导致无法实际使用该功能； 2）电子保单存储和查询中， 当存储的数据量达到一年的数据量时， 查询速度过慢导致无法实际使用该功能。 3）曾在交易详单项目上尝试采用开源的HBase, 经常发生故障，而且没有管理监控报警功能， 无法投入商业应用。 ;IDH方案的实现： 新的银联大数据平台项目采用英特尔Hadoop发行版平台，实现了以下功能 1） 将基于XML的票据查询方案转换为基于HBase的方案，外部导入程序将XML文件转换为HBase数据结构，实现了在海量票据数据中一秒之内的查询返回； 2) 电子保单数据和保单文件从关系数据库转换为HBase，使用IDH大对象存储的优化，性能比开源Hadoop成倍数提升； 3) 将开源HBase的交易详单应用部署到英特尔Hadoop发行版，提供更高的性能、稳定性和管理性。 ;硬件配置：集群规模45个节点， name node采用了ＨＡ，　每个节点配１0块２ＴＢＳＡＴ???　数据硬盘组成ＪＢＯＤ，　系统盘采用２块５００ＧＢ　ＳＡＳ硬盘组成ＲＡＩＤ　１，　6４ＧＢ内存，双路６核ＣＰＵ，千兆网络。 效果： 在设计数据量下，票据查询和电子保单查询的速度都在秒级，达到设计标准。;案例分享四某通信运营商全国用户上网记录 ;业务背景;移动互联网处于快速发展期：每6个月，流量翻一番;移动用户上网记录集中查询与分析支撑系统;;移动用户上网记录集中查询与分析支撑系统;案例分享五上海电信网络优化 ;业务背景和需求;;Hadoop方案优势;网优数据支撑平台;平台集成架构;设备