基于分布式云计算环境下的多租户管理技术方案研究项目资料.pptVIP

* * * * * 拥有全部知识产权，但是没有代码著作权 第5个专利到哪一步？ * * 经济效益分析： 1.业务系统合一后的变化 12+1个月1024计费清单大小为2,338TB，同时为地市集市+经分主库服务，如果两个业务系统合一后，可节省存储2338TB 8+1个月份电渠日志大小为243TB，同时为电渠和客服服务，如果两个业务系统合一后，可节省存储243TB 1个月的网络XDR明细大小为992TB，同时为客服（只需7天数据）、地市集市和经分主库服务，如果三个业务系统合一后，可节省1216TB 以上共节省3.8PB，系统只需8.9PB 2.查询的数据和分析数据整合成一份后 6+1个月1024计费清单大小为1259TB，本需要单独一份给清账单作为查询用途，整合后节省存储1259TB 1个月份电渠日志大小为27TB，本需要单独一份给电渠作为查询用途，整合后节省存储27TB 1个月的网络XDR明细大小为992TB，本需要单独一份给集市作为查询用途整合后节省存储992TB 所以，共节省2.3PB，系统只需6.6PB 按每个节点56TB，每个节点11万来估算，把业务系统合一后，投资从原来的4708万减少到2838，如进一步使用查询和分析存储合一的技术，投资再减少到2105万元。 * * 集团重大项目“云计算和大数据发展规划及技术应用”子课题 基于分布式云计算环境下的多租户管理技术方案研究 ——Hadoop多租户技术研究 中国移动 广东公司规划技术部 集团研究院 2015年11月 中国移动2015年科技创新与业务服务奖终评材料 成果主要内容 成果形成背景 成果主要创新点 成果实际应用情况 查询类作业对IO和存储容量的需求较大，但计算资源消耗不高，导致计算资源大量闲置。例如，清账单中心集群的CPU利用率仅为10%左右。 分析作业在存储容量满足的情况下，计算资源明显不足。例如，经分集群的忙时CPU利用率高达80%~90%，忙时集中在月末、月初或晚上，有比较明显的忙时和闲时之分。 数据冗余严重 计算资源严重过剩和严重不足情况并存 多个集群都需要大量的重复数据，特别是计费清单和信令规模很大。 现网清账单查询集群的存储容量达78%，经分分析集群也达到70%左右，两个集群的数据都以清单为主。 新建的集群也计划引入清单和信令数据，数据冗余程度会越来越严重。 广东公司进行大数据平台建设规划时发现：如果按传统分建集群的方式，资源无法整合，导致系统烟囱化问题。例如，清账单中心建立一个查询Hadoop集群，经分也建立一个分析Hadoop集群，同时客服等其他部门、地市公司也按计划新建Hadoop集群的话，集群数量和规模将迅速膨胀，并导致以下问题： 项目背景：大数据平台系统烟囱化，数据冗余，资源利用率低 该怎么做？ 成果主要内容 成果形成背景 成果主要创新点 成果实际应用情况 项目概况（1） 项目目标 为解决多集群烟囱化的问题，广东公司提出把不同类型的应用都整合在同一Hadoop集群的想法。 但当前社区多租户管理功能有所欠缺：主流的YARN方案只能提供分析任务的多租户管理功能，提供查询功能的HBASE不具备多租户功能，也缺乏YARN和HBase间的统一多租户管理功能。 同时，尽管多个业务系统整合后，分析的数据和查询的数据各自只需存放一份，但是由于HBase分析性能较弱，YARN又不支持实时查询，无法把查询和分析数据合一，数据还是有一定的冗余。 因此本项目通过研究新的资源调度算法技术，解决YARN和HBASE共存在一个集群时，统一的多租户管理功能。同时，探讨查询和分析数据合一的处理技术，进一步减少数据冗余。 采取措施 针对存在问题，提出3项核心技术创新： 提升资源利用率：研发和优化系统资源控制算法，完善作业优先级策略。 解决数据冗余问题：提出基于多租户特性的Hadoop平台存储方案，。 改进Hadoop架构设计，监控集群的健康度，进一步提升集群性能。 项目来源 本项目为集团重大项目“云计算和大数据发展规划及技术应用”子课题。 项目概况（2） 本项目已于2014年12月完成，并把成果应用于2015年广东公司大数据平台建设项目中。 项目中广东公司结合业务需求提出具体应用场景，制定关键技术实现技术方案。集团研究院则负责重点技术、核心算法的攻关和验证结果的分析。并推动厂家编程实现，然后通过测试验证产品，本项目成果享有自主知识产权。 　时间 内容 参与单位 2014.1-2014.2 结合业务需求提出具体应用场景 广东公司 2014.3-2014.8 研究制定关键技术实现技术方案 广东公司 重点技术和核心算法攻关 集团研究院 2014.9-2014.10 根据提供的算法编码实现产品 华为、Cloudera等Hadoop主流厂家 2014.10-2014.11