Hadoop在PaaS中的应用实践要点解析.ppt

Hadoop在PaaS中的应用实践 2013-03 目录 案例：某监控平台-需求分析 案例：某监控平台-技术要求 案例：某监控平台-传统解决方案 案例：某监控平台-传统方案特点 多层级的架构 没有计算分析能力：只关注视频数据的存储，无法转换格式或降低媒体分辨率来满足多种类型需求，更无法满足未来的分析需求。 系统弹性不强：IP SAN存储有容量与带宽有上限，整个系统的弹性不强。具体表现是，简单增加硬盘只是增加存储空间，不会提高整体系统的处理能力。 硬件成本高：硬件设备冗余，二级网络中的IPSAN设备的数据都是需要上传到一级网络的，设备数量基本上需要成倍，而IP SAN存储设备价格并不低。 软件过于复杂：硬件架构分级会对软件提出复杂要求。 维护成本高。 案例：某监控平台-云计算方案 案例：某监控平台-云计算方案特点 容易集中管理，降低维护成本。 海量大数据存储与运算能力。 超强的弹性：数据容量与处理能力可以简单通过增加数据节点的数量得以线性提升。增容简单快捷。 容灾能力强：整个集群中数据节点所存数据均有冗余，在少数服务器完全宕机的情况下，可以简单通过替换服务器完成，数据重建可以自动完成，系统不会整体崩溃。 服务器硬件成本低：数据节点所使用的服务器可以采用成本相对低廉的硬件设备实现， 不必采购成本昂贵的NAS或SAN存储设备。 软件许可证成本低：整个平台使用的是开源系统（服务器操作系统，大数据集群，应用服务器集群），不必支付高额的服务器操作系统、数据库系统许可证费用。 开放系统容易扩展：在无法预测各类应用情况下，采用开放的PaaS云计算平台可以很容易的适应新的需求，可以在身份认证、数据安全、标准兼容、数据库访问、多格式数据输出等很多方面得到满足。 什么是PaaS Hadoop与PaaS协作 云计算开放小组 云计算开放小组活动 云计算应用联合验室 鲁四海 * * 先看一个案例：某监控平台 什么是PaaS Hadoop与PaaS协作 关于开放小组 为行政区建立监控视频平台，支持数以千计的摄像设备，统一管理监控设备，保存一定时期的监控记录，为政府多部门提供视频监控与视频历史回放的功能。 特点 大数据量：平台支持的设备包括数以千计的摄像设备，保存这些摄像设备长时间的视频资料，以一部130万高清摄像头为例，1小时的视频文件大小=3G，1000个摄像设备一天的用量为=72TB。 大运算量：针对上述的视频数据，需要切分、转换格式。甚至智能分析的需求（如：车牌识别）。 服务对象差异大：为政府各部门提供视频回放和监控的能力。做为平台的用户，各部门会对该平台提出各类技术规范的要求，以满足与现有系统的对接，其中包括身份认证、数据安全、数据格式。这些要求需要平台具有广泛的兼容能力。 开放性 即与众多标准的互操作性和兼容性。 松散耦合性 系统部件可复用性与可维护性很强，易于部署到大规模并行系统中。 可伸缩 系统弹性强，系统的性能可以简单通过增加服务器数量就得到线性提升。 性能健壮 系统性能优良，用户体验流畅。 易维护 系统需要容易维护，容错能力强，出现多台硬件故障的情况下，可快速替换服务器，并且不影响整个系统的运行。 案例：某监控平台-软件逻辑结构 1、Hadoop算不算是一个PaaS？ 2、两种不同的弹性计算 3、分工协作 Hadoop：大数据处理 PaaS：应用支撑（如集成、接入接出、SLA） 云计算开放小组由北大CIIM云计算应用联合实验室技术专家发起。成员来自于研究机构研究人员、企事业单位IT负责人、优秀IT企业技术专家、高校学生等。小组本着开放的心态，为推动云计算的应用积极努力。小组定期举行各种线上线下活动进行技术交流，分享技术成果，每月推送一期《云刊》让技术分享影响更远，通过QQ群、微博等多种线上渠道让交流更容易，还通过实验室向成员提供免费的实验平台帮助研究与研发。 宗旨：开放、互动、分享、融合 使命：专注于云计算相关技术在中国的发展和应用；致力于云计算知识的交流、分享、推广 北大CIIM中心云计算应用联合实验室将秉承北大“兼容并包”的传统精神，打造一个开放的“并包云”平台。以开放推动云计算产业创新，以整合推动云计算产业联盟，以应用推动云计算产业发展。最终目的是帮助用户基于国产和开源的软硬件构建下一代基于云计算的、安全可控的、低成本的信息系统。 /OCCTeam /OCCTeam *