- 1、本文档共24页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
华为的大数据处理
CETC Cloud computing 一、华为云计算二、华为的大数据处理 目 录 * * 华为云战略定位 华为云定位于运营商和企业的云服务市场,提供私有云、公有云和混合云解决方案,构建华为“云管端”整体ICT(information and communications technology)解决方案,面向企业、电信运营商和消费者3大业务领域客户。 华为云计算 云计算是商业模式和技术理念的统一 * * 云服务-“按需取用”的商业模式 + 云平台-分布式和并行软件系统 华为云计算 华为云计算落地的两个方面 * * 云计算 落地方案 华为云计算 华为云平台IDC整体视图 * * 云服务 云平台 华为云计算 华为提出的支持智能城市的云平台架构 * * 华为云计算 华为提供端到端云解决方案 * * 华为云计算 绿色高效的云机房建设 * * 华为云计算 提供系列化云硬件平台产品 * * 华为云计算 提供云操作系统 * * 华为云计算 华为桌面云即SingleCLOUD 指“1个平台+N种应用”的安全解决方案。1个平台即SingleCLOUD,将软件与某一个具体的服务器分离,这样,所有的软件共享所有的硬件资源,实现“软件与硬件的解耦”,实现真正的云计算。 SingleCLOUD云平台,支持“百万级服务器集群、百万T 的存储能力、百T级网络互连能力”,支撑海量信息的计算和存储,并通过“Zero-Touch的自动管控”,大大降低运维成本。采用业界主流高性能桌面协议(ICA )提供桌面云规划设计、部署、验证等系列服务和工具。 * * 华为云计算 一、华为云计算二、华为的大数据处理 目 录 * * 华为认为的大数据挑战 华为提出了大数据整体架构,并总结出当前面临6方面挑战:云存储、大数据技术、E2E的媒体云、虚拟桌面、HTML5和高性能计算(HPC)。 华为的大数据处理 华为大数据整体架构 * * 华为的大数据处理 大数据应用领域 视频转码 3D渲染 金融领域计算 天气预测 风洞计算 地质模拟 数据挖掘 仿真 … * * 华为的大数据处理 云存储-需求和挑战 存储海量数据,并提供服务是云存储的主要需求和挑战。 在公有云领域,云存储的主要需求为:低成本和海量伸缩性、存储的内容为海量的结构化、半结构化数据。其存储方案一般都采用廉价的x86存储服务器和分布式存储软件(GFS、Dynamo)。 在企业存储市场,以SAN和NAS为主流的存储方案,一般采用双控制器的专用存储硬件。 公有云和企业存储存在很大差异:现有公有云存储虽然在系统的伸缩性方面取得突破,但却牺牲一些传统存储的关键特性,如不支持POSIX接口、不适合大量随机小IO、不适合强一致性等要求;企业存储系统如果作为云存储平台,其容量、可靠性、性能将无法支撑。 * * 华为的大数据处理-核心技术 华为为公有云和私有云市场构建统一的云存储解决方案(以分布式存储为主,也可结合虚拟化存储),由三个层面构成:存储硬件层、存储平台层和存储服务层。 存储平台层是一套基于DHT的分布式Key-Value存储系统,将大规模的存储设备资源聚合成一个具有统一视图的、海量的存储空间。 存储服务层基于平台层提供的Key-Value接口,提供多种类型的存储服务和接口协议,并提供存储服务所需的访问安全机制。 存储硬件层可以是通用的存储服务器,也可以是定制优化的专用硬件。 华为云存储解决方案实现了多种存储服务的融合和统一。多种存储服务可以采用一致的接口访问存储引擎,实现存储容量、IO的共享,同时为各存储服务提供不同的QoS。 华为云存储解决方案在架构上考虑了如下要素:(1)海量的可扩展性;(2)自组织自管理;(3)强一致性;(4)高性能的块存储服务;(5)定制优化的低成本、高密度存储硬件 * * 华为云存储解决方案 华为的大数据处理-核心技术 大数据处理技术的趋势与挑战 当前大数据表现为如下两方面主要特征:(1)大数据量 十T级是入门,百T级PB级已非常常见;(2)响应速度 数据产生的速度越来越快,对于数据中蕴含信息的提取,以及对于提取信息的反馈,要求越来越快。 由于在数据量和响应速度两个维度的交织,给大数据的处理带来很大的困难。在过去五到十年,两类技术已经发展起来,针对性地解决上述两个的挑战。 发源于金融自动交易系统的复杂事件处理(CEP)技术,经过美国若干大学领先团队的研究及创业公司的工程优化,已走向实用,数百万每秒事件的处理,在工程上成为可能。 随着互联网点击流实时处理以及微博等业务的出现,流处理系统发展为分布式系统。雅虎和Twitter都开源了其流处理系统,这进一步推动了大规模流处理系统的应用。发源于谷歌的开源系统Hadoop,随着众多公司的加入,已形成大数据处理的事实标准。来自数据源的原
您可能关注的文档
- 公开说明书-元大金控.doc
- 六、避雷器测量原理和性能判断-直流电阻快速测试仪.doc
- 关于5-15栋学生宿舍接入校园网的解决方案-宿迁学院审计处.doc
- 关于3G网络规划设计中几个关键环节的考虑(中京院)-中国质量信用网.ppt
- 关于作文评改问题的反思.doc
- 兰州新区现代有轨电车线网规划环境影响报告书-中铁第一勘察设计院.doc
- 关于加快培育大数据产业-中关村国家自主创新示范区.doc
- 关于召开标准化组织、技术论坛、产业联盟的有机结合和相互推动等二.doc
- 关于团体身心反馈训练系统项目单一来源采购公告根据军队物资采购.doc
- 关于国有土地上非商品房分割转让-浙江六和律师事务所.doc
- 初中开学第一课-初一语文开学第一课 (1).ppt
- 高一语文2019学年上学期开学第一课(39张幻灯片).ppt
- 高一开学第一课:扬帆起航-追逐梦想-2020-2021学年上学期高中班会课开学第一课(共50张PPT) (1).pptx
- 小学英语语法、句型、词组知识点总结.docx
- 小学英语日常口语200句.docx
- 小学英语语法专项:人称代词和物主代词表格及练习含答案.docx
- 小学阶段要掌握的英语词性转换总结.docx
- 2024年水运工程监理工程师考试第十四章(安全监理).pdf
- 河北省廊坊市霸州市2023-2024学年高二下学期7月期末质量检测化学(解析版).pdf
- 全国各地中考试题:积累与运用(83份)[含答案].pdf
文档评论(0)