logo

您所在位置网站首页 > 海量文档  > 计算机 > 数据结构与算法

高性能计算知识:HPDA新兴技术方案分析.pdf 14页

本文档一共被下载: ,您可全文免费在线阅读后下载本文档。

  • 支付并下载
  • 收藏该文档
  • 百度一下本文档
  • 修改文档简介
全屏预览

下载提示

1.本站不保证该用户上传的文档完整性,不预览、不比对内容而直接下载产生的反悔问题本站不予受理。
2.该文档所得收入(下载+内容+预览三)归上传者、原创者。
3.登录后可充值,立即自动返金币,充值渠道很便利
特别说明: 下载前务必先预览,自己验证一下是不是你要下载的文档。
  • 上传作者 linkinwhite(上传创作收益人)
  • 发布时间:2019-06-10
  • 需要金币50(10金币=人民币1元)
  • 浏览人气
  • 下载次数
  • 收藏次数
  • 文件大小:355.71 KB
下载过该文档的会员
你可能关注的文档:
高高性性能能计计算算知知识识::HPDA新新兴兴技技术术方方案案分分析析 免费群 高高性性能能数数据据分分析析(HPDA)是一个新兴技术,也是HPC的一个 主要细分市 ,在该领域目前活跃的主要玩家集中在云服 务、大数据、存储、服务器和网络领域(像IBM 、Fuj istu 、 S I、甲骨文、惠普企业、谷歌等) 。 根据W R报告显示,推动HPDA市 增长主要动力来自HPC 数据密集型应用。在不久的将来,数据密集型业务的加速除 了应用于传统的HPC模拟和空间算法外,还将用于电子商 务、金融和经济领域。 目前,主要从技术和市 应用2个纬度对HPDA进行分类。 按技技术术细细分分市市 主要分为 raph Analytics、Streaming Analytics、Compute Intensive Analytics和Novel Architectures 等。 按市市 应应用用细细分分为Financial Services、Manufacture、 Scientific、Energy、Healthcare和Telecommunication等。 第1页 根据IDC预测,HPDA带动服务器收入的强劲增长(13.3%%复复 合合年年增增长长率率),从2012年的7.438亿美元增加到2017年的14亿 美元。HPDA存储收入将在今后一年达到8亿美元。然 而,HPDA存储增长的技术挑战是数据移动和管理。那么, 今天以富士通的HPDA解决方案为主线,详细分析下HPDA参 考架构和技术方案。 本文对大数据分析和HPC两种技术融合所带来的好处、具体 应用 景和性能基准进行了深入的分析,其中包括 HPC/HPDA概念、所涉及的组件,并解释了通用的解决方案 体系结构,充分体现了高性能数据分析的经济价值。 同时,阐述一种成本效益参考模型,使企业能够利用和利用 现有的HPC基础设施有效地运行HPDA工作负载。 高性能数据分析(HPDA) 的出现 随着数据爆炸式增长,企业内服务器和存储线性扩变得越来 越困难。根据Hyperion预测,到2025年,全球数据空间将增 长到163ZB,这是2011年HPC产生数据16.1ZB 的10倍。 数据对计算能力的要求包括三个阶段(数据捕获和过滤、分 析、结果可视化展示),为了释放大数据的全部潜力,数据规 模必须将其与大计算(Big Compute)或HPC配配,让更多的行 业可以从大数据和HPC的结合中受益。 任何工作负载需要加速计算和数据密集型工作负载时,都可 以使用HPDA体系结构提高生产率,目前来看,HPDA帮助它 们在竞争中保持领先的主要行业有: 1) 电子商务和商业 2)天气和气候建模 3)传统HPC环境(科学建模、教育研究环节) 第2页 高高性性能能数数据据分分析析工工作作负负载载 根据检索的速度、数据流、数据集、信息输入和输出类型, 高性能分析有着不同的类型的工作负载。这些因素的结合决 定了获得最佳分析结果所需的工作量和分析过程。 在数据密集和计算密集型应用中,工作负载是大规模、并行 的,同时也高度依赖网络和存储。来不同设备的结构化和非 结构化分析数据使得数据采集和过滤更加复杂,这些数据来 源包括物联网设备、传感器等。 高性能数据分析的流程 在Hadoop等大数据应用上使用HPC资源创建了高性能的数据 分析配置。在一个标准的大数据应用工作流中,需要对数据 进行收集和分析以获得近实时的洞察。分析等处理信息所需 的时间取决于收集数据的速率和处理的复杂性。类似地,在 标准的HPC工作流中,数据的收集和合并,也需要基于复杂 的数值模型通过并行处理以获得所需的输出。 当HPC和大数据技术合并时,HPDA平台将具有HPC资源在 大数据应用程序上运行复杂工作负载、处理和存储大数据集 的能力,整个处理流程如下图所示: 第3页 何时实现HPDA体系结构 当谈到市面上可用的数据分析解决方案时,Hadoop和Spark 已 经成为这些解决方案的代名词。下面,我们将试图解释什么 时候可以继续使用标准的数据分析解决方案,什么时候需要 使用HPDA体系结构或解决方案。 如前所述,大数据分析Hadoop平台是一个基于Java的开源编 程框架,它是Apache软件基金会发起的一个项目。它

发表评论

请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
用户名: 验证码: 点击我更换图片

“原创力文档”前称为“文档投稿赚钱网”,本站为“文档C2C交易模式”,即用户上传的文档直接卖给(下载)用户,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有【成交的100%(原创)】。原创力文档是网络服务平台方,若您的权利被侵害,侵权客服QQ:3005833200 电话:19940600175 欢迎举报,上传者QQ群:784321556