- 1、本文档共5页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
基于访问趋势的热点副本创建策略
摘要:在 分析 动态副本创建策略的基础上,对集中式的动态创建策略进行改进,将
热点数据副本的创建与数据访问的 历史 记录相结合。最后通过数据网格模拟器进行模拟
实验,得出并分析了实验结果。
关键词:数据网格; 副本优化; 热点副本
在 现代 科学 研究 和 应用 领域中,大量的数据是重要的资源,如高能物理和粒子
物理、生物医学研究、航空航天、数字地球、大型武器模拟、大型数据库和数据仓库等的
应用。其数据量将达到 TB 至 PB 的级别。同时,地理上广泛分布的科研工作者和用户都
希望能访问和分析这些庞大的数据,而现有的数据管理体系结构、 方法 和技术已经不能
满足人们对高性能、大容量分布存储和分布处理的要求。因此,数据网格应运而生,以解
决上述应用面临的 问题 。
数据网格 计算 [1]为各种应用提供了一个高性能、大容量、高速传输的并行分布广域
计算平台。它是对广域范围内大规模的数据集进行分布式管理和分析及使用的一个综合的
体系结构,实现网格环境中安全、可靠和有效的数据传输以及访问、复制等操作,并提供
到不同存储系统的统一接口,较好地解决了上述问题, 从而使得数据密集型的高性能计
算和大量的共享数据密集型的事务处理及科学研究成为可能。
在数据网格环境下,通过数据的复制使数据更接近用户,可以更快执行用户提交的作
业,在更短的时间内访问作业所需的数据文件,以快速提高数据访问性能。作业通过资源
代理(RB)提交给网格。RB 将作业调度到不同的计算单元(CE ),以提高网格的吞吐量
。副本管理器在每个站点管理站点与站点、存储单元与计算单元接口间的数据流。副本优
化器负责副本的选择、动态生成和删除。在副本优化服务执行过程中, 网络 性能和磁盘
I/O 也是 影响 作业调度和副本选择的重要因素。优化算法应通过检查计算单元和各个存
储单元之间的可用带宽和存储单元的磁盘 I/O 来从不同的存储节点获得最优的副本。
Vazhkudai 等人[2 ,3]表明在网格环境下,磁盘吞吐时间能占用 30%的传输时间。因此在
计算数据传输时间时,应考虑网络带宽和磁盘吞吐率。这样的优化策略可以更加接近真实
的数据网格系统。
本文在有限的网络带宽和磁盘吞吐能力的情况下,根据不断变化的外部访问特征和副
本访问历史记录来对副本进行优化,从而使得用户可以就近访问。整个数据网格系统达到
一个负载均衡的状态。
1 相关工作
在用户提交作业到作业完成这个过程中,副本管理器对作业的生命周期进行三处优化
[4] :
a)资源代理(RB)决定作业在哪个计算单元上运行,即调度的优化。通过计算一个代
价函数来实现:
Cost=getAccessCost()+estimatedQueuingTime()。作业总的执行是作业访问文件时间
和作业排队时间之和[5]。其中作业访问数据文件时间包括数据文件读取时间、网络带宽延
迟时间和磁盘 I/O 时间。本文中的作业调度流程如图 1 所示。
b) 作业运行中的动态副本选择。一旦作业在计算单元(CE )上运行,它需要访问不
同的数据文件。由于一个数据文件在各个网格站点上可能存在多个副本,当一个作业需要
访问某个数据文件时,副本优化器(RO)通过调用函数getBestFile()来找到最优的文件
副本。
c )动态副本优化,即触发在第三方站点上复制数据文件。每个站点对所请求的数据
文件进行监控和记录。当特定的数据文件成为热点数据时,则可以考虑将该文件复制到最
有可能被访问到的第三方站点。本文通过数据文件的前N次访问历史记录来判断该数据
文件是否可成为热点副本,并通过一定的算法对其进行复制。
本文在使用 OptorSim 模拟器的基础上对副本管理器的三处优化进行改进。OptorSim
通过模拟(欧洲)数据网格中各个独立部件之间的交互作用,从而达到评估不同的数据管
理策略——副本优化算法性能的目的。它以 EDG 的结构为基础,包括了所有必需的部件
,但是重点是在数据管理的副本机制上。使用OptorSim 模拟器可以用数据复制与作业调
度算法相结合的手段来对不同的算法作出评估,从而最大限度地利用网格资源。
2 算法优化
复制机制决定动态产生副本的时间以及副本放置的位置。主要有两种 方法 ,即集
的和分布的动态复制方法。本文根据 目前 数据网格拓扑结构的特点,在集中式动态复制
算法[6]的基础上,提出了一种基于访问 历史 记录的热点副本产生算法。通过自动产生热
点数
您可能关注的文档
- 反垃圾邮件系统的内容过滤模块设计与实现.pdf
- 房地产管理 施工组织方案北京某高层住宅施工组织设计.pdf
- 房地产管理 施工组织方案住宅小区智能化系统施工组织设计方案.pdf
- 房屋承租合同范本.pdf
- 房屋门面合伙租赁合同.pdf
- 非接触式酒店管理系统方案感应卡.pdf
- 改善嵌入式Linux实时性能的方法研究.pdf
- 高等师范院校师范专业毕业生就业竞争力现状及提升策略.pdf
- 个人酒店预订表格ONLINEHOTELBOOKIN.pdf
- 更快更新更强--中国酒类市场营销主旋律.pdf
- 高考英语词汇完型单选秘诀.pdf
- 高中英语被动语态必练题总结.pdf
- 高中英语被动语态常考点.pdf
- 高中英语被动语态名师选题.pdf
- 2021-2022学年冀教版七年级数学下册第十一章 因式分解章节训练试题(含解析).pdf
- 2021-2022学年辽宁省沈阳市和平区九年级(上)期末数学试卷(解析版).pdf
- 2021-2022学年山东省烟台市芝罘区七年级(下)期末数学试卷(五四学制)( 含解析).pdf
- 2021-2022学年四川省资阳市安岳县九年级(上)期末数学试卷(含解析).pdf
- 2021-2022学年新疆乌鲁木齐八中高二(下)期末数学试卷(理科).pdf
- 2021-2022学年黑龙江省哈尔滨市道外区九年级上期末数学试卷及答案解析(五四学制).pdf
文档评论(0)