基于多参数的文件存储分配算法研究-网络传播系统与控制专业论文.docxVIP

㈣㈣㈣删删Y1 ㈣㈣㈣删删 Y1 8 1 6苓7芝 University of Science and Technology of China A dissertation for master’S degree Research of Fi le Storage Distri bution Algorithm Based on multiple parameters Author’S Name： Yang Li speciality-Network Communication System and Control Supervisor： Associate Prof．Jun Li Finished time： May,5th，20 1 0 中国科学技术大学学位论文原创性声明本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写 过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了明确 的说明。 作者签名： 签字日期：型!：三：坚 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥 有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交 论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入《中国学 位论文全文数据库》等有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 } 晒公开 口保密(——年) 作者签名： 导师签名： 坌至玺 签字日期： 签字日期： 矽fD．岁、2，g . 摘 摘 要 摘要 伴随着流媒体和网络技术的飞速进步，采用高性能集群搭建的视频点播服务 系统正在快速发展，海量数据处理是其存实际应用中的主要任务，无论是影片的 传输、存储还是处理都涉及到TB级的数据吞吐量。因而一种流媒体系统专用的 优化分配算法可以提高系统的响应能力，改善目前普遍存在的I／0瓶颈现象。 专用存储分配算法应充分发掘流媒体系统特性，其核心目标是通过将大量的 影片文件组以某种规则进行分划，然后存储到相应的磁盘上，使整个存储系统中 各磁盘在I／0负载上呈均匀分布，获得很好的并发处理能力。文件存储分配算法 的研究一直以来都是热点问题也是难点问题，目前已经提出的大部分算法都存在 仅适用于小规模数据量或者仅考虑到部分系统特征的局限性，不能达到实际环境 中的性能要求。 针对上述问题本论文提出了基于特征加权和的偏移补偿算法进行以下改进： 首先，为了适应海量数据处理的实际要求，建立高性能集群和存储硬盘集合 的拓扑模型并提出各子系统的具体定义，通过在整个存储系统的前端加入统一的 存储调度器，可利用半同步半异步的模式使指定目标磁盘和实际存储数据的工作 互相分离，使服务器、调度器和存储设备各司其职，提高并行服务能力。 然后，通过对模型的进一步分析，抽取出能够表征系统存储操作过程特性的 决策变量和约束条件。根据多目标问题的求解方法，得到一个综合各变量和条件 的评价函数，使用该函数对文件进行评估，存储调度器则根据不同文件的评估值 进行偏移补偿的方式来选择它们所对应的目标磁盘，进而达到优化文件在磁盘上 存储结构的目的。 接下来，为了寻找目标函数中各个变量的加权系数的优化配比方案，本文中 采用了预先偏好选择的策略，即对多种可能的系数组合进行反复尝试。通过设定、 多组典型的配比数值方案，代入目标函数对文件评估，依靠仿真实验来模拟各个 决策变量在磁盘上的分配结果，分析拟合曲线走向可以近似得到最优系数配比。 最后，为了验证偏移补偿算法是否更具优势，选择了轮询、随机、容量均分 等几种算法作为性能参照。在完全相同的仿真实验条件下，使用这些算法依次对 同一文件组进行存储分配。比较每种算法分配后服务系统对用户点播请求的响应 延时以及决策变量在磁盘上的分布情况可以判定算法在性能上的表现。 关键字：流媒体系统海量数据存储分配多目标优化文件热度偏移补偿 ABSTRACTABSTRACT ABSTRACT ABSTRACT VOD(Video—On·Demand)service based on HPC(high performance cluster)is growing fast due to the rapid progress of streaming-media and network technology， and the mass data handling is becoming the m