对等存储系统中的数据可用性与安全性研究.ppt

对等存储系统中的数据可用性与安全性研究 博士生：田 敬 导 师：代亚非 教授 2007年6月14日 内容纲要 本研究概览及意义 研究内容 P2P环境动态性测量 数据冗余度评估及数据分发方案 节点永久离开的判别及数据修复 安全的数据编码方案 一个开放式的P2P存储服务平台 总结及未来工作 P2P存储应用的意义 存储是信息世界的基本支撑，毋庸置疑 为什么P2P存储？ 更大存储容量 更大传输带宽 更加廉价设备 P2P存储应用的意义 P2P存储是什么？ 以功能对等的方式组织存储节点，提供存储服务 可以是机房系统、广域封闭系统、广域开放系统 P2P存储的优势 易扩展?无瓶颈 高带宽?节点多 高容错?功能对等，无单点失效 更廉价?大规模，高容错 易管理?无需集中控制 P2P存储的系统研究 P2P存储系统的挑战 P2P存储系统由高动态且不可信的节点组成 高动态 节点可能随时暂时或永久退出系统 问题：如何保证存储的数据总可被访问？可用性 不可信 任何节点都可能是恶意节点 问题：如何保证用户机密数据不被窃取？安全性 本研究的意义 P2P存储中数据可用性和安全性研究是“重要基础研究” P2P存储是重要的存储方式 可用性和安全性是其基础问题 现有研究很不完善 P2P存储中的数据可用性问题 数据可用性定义 数据在时间t可被访问的概率 问题： 要多少个副本屏蔽暂时错误？ 副本存放在哪些节点集上？ P2P存储中的数据可用性问题 数据可用性定义 数据在时间t可被访问的概率 问题： 要多少个副本屏蔽暂时错误？ 副本存放在哪些节点集上？ 如何判断永久错误？ 什么时间修复？ P2P存储中的数据可用性问题 P2P存储中的数据安全性问题 敏感数据存储在不可信节点上！ 让恶意节点根本不可能窥探到本地存储的信息？ 让用户可以销毁掉已受到安全威胁的数据？ 本文研究什么，不研究什么 内容纲要 本研究概览及意义 研究内容 P2P环境动态性测量 数据冗余度评估及数据分发方案 节点永久离开的判别及数据修复 安全的数据编码方案 一个开放式的P2P存储服务平台 总结及未来工作 研究内容的结构 研究内容的结构 P2P动态性测量的需求 本文后续研究需要以实际系统特征为基础！ P2P领域严重缺乏测量数据(IPTPS’06) 相关研究不足 关心的指标不够，不能满足更广泛的分析需求例，没有测量单个节点在线时间长度 测量方法有缺陷，不可避免的结果不准确 缺乏长期动态性指标 单一环境测量，不具广泛性 P2P动态性测量 测量如下系统， Maze，代表广域网的桌面系统 微软企业内部桌面机，代表较稳定的桌面系统 PlanetLab，代表广域网协作服务器节点集 P2P动态性测量 基于爬虫测量法的缺陷 新注册用户的动态性 P2P动态性测量——结论 首次发现： 基于爬虫的测量低估了动态性 新注册的用户动态性极强 单个节点的在线时间和离线时间均服从指数分布 ………… 研究内容的结构 可用性分析模型及数据分发方案 问题： 要多少个副本屏蔽暂时错误？ 副本存放在哪些节点集上？ 研究目标： 通过精细的冗余度分析模型和更优的分发方案，达到用最少的冗余度屏蔽节点暂时错误，以节约系统写入带宽 可用性分析模型及数据分发方案 纠删码背景介绍 将数据分为m个碎片，编码为n个，其中任意m个可用来恢复原始数据。副本也是一种纠删码 目前分析和分发的方案 第一步：获取节点平均可用性AH 第二步：根据数据的目标可用性AD，评估需要的冗余度 第三步：随机分发冗余后的数据 目前方案的问题 随机分发方案不能满足目标可用性需求 时间相关可用性分析 组合概率模型 认为节点任意时间在线的概率不变 但，节点在线时间服从指数分布 故，分发后一段时间内，节点在线率高于均值 故，数据可用性要随时间变化，可能递减 时间相关可用性分析 本文定义数据可用性为AD(t)，是时间的函数 根据测量：节点在线和离线时间是指数分布 用马尔可夫过程分析AD(t) 时间相关可用性AD(t)的性质 可证明其单调递减 时间无穷时， AD(t)与AD相等 系统动态性强，或纠删码碎片多时， AD(t)与AD差距很大 在P2P系统中更适合使用AD(t) 基于节点动态性的数据分发 第一步，将MTTF（平均在线时间）相近且MTTR（平均离线时间）相近的节点组成存储节点组 第二步，根据数据目标可用性、时间限制和MTTF、MTTR参数，用本文分析模型计算需要的冗余度 第三步，在存储节点组中分发冗余碎片（副本） 基于节点动态性分发的效果 在PL、MS和Maze实验 短期可用性获极大优化 PL上1天可用性，可节约30%带宽 长期可用性也可获优化 Maze上对要求长期可用的