云计算workshop.pptVIP

P3：海量学习资源的存储与管理 下一代e-Learning数据存储关键问题 支持计算 快速获取 可靠访问 易于扩展 保证大规模资源访问的速度 确保资源的完整性和可达性 提高海量资源分析处理效率 采用低成本设备易扩展规模 基本原则：基于Hadoop分布式文件系统，为知识获取与服务提供存储服务；充分发挥云平台大规模、低成本、低功耗、虚拟化、按需供应、可扩展性好的优势。 云存储在e-Learning领域的应用 基本原则 云存储要为e-Learning服务奠定基础，充分发挥其大规模、低成本、低功耗、虚拟化、按需供应、可扩展性等优势 基本问题 云存储本身是否有尚未解决的问题？ e-Learning领域的学习资源是否能够高效地存储在云存储平台？ 是否能够针对e-Learning领域学习资源的特点和访问特点，提高文件的读写效率？ 基本平台 分布式文件系统 基于云计算的海量学习资源存储技术 拟解决的科学问题 基于虚拟化的HDFS集群管理技术 基于文件关联关系的预取技术 基于重复数据辨别的副本管理技术 海量小文件的通用存储技术 基于HDFS的流媒体文件存储和点播技术 自适应的HDFS Client Pool的实现技术 P4：知识构建与集成搜索 使用行为日志分析 索引构建 元数据抽取 知识元素抽取与融合 概念 知识元 文本文件 0. 项目背景 问题背景及相关技术的演变趋势 e-Learning面临的新挑战 基本架构与关键技术 云平台搭建 下一步的工作 报告提纲 云计算平台部署情况 云计算平台部署情况列表 硬 件 数目(台) 用 途 IBM JS12 Blade Server 1 TPM Server节点 1 ITM Server节点 1 WXD 管理节点 1 WXD路由（ODR）节点 IBM HS21 Blade Server 8 ESXi虚拟机管理系统 IBM x3650 1 Hadoop Namenode 存储管理节点 1 MapReduce JobTracker计算控制节点 IBM x3610 10 Hadoop Datanode 数据存储节点 12台Blade + 12台 PC Server 构成平台硬件基础 云计算平台部署情况 Tivoli Provision Manager 流媒体点播的负载均衡，资源文件分发，文件调度 辅助群组交互的请求分发，实现动态更新与部署 Tivoli Monitor 采集虚拟机与物理机的实时运行状态参数，提供负载均衡依据 WebSphere Extended Deployment 策略的定制与实施，实现对动态集群的管理功能 路由用户请求，实现Http请求的负载均衡功能 ESXi 实现虚拟机的构建与管理功能 Hadoop 提供分布式文件系统，用于资源存储 提供分布式数据密集计算框架，为大规模机器学习与检索提供支持 云计算平台软件环境 0. 项目背景 问题背景及相关技术的演变趋势 e-Learning面临的新挑战 基本架构与关键技术 云平台搭建 下一步的工作 报告提纲 基本思路： 在教育公益性原则下，采用“对等、开放、共享、协作”的思路，并借助云计算与三网融合技术，探索一种具有可持续发展的、开放的、支持云服务等特点的开放教育服务新模式。 模式特点： 可持续发展的：平衡“学习者-运营方-开发者”三者间的利益关系，实现“资源供给-教学服务-学习消费”价值链的良性循环 开放：1. 开放的资源标准；2. 借助三网融合实现灵活的准入机制 云服务：基于PaaS 、DaaS、SaaS 三种模式，将平台云化，实现教育服务的多元化与定制化 开放教育运营服务模式的探索 开放教育服务运营 第三方开发机构 第三方服务开发者 第三方资源开发者 合作 机构 最终将运营平台“云化”，实现平台即服务(PaaS)，完成“学习者”与“资源(服务)开发者”的对接 PaaS DaaS SaaS * * * * * * * * * * * * * * * “开放，对等，共享，全球协作” 引自 《维基经济学：大规模协作如何改变一切》 图1，学习者利益与开发者利益的对接，使开发者直接考虑用户需求，一方面提高了开发者的积极性，最终提高用户满意度，另一方面，将搜集用户需求的任务转嫁给了开发者，利于集思广益，也解放了运营方，使其可更加集中于平台本身的功能性能完善。 （蓝色线条为服务的交付流程， 绿色线条为 服务费用的支付流程） 图2，开发者利用PaaS，进行多元化与定制化的服务开发，并通过SaaS，DaaS，对用户提供服务 （蓝色小人 为 开发者 黄色小人 为用户） 其它参考 IBM把“服务科学”称之为“SSME”——Services Sciences, Manag