存储访问层上课讲义.pptx免费

存储访问层朱妤晴，衣国垒，杨义繁，李旭嘉模块关系图集中开发任务目标存储访问层任务目标改善底层数据丢失、不一致的问题提高可用性?系统不宕机抽象出简单统一的存储访问接口，提高易用性实现以下存储性能目标局域网内，普通单节点数据传输吞吐量5MB/s给定单用户50kB/s的数据吞吐量，局域网内普通单节点可承受并发用户100个系统承载100TB以上数据主要工作提供抽象的存储访问系统以流的形式上传和下载文件上传和下载本机文件、文件夹将KV store的烦琐调用接口简化额外提供跨CF删除整行的功能提供了存储层的统一配置文件将MapReduce迁移到抽象存储访问系统基于抽象存储访问系统 抽象出统一的MapReduce接口解决了MapReduce在抽象存储系统上引发的数据迁移问题目前系统只有Master节点依赖于HDFS抽象存储层接口StorageInterface提供6种存储对象的统一增删改查接口以流的形式上传和下载对象上传和下载本地文件、文件夹…集中开发任务进度安排1、细化访问接口；2、设计数据模型；3、配置开发环境；4、熟悉数据存储接口；5、完成数据访问ID设计1、实现建表、建CF功能；2、确定文件系统结构；3、实现简单文件的上传、下载；4、接口讨论与区分界定5、搭建MapReduce及Cassandra的合作环境1、UploadStream的格式确定和设计；2、DownloadStream的格