非结构化存储.docxVIP

非结构化文件存储 全国中心提供两种写处理操作，Create和Update，Create是第一次写入fileblock操作，Update是对fileblock的修改、追加、删除操作。 文件块创建（create） 功能描述：接收创建请求，在HDFS上创建新文件块。文件块仅包括文件块头信息。 业务流程： 接收文件块写请求 判断不存在该文件块，则创建新文件块。 流程图： 接口： writeEmptyFileBlockHeader(File file) 文件块更新（update） 功能描述：对已有文件进行更新操作。文件索引不变，内容追加到文件块尾部。 业务流程： 接收文件块更新请求， 获取原Metadata信息(版本，子文件数，加密等级等)， 生成新Metadata信息（版本+1）， 将新Metadata及文件内容追加到文件块尾部。 Metadata存入MongoDB 流程图： 接口： int update(int key, int fileType, File file, int fileIndex); int update(int key, int fileType, InputStream is, int fileIndex); int update(int key, int fileType, ByteBuffer buffer, int fileIndex); 文件块追加（append） 功能描述：接收文件ID及文件流，在现有块尾部追加新文件元数据及文件信息。 业务流程： 接收文件块追加写入请求， 生成Metadata信息， 将Metadata及文件内容追加到文件块尾部。 Metadata存入MongoDB 流程图： 接口： int append(int key, int fileType, int securityType, File file); int append(int key, int fileType, int securityType, InputStream is); int append(int key, int fileType, int securityType, ByteBuffer byteBuff); 文件块删除（delete） 功能描述：接收文件ID及页码，删除块中已有文件（标记删除）。 业务流程： 接收文件删除请求， 定位文件位置， 置flag位为1（即标记删除）， 删除MongoDB中该文件Metadata信息 流程图： 接口： int delete(int key, int fileIndex); 文件块调阅（read） 功能描述：根据索引号找到文件块，通过页码、版本信息定位偏移量找出影像文件通过socket返回给客户端。 业务流程： 接收请求， 获取Metadata， 读取数据。 流程图： 接口：ByteBuffer read(int key, int fileIndex, int version); 文件块metadata抽取加载 功能描述：抽取文件块Metadata信息，并存储Metadata信息到MongoDB中。 业务流程： 流程图： 接口： addNewMetadataIndex(String fileBlockName, MetadataIndexFile index); ListMetadataIndexFile getSortedMetadataIndex(String fileBlockName, int key); 存储策略 业务描述： 将省前置存储到期的文件块移到全国中心云上去。 业务流程图： 接口： 离线存储 部分离线 业务描述：对已有文件块进行部分离线。即只抽取块中部分数据进行离线。 业务流程： 接收离线请求 访问数据库，查询该块中待离线文件数 如果待离线数，超过伐值，则进行离线 访问数据库，获取待离线文件索引列表 抽取所有待离线文件数据合并到新文件块中 如果新文件块合并成功，则将新文件索引信息封装为Link信息填充到原文件块数据域 新旧索引关联关系存入数据库 修改原文索引状态为离线 如果新文件块合并失败，则记录文件索引。下次离线请求时再离线。 流程图： 离线调阅 业务描述：对已离线文件进程调阅 业务流程： 接收离线调阅请求， 查询数据库是否存在新旧索引对应关系。 如果存在新旧关系，则使用新索引进行离线调阅， 如果不存在关系，则使用原索引进行离线调阅。 流程图： 数据库 部分离线新旧索引对应关系表 元数据表