1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 行业资料
  5. 国内专利

基于HDFS的小文件处理方法及装置.pdfVIP

  • 1
  • 0
  • 约2.04万字
  • 约 19页
  • 2023-04-21 发布于四川
  • 举报

基于HDFS的小文件处理方法及装置.pdf

    本申请提供了一种基于HDFS的小文件处理方法及装置，可用于金融领域或其他领域，该方法包括：获取目标文本文件，该目标文本文件包括：目标数据库集群对应的多条数据表记录，每条数据表记录包括：唯一对应的数据表的数据库名称和数据表名称，不同数据表记录对应的数据表不同，在每个数据表对应的HDFS中包含有至少一个小文件；根据预设的HQL语句模板、每个数据表对应的数据库名称和数据表名称，得到该数据表对应的小文件合并语句。本申请能够缓解HDFS存储压力，提高小文件合并的效率，进而能够提高数据库集群运行效率。

    (19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 113901017 A (43)申请公布日 2022.01.07 (21)申请号 202111271659.7 (22)申请日 2021.10.29 (71)申请人 中国工商银行股份有限公司

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >