原创力文档- 2
- 0
- 约2.67万字
- 约 21页
- 2023-12-27 发布于四川
- 举报
本申请涉及数据处理领域，具体涉及一种文件合并方法及装置。该方法包括：获取Spark应用的应用日志，所述应用日志包括所述多个Spark任务中每个Spark任务调用所述多个文件中的文件而产生的调用信息，其中，所述调用信息包括所述Spark任务调用的文件数据的数据量，所述Spark任务调用的文件数据是所述Spark任务调用到的文件中的全部或部分数据；基于所述多个Spark任务的所述调用信息，得到所述多个文件的数据量；基于所述多个文件的数据量，将所述多个文件中的至少两个文件合并为一个文件。该方法可以高效
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号CN117290307A
(43)申请公布日2023.12.26
(21)申请号202210682456.5
(22)申请日2022.06.16
(71)申请人华为云计算技术有限公司
地址5
文档评论（0）