原创力文档- 2
- 0
- 约2.67万字
- 约 21页
- 2023-12-27 发布于四川
- 举报
本申请涉及数据处理领域，具体涉及一种文件合并方法及装置。该方法包括：获取Spark应用的应用日志，所述应用日志包括所述多个Spark任务中每个Spark任务调用所述多个文件中的文件而产生的调用信息，其中，所述调用信息包括所述Spark任务调用的文件数据的数据量，所述Spark任务调用的文件数据是所述Spark任务调用到的文件中的全部或部分数据；基于所述多个Spark任务的所述调用信息，得到所述多个文件的数据量；基于所述多个文件的数据量，将所述多个文件中的至少两个文件合并为一个文件。该方法可以高效
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号CN117290307A
(43)申请公布日2023.12.26
(21)申请号202210682456.5
(22)申请日2022.06.16
(71)申请人华为云计算技术有限公司
地址5
您可能关注的文档
- 一种含氟聚醚的制备方法.pdf
- 控制跨设备应用的方法以及电子设备.pdf
- 任务执行方法、装置、计算节点、HPC集群.pdf
- 通信方法和装置.pdf
- 天线组件及电子设备.pdf
- 一种具有夜间警示功能的潮汐车道隔离墩.pdf
- 一种页面异常检测方法、装置、电子设备和存储介质.pdf
- 路由器入侵检测方法、装置、设备及存储介质.pdf
- 一种电磁耦合能量传输系统.pdf
- 网络资源管理方法、装置及系统.pdf
- 计量规程规范 JJF 2476-2026腹膜透析机校准规范.pdf
- 《JJF 2465-2026天然气在线硫化氢气体检测仪校准规范》.pdf
- JJF 1111-2026调制度测量仪校准规范.pdf
- 《JJF 1111-2026调制度测量仪校准规范》.pdf
- 计量规程规范 JJF 2471-2026实时荧光定量聚合酶链反应核酸检测系统分析性能确认和验证技术规范.pdf
- JJF 2471-2026实时荧光定量聚合酶链反应核酸检测系统分析性能确认和验证技术规范.pdf
- 《JJF 2471-2026实时荧光定量聚合酶链反应核酸检测系统分析性能确认和验证技术规范》.pdf
- 《JJF 2470-2026食用油品质检测仪校准规范》.pdf
- JJF 2470-2026食用油品质检测仪校准规范.pdf
- 计量规程规范 JJF 2470-2026食用油品质检测仪校准规范.pdf
文档评论（0）