原创力文档- 5
- 0
- 约1.23万字
- 约 12页
- 2023-05-05 发布于四川
- 举报
本申请提出了一种CSV大文件快速写入到HDFS的方法，该方法具体包括：S1、获取CSV的大文件，并逐行读取所述CSV的大文件的数据内容；S2、将读取的每行所述数据内容拼接到字符串中，每行所述数据内容之间用特殊字符分割开；S3、判断当前读取的所述数据内容是否大于某一数值X，若大于则将所述数据内容写入小文件，清空当前的所述字符串，并记录生成的所述小文件的名称以及路径，否则继续；S4、判断所述数据内容是否读取结束，将未写入的剩余所述数据文件写入剩余小文件中；S5、创建HDFS文件，读取所述小文件的数据
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 CN 114297170 A
(43)申请公布日 2022.04.08
(21)申请号 202111625921.3
(22)申请日 2021.12.28
(71)申请人 厦门安胜网络科技有限公司
您可能关注的文档
- 含蔓越莓的益生菌组合物及其在抗幽门螺旋杆菌中的应用.pdf
- 一种环保型高效模切成型设备.pdf
- 一种肥胖基因检测评估系统及数据处理方法.pdf
- 一种基于机器学习的日志巡检方法、装置和电子设备.pdf
- 实时卫星钟差产品的评估方法、装置及电子设备.pdf
- 文件传输的方法、装置和电子设备.pdf
- 直流充电桩的测试系统以及直流充电桩系统.pdf
- 一种上下料一体式龙门架吊装装置.pdf
- 触摸点定位处理方法、装置、存储介质及设备.pdf
- 数据处理方法、装置、电子设备及计算机可读存储介质.pdf
- 宣贯培训(2026年)《NYT 4512-2025 非洲菊疫病抗性鉴定技术规程》.pptx
- 宣贯培训(2026年)《NYT 4514-2025木薯副产物综合利用导则》.pptx
- 宣贯培训(2026年)《NYT 4513-2025木薯全程机械化生产技术规范》.pptx
- 宣贯培训(2026年)《NYT 4470-2025全株玉米青贮质量分级》.pptx
- 宣贯培训(2026年)《NYT 4468-2025玉米供需平衡表编制规范》.pptx
- 宣贯培训(2026年)《NYT 4469-2025全株玉米青贮质量评定 综合指数法》.pptx
- 宣贯培训(2026年)《NYT 4474-2025东北地区玉米-大豆轮作生产技术规程》.pptx
- 宣贯培训(2026年)《NYT 4472-2025玉米耐盐碱鉴定评价技术规程》.pptx
- 宣贯培训(2026年)《NYT 4473-2025玉米抗旱性鉴定评价技术规程》.pptx
- 宣贯培训(2026年)《NYT 4478-2025甘薯收获技术规程》.pptx
文档评论（0）