CN112765119B Hdfs api的调用方法、装置、设备及存储介质 （深圳市茁壮网络股份有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN112765119B(45)授权公告日2025.07.04

(21)申请号201911001130.6

(22)申请日2019.10.21

(65)同一申请的已公布的文献号申请公布号CN112765119A

(43)申请公布日2021.05.07

(73)专利权人深圳市茁壮网络股份有限公司地址518004广东省深圳市莲塘高新技术

第一园113栋

(72)发明人徐佳宏陈华兵

(74)专利代理机构深圳市深佳知识产权代理事务所(普通合伙)44285

专利代理师常忠良

(51)Int.CI.

GO6F16/182(2019.01)

GO6F16/172(2019.01)

GO6F16/13(2019.01)

HO4L43/10(2022.01)

HO4L69/16(2022.01)

HO4L67/1097(2022.01)

(56)对比文件

CN105426483A,2016.03.23CN106776720A,2017.05.31CN106161503A,2016.11.23CN104052824A,2014.09.17审查员肖蕊

权利要求书2页说明书11页附图4页

(54)发明名称

HDFSAPI的调用方法、装置、设备及存储介质

(57)摘要

112765119BCN本发明的HDFSAPI的调用方法、装置、设备及存储介质，服务端采用多线程接收客户端发送的文件读取请求，利用接口对接模块对接HDFSAPI以获取目标文件标识发送至客户端，为分布式及高并发场景提供支持，以在高并发环境下对HDFSAPI实现高效调用；接收客户端发送的携带预设偏移值、预设数据块大小与目标文件标识的数据读取请求，据此获取目标文件的部分数据，并分配对应的内存共享缓冲区进行存储，按照排队后的顺序将存储的部分数据发送至客户端，并重新接收客户端发送的数据读取请求，直至接收到客户端发送的文件读取完毕指示，从而在HDFSAPI

112765119B

CN

SI01

采用多线程接收客户端发送的文件读取请求

S102

根据所述目标文件路径，利用接口对接模块从HDFS中获取目标文件信息

S103

将所述目标文件信息发送至所述客户端，所述目标文件信息中包括目标文件标识与目标文件大小

采用多线程接收所述客户端发送的数据读取请求

,所述数据读取请求中携带有预设偏移值、预设

数据块大小与所述目标文件标识

S105

根据所述预设偏移值、预设数据块大小与所述目

标文件标识，获取目标文件的部分数据，并分配

S106对应的内存共享缓冲区

S106

将所述目标文件的部分数据写入到所述内存共享缓冲区中进行排队

S107

按照排队后的顺序，将所述目标文件的部分数据发送至所述客户端

S108

的文件读取完毕指示

S109

关闭文件数据传输

CN112765119B权利要求书1/2页

2

1.一种HDFSAPI的调用方法，其特征在于，应用于服务端，所述调用方法包括：

采用多线程接收客户端发送的文件读取请求，所述文件读取请求中携带有目标文件路径；

获取预设的文件路径与文件标识之间映射关系；

根据所述目标文件路径与所述映射关系，利用接口对接模块从HDFS中获取目标文件标

识；

根据所述目标文件标识，获取目标文件大小；所述接口对接模块用于与HDFSAPI对接；

将目标文件信息发送至所述客户端，所述目标文件信息中包括所述目标文件标识与所述目标文件大小；

采用多线程接收所述客户端发送的数据读取请求，所述数据读取请求中携带有预设偏移值、预设数据块大小与所述目标文件标识；所述数据读取请求是所述客户端在接收到所述目标文件信息后，根据预设偏移值加预设数据块大小进行封装发出的，用于将目标文件按照预设数据块大小分割成部分数据；所述目标文件标识为虚拟文件标识VFID,所述VFID用于作为Hash算法中的Hash_key值以查找所述目标文件；

根据所述预设偏移值、预设数据块大小与所述目标文件标识，获取目标文件的部分数据，并分配对应的内存共享缓冲区；

将所述目标文件的部分数据写入到所述内存共享缓冲区中进行排队；

按照排队后的顺序，将所述目标文件的部分数据发送至所述客户端，并重新执行所述接收所述客户端发送的数据读取请求