CN115998591B 双目视差估计方法和视觉假体以及计算机可读存储介质 （微智医疗器械有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115998591B(45)授权公告日2025.07.08

(21)申请号202211521138.7

(22)申请日2022.11.30

(65)同一申请的已公布的文献号申请公布号CN115998591A

(43)申请公布日2023.04.25

(73)专利权人微智医疗器械有限公司

地址410100湖南省长沙市经济技术开发

区东六路南段77号金科亿达科技新城C2栋一层

(72)发明人田洪君廖场陈应俊

(74)专利代理机构北京景闻知识产权代理有限公司11742

专利代理师朱鸿雁

(51)Int.CI.

A61H3/06(2006.01)

A61F9/08(2006.01)

A61N1/36(2006.01)

GO6V10/75(2022.01)

GO6V10/82(2022.01)

GO6V10/80(2022.01)

GO6N3/0464(2023.01)

GO6N3/048(2023.01)

(56)对比文件

US2016317811A1,2016.11.03CN114842340A,2022.08.02

审查员陈兰西

权利要求书2页说明书7页附图2页

(54)发明名称

双目视差估计方法和视觉假体以及计算机可读存储介质

(57)摘要

CN115998591B本发明公开了一种双目视差估计方法和视觉假体以及计算机可读存储介质，其中，双目视差估计方法包括：获取双目相机采集的视觉假体佩戴者周围环境的第一图像和第二图像；对所述第一图像和所述第二图像进行深度特征提取和匹配融合，以获得特征图；根据所述特征图进行视差估算，以获得用于生成视觉假体的电刺激脉冲信号的目标视差图。将双目视差估计方法和视觉假体结合，可以有效提取盲人周围环境中的障

CN115998591B

获取双目相机采集的视觉假体佩戴者周围环境的第一图像和第二图像

对第一图像和所述第二图像进行深度特征提取和匹配融合，以获得特征图

根据特征图进行视差估算，以获得用于生成视觉假体的电刺激脉冲信号的目标视差图

S2

CN115998591B权利要求书1/2页

2

1.一种双目视差估计方法，其特征在于，包括：

获取双目相机采集的视觉假体佩戴者周围环境的第一图像和第二图像；

对所述第一图像和所述第二图像进行深度特征提取和匹配融合，以获得特征图，包括：以所述第一图像和所述第二图像作为输入，经MobileNet并利用共享权重的方式分别提取所述第一图像中的第一图像特征以及所述第二图像中的第二图像特征，按照一组预设的视差值分别将所述第一图像特征和所述第二图像特征进行特征匹配，获得多个匹配结果，将多个所述匹配结果进行融合，以获得一组特征图；

根据所述特征图进行视差估算，以获得用于生成视觉假体的电刺激脉冲信号的目标视差图，包括：将所述一组特征图进行序列化，获得序列化特征图，利用深度特征变换网络对输入输出序列的依赖项进行建模，以确定特征映射关系，根据所述特征映射关系经过特征映射将所述序列化特征图进行聚集，以估计初始视差图，以及，以所述一组特征图作为输入信息，利用多尺度空洞卷积金字塔模块，通过聚合不同尺寸和不同位置的环境信息构建匹配代价；通过3D卷积融合堆叠多个沙漏网络，调整所述匹配代价，通过权重估算网络的SoftMax层输出注意力权重，将所述初始视差图、所述注意力权重和所述特征图进行加权融合并输入全局信息优化网络，利用上下文时序关系进行连续帧优化所述初始视差图，以获得最终预测视差图，根据所述视觉假体所设定的分辨率对所述最终预测视差图进行下采样，获得所述目标视差图。

2.根据权利要求1所述的双目视差估计方法，其特征在于，在以所述第一图像和所述第二图像作为输入，经MobileNet并利用共享权重的方式分别提取所述第一图像中的第一图像特征以及所述第二图像中的第二图像特征之前，所述方法还包括：

对所述第一图像和所述第二图像进行畸变校正和立体校正，以使得校正后的第一图像和所述第二图像的匹配点在同一像素行上。

3.根据权利要求1所述的双目视差估计方法，其特征在于，利用上下文时序关系进行连续帧优化所述初始视差图，以获得最终预测视差图，包括：

对连续的K帧的第一图像和第二图像分别进行基于MobileNet的特征提取和连续帧之间的特征匹配；

基于Perspective