CN120259435A 一种自适应视觉力觉融合的显微定位控制方法及系统 （南昌工程学院）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120259435A(43)申请公布日2025.07.04

(21)申请号202510742094.8

(22)申请日2025.06.05

(71)申请人南昌工程学院

地址330000江西省南昌市高新技术开发

区天祥大道289号

(72)发明人祝志芳宋德鑫王璐娄志韩斌刘尉高苏鹏飞卢佳微姚宇轩丁汉彬王新博谢慧娴

(74)专利代理机构南昌青远专利代理事务所(普通合伙)36123

专利代理师杨建波

(51)Int.CI.

G06TG06T

G06T

5/80(2024.01)

5/70(2024.01)

5/73(2024.01)

GO6T7/73(2017.01)

GO6T7/00(2017.01)

GO6T7/33(2017.01)

权利要求书8页说明书18页附图2页

(54)发明名称

一种自适应视觉力觉融合的显微定位控制方法及系统

(57)摘要

CN120259435A本发明提出了一种自适应视觉力觉融合的显微定位控制方法及系统，其中：控制方法包括以下步骤：图像捕获；动态时间戳对齐；空间坐标系非线性映射；视觉数据增强与特征提取；力觉信号动态校准；多模态数据时空配准；基于注意力机制的特征融合；融合位姿生成与误差修正；强化学习参数实时优化；模糊滑模抗扰控制指令生成；动态阻抗保护与实时回撤；故障恢复；性能标定。本发明通过双线性插值时间戳对齐与基于深度学习的非线性坐标映射，消除视觉与力觉数据的时空异步性和量纲异构性，实现亚微米级的

CN120259435A

图像捕捉

图像捕捉

强化学习参数实时优化

s2

动态时间戳对齐

模糊滑模抗扰控制指令生成

s3

空间坐标系非线性映射

动态阻抗与实时回撤

视觉数据增强与特征提取

s12

s5

力觉信号动态校准

s13

s6

多模态数据时空配准

s7

基于注意力机制的特征融合

融合位姿生成与误差修正

性能标定

故障恢复

s10

s4

s8

CN120259435A权利要求书1/8页

2

1.一种自适应视觉力觉融合的显微定位控制方法，其特征在于：包括以下步骤：

S1),图像捕获：通过高帧率显微摄像头实时捕获操作区域图像，通过边缘检测算子提取目标轮廓，输出目标位姿(xp,y,θ)通过MEMS力觉传感器阵列实时获取操作末端的六维力、力矩信号(F?,Fy,F?,Mx,My,M?);

S2),动态时间戳对齐：基于视觉帧时间戳(t?)和力觉采样时间戳(t),通过双线性插值函数实现异步数据对齐；

S3),空间坐标系非线性映射：建立视觉像素坐标系(x,yo)到力觉笛卡尔坐标系(xp,y,z)的映射模型；

S4),视觉数据增强与特征提取：对原始图像(Iram)进行高斯滤波与拉普拉斯锐化，增强目标边缘特征；

S5),力觉信号动态校准：根据环境温度T和机械臂位姿(x,y),实时补偿MEMS力觉传感器的零点漂移；

S6),多模态数据时空配准：将步骤S3输出的坐标映射结果与步骤S5校准后的力觉信号进行时空配准，生成同步数据集；

S7):基于注意力机制的特征融合：通过混合深度学习模型动态分配视觉与力觉权重；

S8),融合位姿生成与误差修正：输出融合位姿(XYfusionYusion);

S9),强化学习参数实时优化：定义状态空间s=[ep,ej,d],通过ActorCritic网络输出控制参数增量；

S10),模糊滑模抗扰控制指令生成设计滑模面；

S11),动态阻抗保护与实时回撤：根据环境刚度(Kenv)动态调整阻抗参数。

2.根据权利要求1所述的自适应视觉力觉融合的显微定位控制方法，其特征在于：

S2)动态时间戳对齐：基于视觉帧时间戳(tv)和力觉采样时间戳(t),通过双线性插值函数实现异步数据对齐：

其中4tcaizb为标定补偿项；fo为视觉系统的采样频率；

f为力觉系统的采样频率；

talign表示动态时间戳对齐后的统一时间戳；

标定补偿项(△tcalib)通过滑动窗口方差最小化算法优化：

P(t):第k个滑动窗口样本点的视觉端位姿向量；

B(+At):第k个力觉端采样点，时间滞后At后对应的位姿向量；

1.12:欧几里得范数平方，用于最小化视觉与力觉之间的时间对齐误差；

argmin:表