CN120012164B 一种多模态行人行为监测的隐私保护方法 （湖南工商大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN120012164B(45)授权公告日2025.07.04

(21)申请号202510481109.X

(22)申请日2025.04.17

(65)同一申请的已公布的文献号申请公布号CN120012164A

(43)申请公布日2025.05.16

(73)专利权人湖南工商大学

地址410000湖南省长沙市岳麓区岳麓大

道569号

(72)发明人魏建好周渟森刘利枚周新民张锦李宗耀龙依玲

(74)专利代理机构湖南正则奇美专利代理事务

所(普通合伙)43105专利代理师肖琦

(51)Int.CI.

GO6F21/62(2013.01)

GO6V20/52(2022.01)

GO6V40/10(2022.01)

GO6V10/62(2022.01)

GO6V10/82(2022.01)

GO6V10/80(2022.01)

GO6V10/774(2022.01)

GO6N3/0455(2023.01)

GO6N3/0464(2023.01)

(56)对比文件

CA3097655A1,2021.04.30CN118965444A,2024.11.15审查员刘燕

权利要求书2页说明书22页附图4页

(54)发明名称

步骤一；基于时空混合Mamba

步骤一；基于时空混合Mamba的多模态行人数据融合方法，提取各个模态行人数据特征，进行多模态时空特征融合

步骤二：基于自适应特征密度感知的差分隐私保护方法，对融合特征进行拉普拉斯噪声扰动，保护多模态时空特征的相关性隐私

步骤三：基于双流动态Transformer的多模态行人行为预训练方法，平衡稀疏噪声特征和密集噪声特征，提高模型预训练精度

步骤四：面向自适应时空相关性的稀疏梯度隐私保护方法，保护模型梯度的时空相关性隐私

步骤五：基于动态学习率的多模态行人行为监测方法，动态更新全局模型参数，进行行人行为监测

(57)摘要

本发明提供了一种多模态行人行为监测的隐私保护方法，涉及信息安全领域，包括以下步骤：步骤一：基于时空混合Mamba的多模态行人数据融合方法，进行多模态行人时空特征融合；步骤二：基于自适应特征密度感知的差分隐私保护方法，有效保护融合特征；步骤三：基于双流动态Transformer的多模态行人行为预训练方法，提高模型预训练精度；步骤四：面向自适应时空相关性的稀疏梯度隐私保护方法，确保模型安全性；步骤五：基于动态学习率的多模态行人行为监测方法，进行高效监测。本发明实现了高准确的行人行为监测，并基于差分隐私性质，满足

CN120012164B∈=(E?+∈

CN120012164B

CN120012164B权利要求书1/2页

2

1.一种多模态行人行为监测的隐私保护方法，其特征在于，包括以下步骤：

步骤一：基于时空混合Mamba的多模态行人数据融合方法，提取各个模态行人数据特征，进行多模态时空特征融合；

步骤二：基于自适应特征密度感知的差分隐私保护方法，对融合特征进行拉普拉斯噪声扰动，保护多模态时空特征的相关性隐私；

步骤三：基于双流动态Transformer的多模态行人行为预训练方法，平衡稀疏噪声特征和密集噪声特征，提高模型预训练精度；

步骤四：面向自适应时空相关性的稀疏梯度隐私保护方法，保护模型梯度的时空相关性隐私；

所述步骤四，包括以下步骤：

步骤4.1:在云服务器中选择一个子集，计算每个边缘节点在t轮训练中使用样本s计算出的原始梯度，通过误差补偿修正原始梯度，得到修正后的梯度；

步骤4.2:计算每个边缘节点的平均梯度，并根据上一轮的平均梯度计算时空相关性，动态调整Top-K大小；

步骤4.3:通过Top-K算子对每个边缘节点的平均梯度进行稀疏化，得到稀疏梯度，并记录梯度差值作为新的误差补偿；

步骤4.4:对于稀疏梯度的每个分量，边缘节点采样两个变量，然后通过量化步长进行梯度量化，边缘节点将量化梯度发送至云服务器；

步骤五：基于动态学习率的多模态行人行为监测方法，动态更新全局模型参数，进行行人行为监测；

所述步骤五，包括以下步骤：

步骤5.1:云服务器接收到所有边