CN120236155A 基于多模态数据处理的多目标商品识别方法、装置及系统 （深圳友朋智能商业科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120236155A(43)申请公布日2025.07.01

(21)申请号202510728593.1

(22)申请日2025.06.03

(71)申请人深圳友朋智能商业科技有限公司地址518000广东省深圳市宝安区航城街

道三围社区索佳科技园A栋A103

(72)发明人邱俊波黄超群陈俏锋

(74)专利代理机构成都恪睿信专利代理事务所(普通合伙)51303

专利代理师陈兴强

(51)Int.CI.

GO6V10/764(2022.01)

GO6V10/80(2022.01)

GO6V20/40(2022.01)

GO6V20/62(2022.01)

GO6V10/30(2022.01)

GO6V10/32(2022.01)

GO6V10/22(2022.01)

G06T7/11(2017.01)

G06T7/70(2017.01)

GO6V10/774(2022.01)GO6V10/82(2022.01)GO6N3/0464(2023.01)

GO6N3/08(2023.01)

权利要求书3页说明书17页附图6页

(54)发明名称

基于多模态数据处理的多目标商品识别方法、装置及系统

(57)摘要

CN120236155A本发明涉及智能售货技术领域，解决了现有技术中无法在多目标场景下准确地进行商品识别的问题，提供了一种基于多模态数据处理的多目标商品识别方法、装置及系统。该方法包括：获取商品交易场景下多帧实时图像；对实时图像进行预处理和标签信息提取，确定目标图像和商品标签对应的文字信息；对目标图像进行实例分割，确定商品位置信息；对目标图像进行特征提取，确定商品图像特征信息；根据预收集的智能售货场景下的多源私有化数据，对开源多模态视觉语言模型进行微调与优化处理，得到多模态大模型；将商品图像特征信息和文字信息输入多模

CN120236155A

识别。

获取商品交易场景下的实时视频数据，将所述实时视频数据分解为多顿实时图像

对所述实时图像进行预处理和标签信息提取，确定预处理后的目标图像和商标标签对应的文字信息

对所述目标图像进行实例分割，确定商品位置信息

根据所述商品位置信息，对所述目标图像进行特征提取，确定商品图像特征信息

根据预收集的智能售货场景下的多源私有化数据，对开源多模态

视觉语言模型进行微调与优化处理，得到用于商品识别的多模态

大模型

将所述商品图像特征信息和所述文字信息输入预训练的多模态大

模型中进行信息融合，根据融合特征

信息，确定商品目标识别结果

CN120236155A权利要求书1/3页

2

1.一种基于多模态数据处理的多目标商品识别方法，其特征在于，所述方法包括：

获取商品交易场景下的实时视频数据，将所述实时视频数据分解为多帧实时图像；

对所述实时图像进行预处理和标签信息提取，确定预处理后的目标图像和商品标签对应的文字信息；

对所述目标图像进行实例分割，确定商品位置信息；

根据所述商品位置信息，对所述目标图像进行特征提取，确定商品图像特征信息；

根据预收集的智能售货场景下的多源私有化数据，对开源多模态视觉语言模型进行微调与优化处理，得到用于商品识别的多模态大模型；

将所述商品图像特征信息和所述文字信息输入所述多模态大模型中进行信息融合，根据融合特征信息，确定商品目标识别结果。

2.根据权利要求1所述的基于多模态数据处理的多目标商品识别方法，其特征在于，所述对所述实时图像进行预处理和标签信息提取，确定预处理后的目标图像和商品标签对应的文字信息包括：

对所述实时图像进行尺寸调整和降噪处理，确定所述目标图像；

对所述目标图像进行目标检测，确定商品区域位置信息；

根据所述商品区域位置信息，通过光学字符识别技术对商品区域中的商品标签进行处理，确定所述文字信息。

3.根据权利要求2所述的基于多模态数据处理的多目标商品识别方法，其特征在于，所述对所述目标图像进行实例分割，确定商品位置信息包括：

根据所述商品区域位置信息，通过卷积神经网络提取商品区域