CN116934971A 一种基于多模态预训练的建模过程与3d模型数据对齐方法 （上海设序科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN116934971A(43)申请公布日2023.10.24

(21)申请号202310922519.4

(22)申请日2023.07.26

(71)申请人上海设序科技有限公司

地址200245上海市闵行区昆阳路1508号2

幢2层

(72)发明人过晓蒙

(74)专利代理机构南京知识律师事务所32207专利代理师李湘群

(51)Int.CI.

GO6T17/00(2006.01)

GO6V10/77(2022.01)

GO6V10/774(2022.01)

GO6V10/80(2022.01)

权利要求书1页说明书6页附图1页

(54)发明名称

一种基于多模态预训练的建模过程与3D模型数据对齐方法

(57)摘要

CN116934971A本发明公开了一种基于多模态预训练的建模过程与3D模型数据对齐方法，包括以下步骤：获取建模文件数据集，提取其中的建模特征树与对应的3D模型数据，并划分为训练集与测试集；使用预训练好的几何语义提取模型获取3D模型的几何语义表征；使用预训练好的建模语义提取模型获取建模特征树的建模语义表征；使用两种语义表征并采用对比学习的方式，构建模态融合网络正负样例对训练数据，训练模态融合网络，引入对比损失函数，对模型进行联合训练直至收敛。本发明可以在高维表征空间内与模型的3D形体特征对齐，之后可以用于其他下游任务。本发明实现零件从建模表征空间到模型表征空间的

CN116934971A

几何数据几何语义表征

几何数据

Sw

建模特征队列建模语义表征

建模特征队列

hg

CN116934971A权利要求书1/1页

2

1.一种基于多模态预训练的建模过程与3D模型数据对齐方法，其特征在于，包括以下步骤：

1)获取建模文件数据集，提取其中的建模特征树与对应的3D模型数据，并划分为训练集与测试集；

2)使用预训练好的几何语义提取模型获取3D模型的几何语义表征；

3)使用预训练好的建模语义提取模型获取建模特征树的建模语义表征；

4)使用步骤2)与3)中的两种语义表征并采用对比学习的方式，构建模态融合网络正负样例对训练数据，训练模态融合网络，引入对比损失函数，对模型进行联合训练直至收敛。

2.根据权利要求1所述的一种基于多模态预训练的建模过程与3D模型数据对齐方法，其特征在于，所述步骤2)具体步骤如下：

2.1)通过建模文件与建模软件输出STEP通用3D模型文件；

2.2)提取STEP通用3D模型文件中的拓扑数据与曲面信息；

2.3)将2.2)中提及的拓扑数据与曲面信息输入到与训练好的几何语义提取模型中，获得3D模型的几何语义表征。

3.根据权利要求1所述的一种基于多模态预训练的建模过程与3D模型数据对齐方法，其特征在于，所述步骤3)具体步骤如下：

3.1)通过预处理将建模文件处理为建模特征文本队列；

3.2)使用预训练好的建模语义提取模型获得队列中每个建模特征的词向量；

3.3)构建建模语义提取模型，将队列中的所有词向量融合为一个建模语义表征。

4.根据权利要求1所述的一种基于多模态预训练的建模过程与3D模型数据对齐方法，其特征在于，所述步骤4)具体步骤如下：

4.1)根据建模语义提取模型f.constrruction(*),获取输入特征文本队列F的向量表示h?=fconstruction(F?),同时根据几何数据S,获得的几何语义表征表示为g?=fgeomery(S);

4.2)通过线性映射层，将h,与g:都应射到相同的嵌入特征维度D。,h=h;Wconstruction∈RDe

9°=giWgeometry∈RDe

4.3)一个批次中将成对的h与9°作为正样例对为{h{,gi+},其他向量作为负样例{h?,g2≠73;

4.4)使用余弦相似度来衡量建模语义表征和几何语义表征描述的差异：

sim(h{,g{)=h{,gi〉

其中·,·表示余弦相似度，该模型的损失函数为：

T是可调节的

Temperature参数，N为同一批次中全部样例数量，sim(h{,g*+)表示正样例对{he,gi*+}之间的相似度，而sim(h{,gk)表示任意样例对{he,gk*}之间的相似度。

CN11693497