CN118506020A 面向体素的尺度感知特征提取架构、应用及3d目标检测 （国科大杭州高等研究院）.pdfVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN118506020A

(43)申请公布日2024.08.16

(21)申请号202410957486.1G06V10/25(2022.01)

(22)申请日2024.07.17

(71)申请人国科大杭州高等研究院

地址310024浙江省杭州市西湖区象山支

弄1号

(72)发明人亓洪兴熊毅刘世界何欣

王建宇

(74)专利代理机构浙江杭州金通专利事务所有

限公司33100

专利代理师邓世凤

(51)Int.Cl.

G06V10/44(2022.01)

G06V20/64(2022.01)

G06N3/0455(2023.01)

G06N3/0464(2023.01)

权利要求书2页说明书7页附图3页

(54)发明名称

面向体素的尺度感知特征提取架构、应用及

3D目标检测

(57)摘要

本发明提供的面向体素的尺度感知特征提

取架构、应用及3D目标检测，将CNN和

Transformer的混合使用，CNN中的卷积模块VFPM

放置在Transformer模块DSAT之前，通过VFPM进

行特征提取后，执行数据格式转换器以将卷积运

算所需的稀疏卷积张量转换为体素变换器运算

所需的稀疏张量，对空体素经过稀疏体素模块实

现下采样，再通过DSAT模块后，通过反向数据格

式转换器与下一个VFPM模块连接，实现

Transformer能够与CNN的信息流进行有效的沟

通。本发明为处理大规模、复杂和多变的点云数

A据提供了一个有效的解决方案。

0

2

0

6

0

5

8

1

1

N

C

CN118506020A权利要求书1/2页

1.面向体素的尺度感知特征提取架构，其特征在于：所述架构将CNN和Transformer的

混合使用，CNN中的卷积模块VFPM放置在Transformer模块DSAT之前，通过VFPM进行特征提

取后，执行数据格式转换器以将卷积运算所需的稀疏卷积张量转换为体素变换器运算所需

的稀疏张量，对空体素经过稀疏体素模块实现下采样，再通过DSAT模块后，通过反向数据格

式转换器与下一个VFPM模块连接，实现Transformer与CNN的信息流进行有效的沟通；

其中，

VFPM采用子流形卷积作为其基本模块，仅对非空体素进行操作，在

VFPM

中，通

过将稀疏体素张量分组来执行子流形卷积运算，处理三维空间中的稀疏数据；

在DSAT中，多尺度扩张注意力对非空体素进行操作，通过采用不同的扩张率来执行局

部和稀疏的图像块交互，以保证局部体素的前提下实现多尺度交互。

2.如权利要求1所述的面向体素的尺度感知特征提取架构，其特征在于：在处理体素化

后得到的稀疏卷积张量格式的体素，通过1×1×1子流形卷积运算进行特征变换，此过程中

不改变其特征维度，包括以下步骤：

数据格式转换：使用数据格式转换器将体素特征转化为稀疏卷积张量以供后续操作；

特征分割：将稀疏卷积张量的特征分成四个相等的部分，记为x，其中i∈{1,

2,

3,

4}；

i

子流行卷积运算：对每个独立的稀疏卷积张量x进行子流形卷积运算，对x进行3×3×

i1

3子流形卷积运