CN114429564B 一种基于双支路的高光谱和LiDAR数据协同分类方法 （哈尔滨理工大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114429564B(45)授权公告日2025.07.11

(21)申请号202210018148.2

(22)申请日2022.01.08

(65)同一申请的已公布的文献号申请公布号CN114429564A

(43)申请公布日2022.05.03

(73)专利权人哈尔滨理工大学

地址150080黑龙江省哈尔滨市南岗区学

府路52号哈尔滨理工大学

GO6N3/08(2023.01)

(56)对比文件

CN110210420A,2019.09.06审查员孙政

(72)发明人王爱丽邢爽姜开元刘城洋

(51)Int.CI.

GO6VGO6VGO6VGO6N

徐恺阳吴海滨

10/764(2022.01)

10/46(2022.01)

10/82(2022.01)3/0464(2023.01)

权利要求书2页说明书8页附图5页

(54)发明名称

一种基于双支路的高光谱和LiDAR数据协同分类方法

(57)摘要

CN114429564B本发明一种基于双支路的高光谱和LiADR数据协同分类方法属于图像分类技术领域；该方法依次执行以下步骤：输入已配准好的高光谱和LiDAR的.tif数据，将数据输入到双分支网络；使用剪枝方法对高光谱图像进行波段选择；分别对空间和光谱进行特征提取；采用空洞卷积对LiDAR分支进行特征提取；将高光谱图像分支和LiDAR数据分支所提取的特征进行拼接；最后使用softmax对拼接的特征进行分类，获得样本分类标签；本发明基于双支路的高光谱和LiADR数据协同分类方法，利用高光谱和LiDAR数据

CN114429564B

输入高光谱数据

剪枝波段选择

级联块光谱

级联块

空洞卷积

BNsSnish

空洞卷积

BN+Swish

2D主胶囊层

2D数字胶囊层

空洞卷积

NSish

空洞卷积

BN+Srish

1D主胶囊层

1D数字胶囊层

特征拼接分类结果

输入LiDAR数据

空洞卷积

Swish激活函数

空洞卷积

BN+LeakyReLU

空河卷积

BN+LeakyReLU□

空洞卷积

BN+LeakyReLU

空洞卷积BN+LeakyReLU

最大池化层

Swish激活函数

级联块

CN114429564B权利要求书1/2页

2

1.一种基于双支路的高光谱和LiDAR数据协同分类方法，其特征在于，包括以下步骤：

步骤a、输入已配准好的高光谱和LiDAR的.tif数据，将数据输入到双分支网络；

步骤b、使用剪枝方法对高光谱图像进行波段选择；

具体为：对高光谱分支，将整个HSI波段作为输入来训练原始网络参数；对于每个波段，将该分支网络中的所有参数进行综合以测量频带重要性；在新的波段意义因子约束下，对卷积神经网络进行剪枝，保留部分代表性权值，对小型子网络进行再训练，最终解决高光谱波段选择问题。

输入全波段HSI切片和网络结构，分为训练阶段和波段选择阶段，训练阶段：首先，随机初始化CNN模型参数。然后，用所有波段训练CNN模型，直到精度趋于平稳。波段选择阶段：首先对于每个波段，计算波段意义因子。然后计算最小波段意义因子的剪枝带及其对应的核矩阵。然后重新训练修剪过的子网络以恢复精度，通过去除修剪参数来细化网络。

计算波段意义因子，设B表示HSI波段的数量，H/W表示输入切片的高度/宽度，N表示输出特征图的数量。第一卷积层将输入的HSI切片X∈RB×H×W转换为特征映射，这是通过采用N×B的2D核K,,∈R×来实现的，在HSI切片上，其可表示为：

其中，*表示卷积操作，X;表示第j波段图像，Y是由第一层生成的特征映射。所有核构成核矩阵K∈RN×B×K×K。因为带有更小的核权值的波段往往会产生与其他波段相比具有弱激活的特征图，将HSI中j波段的波段意义因子定义为其对应的核矩阵的绝对值之和，公式如下：

波段意义因子反映了输入频带对输出特征图的影响。为了实现波段选择，将波段有效因子最小的波段及其对应的核矩阵设置为零，并将其标记为剪枝参数。这些修剪后的参数在反向传播步骤中不会得到更新。在修剪波段和内核之后，需要通过重新训练网络来补偿性能下降。最后，可以通过去除这些剪枝参数来细化网络，得到选定的波段和紧凑的模型。

步骤c、