论文学习笔记 – Classifification of Hyperspectral and LiDAR Data Using Coupled CNNs

Classifification of Hyperspectral and LiDAR Data Using Coupled CNNs

来源:IEEE TGRS 2020

下载://arxiv.org/abs/2002.01144

Abstract

本篇论文的主要工作就是基于信息融合的分类任务。

在这篇论文中,作者通过使用两个耦合的CNN,提出一种融合高光谱和LiDAR数据的框架。设计一个CNN从高光谱数据中了解光谱空间特征,另一个则用于捕获来自LiDAR数据。它们都由三个卷积层组成,最后两个卷积层通过参数共享策略。在融合阶段,特征级融合和决策级融合方法同时用于集成这些充足的异质特征。对于特征级融合,评估了三种不同的融合策略,包括串联策略,最大化策略和求和策略。对于决策级融合,加权采用求和策略,确定权重通过每个输出的分类精度。

提出的模型根据在美国休斯顿获得的城市数据集进行评估,还有在意大利Trento农村地区捕获的数据。在休斯顿数据中,作者的模型可以达到新记录,整体精度为96.03%。在Trento数据上,其总体精度为99.12%。这些结果充分证明了作者提出的模型的有效性。

INTRODUCTION

文中模型的数据源是两幅异质图像——高光谱图像(HSI)和激光雷达(LiDAR)图像。

HSI图像相比MSI具有更丰富的光谱信息,但是对于同一材质的物体区分性较弱,他们具有相似的光谱回应。不同于HSI,LiDAR可以记录物体的海拔信息,能够为HSI提供补充,二者优势互补。

例如:区域中的楼房和道路由同样的混凝土结构组成,HSI图像很难区分二者之间的差别,但是LiDAR图像则可以准确区分出楼房和道路,因为他们有不同的高度。相反,LiDAR无法区分两条用不同材料(沥青和混凝土)组成的道路,而可以用HSI。因此,融合高光谱和LiDAR数据是一种很有前途的方案,其性能已经得到了验证。

METHODOLOGY

作者提出的模型主要包括两个网络:用于光谱空间特征学习的HSI网络和用于海拔特征学习的LiDAR网络。
它们每个都包含一个输入模块,一个特征学习模块和融合模块,如上图所示。在特征学习模块中,输入的HSI图像和LiDAR图像分别通过一个三层的网络结构进行特征提取,三层网络结构中的后两个卷积层权值共享。权值共享能够减少网络参数,而且有利于两个分支统一优化。特征提取后则进入信息的融合模块,在融合模块中,构造了三个分类器,每个CNN都有一个输出层,它们的融合特征也具有输出层。

如图2所示,两组图像特征首先通过特征级融合 \(F\) 获得特征级融合特征\(F3=F1+F2\) 或者 \(F3=max(F1,F2)\),特征级融合可以采用逐元素相加或者Max函数。然后对上述 \(F1,F2,F3\) 分别以下操作:

\[y1=softmax(W1F1), y2=softmax(W2F2), y3=softmax(W3F3), y1,y2,y3\in R^{c*1}
\]

然后文中使用决策级融合 \(D\) 获得最终的融合特征:\(O=F1\odot y1+F2\odot y2+F3\odot y3\)\(\odot\) 为加权操作。

然后 \(L1\) 表示HSI图像(\(y1\))的交叉熵损失,\(L2\)表示LiDAR图像(\(y2\))的交叉熵损失。\(L3\)表示融合信息(\(O\))的交叉熵损失。所以最终的损失函数为:

\[L=\lambda1L1+\lambda2L2+L3
\]

EXPERIMENTS

CONCLUSIONS

在将来需要探索更强大的邻近提取方法,因为当前的分类图仍然存在过度平滑的问题。

Tags: