关注双利合谱，聚焦行业运用，探索高光谱遥感发展！
本期内容：基于光谱信息与图割模型求解的高光谱图像拼接手法
运用关键词：图形切割、高光谱图像 （HSI） 拼接、最佳接缝线检测、光谱相似性
background
背景
高光谱遥感图像因同时具有空谱信息而得到了广泛的运用。现有的高光谱图像传感器紧张分为基于卫星载荷与无人机载荷两种。然而，卫星传感器载荷本钱较高，图像空间分辨率较低且成像过程中易受到大气云层的滋扰。近年来，无人机载传感器由于其灵巧便捷性、低本钱等上风而受到了广泛的关注。无人机传感器所采集的高光谱图像具有较高的空谱分辨率，但是由于无人机的成像视场角较小，所采集的单张图像无法涵盖大范围环境信息，因此，基于高光谱图像拼接的研究具有主要意义。
普通图像的拼接领域已经得到了较多成果，但高光谱图像拼接的研究还并不是十分成熟。用于遥感探测的高光谱图像常日由机载设备拍摄，无人机拍摄的条件不稳定，飞机振动、曝光时飞机快速运动导致的像点偏移等征象会使拍摄得到的图像质量低落并且存在非刚性变换。传统的图像拼接手法会虽然能将相邻图像的重叠区域进行几个对齐，但在图像领悟过程中会不可避免地存在诸如模糊、重影等人工痕迹。此外，由于高光谱图像中的浩瀚单波段灰度图像具有不同的空间特色，传统的基于二维图像空间信息的最优拼缝线探测手段在处理不同单波段灰度图像时会得到不同的结果，导致高光谱图像中浩瀚波段拼接结果难以统一，引起光谱失落真问题。针对无人机所采集的单张高光谱图像空间范围小，传统拼接手法所得到的结果具有模糊重影、光谱失落真等问题，提出基于光谱信息与图割模型求解的高光谱图像拼接手法。
在这项研究中，首先，对相邻源图像进行初步配准，得到具有统一几何坐标系的配准图像。然后，将配准图像作为输入，引入光谱相似性信息，针对重叠区域内所有像素设计出一个同时包含空间信息与光谱信息的新型能量函数。末了，基于图割模型对重叠区域的能量函数图进行求解，在整幅高光谱图像中得到唯一最优拼缝线，以肃清二维图像最优拼缝线探测方法运用在高光谱图像时导致的模糊重影与光谱失落真问题。
experimental design
实验设计
本文所进行实验的数据集为无人机拍摄的真实高光谱数据，拍摄场景为四川省某植物园，拍摄高度为300米，相邻图像具有较大的重叠区域，单张图像空间分辨率为960×1057，光谱范围覆盖400-1100nm，每隔4nm获取一幅单波段灰度图像，共176个波段。该数据集包含有丰富的地物信息，包括树林、灌木丛、草地、道路、建筑物等，数据在拍摄过程中受到噪声影响，且相邻图像间具有一定视差，因此在该数据集上所进行的实验能反响本文方法在真实环境与运用中的有效性。所有实验均在2.8GHZ英特尔酷睿i7-7700HQ的CPU和8GB内存的电脑上测试，方法以Matlab代码实现。数据集中18幅高光谱源图像如图1所示，为了便于不雅观察，所展示的图像为数据集中第76波段（对应波长700nm）、第38波段（对应波长548nm）及第13波段（对应波长448nm）三个波段所领悟而成的伪彩色图像形式。
图1. 实验所采取的高光谱图像数据集
Conclusion
结论
在拼接图像空间视觉效果的验证实验中，将直接对数据集中18幅高光谱图像拼接而成的全景图像进行性能验证，实验中将与现有的5个前辈拼接算法进行比拟，分别为ANAP、SPHP、DHW、NISwGSP与REW。不同拼接算法对18幅高光谱源图像进行拼接所得到的全景图像拼接结果如图2所示，总体来看，所有拼接算法均成功将18幅源图像配准至统一坐标系下，得到了一幅完全的全景拼接图像。为了对拼接图像的细节效果进行评估，将全景图像中四处范例地物局部区域进行放大，展示在对应全景图像右边的红、蓝、黄、绿色矩阵方框中。
从图中可以看出，ANAP与SPHP算法拼接结果中的放大区域中均存在不同程度的模糊与重影，尤其是在蓝色局部矩形区域中的白色正方形地物具有明显的人工拼接痕迹。NISwGSP算法所得到的拼接结果在具有视觉重影的同时，其黄色与蓝色矩形区域局部矩形区域中涌现了明显的条纹状几何错位。相对付上述结果，虽然DHW算法所得到的全景图像更加清晰平滑，但赤色和黄色的局部矩形区域的地物仍旧存在明显的颜色失落真痕迹。由于REW算法与本文配准方法具有相同的策略，即将图像局部单应变换与全局相似进行结合，因此在图2（e）与图2（f）中，所得到的全景拼接图像具有大体上险些同等的几何形状，然而通过不雅观察局部放大区域可以创造，REW算法的赤色与黄色矩形区域内，范例地物仍具有明显重影，而本章所提出方法的局部放大图像中，所有地物均呈现出清晰的描述特色，无任何明显的人工拼接痕迹。
因此，通过图2中所展示的结果可以得出，本章提出方法所得到的全景拼接图像具有更加清晰平滑的视觉效果，所有地物均呈现出清晰的描述特色。此外，通过对相同局部放大区域的视觉效果进行比拟可以看出，本章方法的拼接图像战胜了比拟算法结果中的所有缺陷，局部区域无任何明显的人工拼接痕迹，具有更加良好的视觉效果。
图2. 不同拼接算法的空间视觉效果比拟图。（a）ANAP；（b）SPHP；（c）DHW；（d）NISwGSP；（e）REW；（f）本文方法。
本节实验将对本文方法在高光谱图像中所探测的最优拼缝线性能进行评估，并与现有的5个前辈最优拼缝线探测算法进行比拟。用于比拟的最优拼缝线算法包括有seam-driven、动态方案（Dynamic Programming，DP）、一种增强的动态方案（Effective Dynamic Programming，EDP）、快速鲁棒拼缝评估（Fast and Robust Seam Estimation，FARSE）以及基于5/2范数的拼缝线探测方法。拼缝线质量评估实验结果如图3所示，个中图3（a）为本章实验数据集中具有丰富地物背景的相邻图像（即数据集中的第8和第9幅图像），图3（b）为两幅源图像经配准后的结果，图3（c）至图3（h）分别为不同算法所得到的拼缝线，此外，撤除拼缝线的主不雅观视觉效果外，为了对不同方法所得到拼缝线的质量进行更客不雅观的评估，实验中基于拼缝线的SSIM系数以进行定量评估。
图3.本文提出方法与其它拼缝线检测方法的拼缝线质量比较。利用SSIM指数对所有探测到的拼缝线进行了定量比拟。为了便于不雅观察，图像同样以伪彩色形式展示。（a）输入两幅高光谱源图像；（b）配准图像；（c）Seam-driven，SSIM = 0.9098；（d）DP，SSIM = 0.8887；（e）EDP，SSIM = 0.8717；（f）Farse，SSIM = 0.9195；（g）5/2 normed，SSIM = 0.9203；（h）本章方法，SSIM = 0.9371。
通过图3可以看出，最优拼缝线探测策略对付去除图像重叠区域内的模糊与重影偏差具有显著效果，所有拼接图像均呈现出较为平滑清晰的视觉效果。然而，seam-driven与FARSE算法所得到的拼缝线均穿过了图中的唯一白色建筑物。通过不雅观察图3（f）可以看出，FARSE算法在路径方案的过程中还随意马虎陷入局部最优解，拼缝线中部分位置涌现像素大量堆积的征象。图3（d）与图3（e）为DP与EDP算法的实验结果，由于这两种方法过度看重于拼缝线中像素点的数目，导致所提取拼缝线的起止点并不固定，在图像重叠区域边界具有明显的几何错位，涌现了一条明显的玄色拼接痕迹。通过图3（g）和图3（h）可以看出，本文提出方法和基于5/2范数方法所得到的最优拼缝线均可以在一定程度上肃清可见边界，并且避免了明显地物，位于具有高度相似纹理信息的位置。在定量上剖析中，我们利用SSIM系数对所有方法得到的最优拼缝线进行评估。可以创造，本章提出方法得到最优拼缝线的SSIM指数为0.9371，在所有方法中具有最高指标。因此，本章提出方法能够很好地选择符合人类视觉感知的拼缝线，在高光谱图像拼接任务中取得最优的拼接性能。
本章实验对拼接后图像的光谱性能进行拓展剖析，将本章所提出方法与几个经典的图像领悟方法进行比较，以进一步验证本章方法对付光谱信息保真的优胜性。本章实验中用以对光谱曲线进行定量评估的指标包括：均方根偏差（root mean square error，RMSE），光谱角间隔（Spectral Angle Distance，SAD）以及光谱信息散度（Spectral Information Divergence，SID）。本文方法与三个经典领悟方法的光谱信息同等性比拟结果如图4所示，个顶用以比拟的领悟方法为均匀领悟，线性加权领悟以及泊松领悟。选取本章实验所选用数据集图4中具有丰富地物信息的第8、第9幅图像作为源图像I1与I2以进行实验，图4（a）与图4（b）分别为两幅源图像经配准后的结果图，图4（c）为配准图像的重叠区域及所得到的拼缝线，点“A”、“B”、“C”、“D”分别为图中四个范例地物所对应的像素，地物种别分别为树木、道路、建筑物以及白色轿车，图4（d）至图4（g）分别为四个范例地物像素点所对应的光谱曲线结果。与本文第三章光谱性能实验中相同，图4（c）中像素点“A”的光谱信息应与源图像I2中同名像素的光谱进行比较，而像素点“B”、“C”、“D”的光谱信息应与源图像I1中的同名像素的光谱进行比较。在图4（d）至图4（g）中，赤色实线表示源图像中像素点的参考光谱曲线，蓝色实线为本文方法所得到的光谱曲线，绿色、青色及黄色曲线分别表示均匀领悟、线性加权领悟以及泊松领悟所得到的光谱曲线结果。
总体来看，本文方法所得到的蓝色光谱曲线与源图像中的赤色光谱曲线最为吻合，而基于不同图像领悟方法所得到的光谱均与原始曲线存在不同程度的失落真。个中，三种所比拟的图像领悟方法中，均匀领悟与线性加权领悟方法均对图像重叠区域内像素的灰度值进行线性赋值，终极所得到的光谱曲线仍能保留与原始曲线大致相同的形状；泊松领悟方法通过求解图像中梯度域的泊松方程而具有更繁芜的处理过程，虽然在特定场景中具有空间上更好的领悟效果，但会对高光谱图像中的光谱维度信息同等性造成更严重的毁坏，因此，图4中代表泊松领悟方法的黄色光谱曲线与原始曲线的形状差异最大，失落真情形最为严重。表1至表4展示了本章方法与比拟方法中，四个范例地物像素点光谱曲线与原始光谱曲线的定量指标评估结果。结合图4与四个表格中的定量数据可以看出，传统的图像领悟方法对付像素灰度值的重构导致了领悟后图像像素光谱曲线与原始光谱的信息失落真，而这种失落真随着领悟方法繁芜程度的加深而愈加严重，如图4中泊松领悟方法所得到的光谱曲线与原始光谱的形状差异最大，而在表1至表4中所得到的定量指标同样具有最差性能。
综上所述，对付高光谱图像数据集中相邻图像不具有明显色差的情形而言，对配准后图像所进行的领悟步骤会导致像素光谱信息的进一步失落真，领悟方法越繁芜，失落真情形越严重。而本章所提出的基于最优拼缝线探测的高光谱图像拼接手法采取对相邻图像重叠区域进行分割以替代传统图像领悟的策略来获取全景图像，担保了拼接后图像内像素光谱信息与原始图像的尽可能同等，为后续的光谱信息解译任务供应了更有利的数据支撑。
图4. 本文方法与三个传统领悟方法的光谱信息同等性比拟结果。（a）、（b）两幅已配准的源图像；（c）配准图像重叠区域及所得到的拼缝线，点“A”、“B”、“C”、“D”分别为图中四个范例地物“树木”、“道路”、“建筑物”以及“白色轿车”所对应的像素；（d）“树木”光谱曲线结果；（e）“道路”光谱曲线结果；（f）“建筑物”光谱曲线结果；（g）“白色轿车”光谱曲线结果。
表1. 像素点“A”（树木）的光谱曲线定量剖析结果，对最优指标进行加粗表示
表2 . 像素点“B”（道路）的光谱曲线定量剖析结果，对最优指标进行加粗表示
表3. 像素点“C”（建筑物）的光谱曲线定量剖析结果，对最优指标进行加粗表示
表4. 像素点“D”（白色轿车）的光谱曲线定量剖析结果，对最优指标进行加粗表示
PRODUCT
产品推举
Gaiasky mini3-VN无人机载高光谱成像系统
紧张特点：
• 核心点一：十多年在成像光谱系统开拓与技能运用积累的丰富履历。结合近年来在无人机载高光谱成像系统的开拓与运用方面有了长足的发展，为科研、行业等供应了全新的办理方案。
• 核心点二：从光谱仪设计到系统集成、开拓、运用等形成一条完全的产品链。
• 自主设计的增稳云台：GaiaSky-mini3系列无人机载高光谱成像系统基于大疆M300多旋翼无人机，自主研发设计的多轴增稳云台为其成像供应高质量数据供应保障。
• 成像布局：系统采取扫描成像布局，有效提高数据采集的效率和质量。
• 操控办法：通过遥控器进行各项功能的运用，方便、快捷、灵巧。
• 成像模式的多样化：旋翼拍摄模式、固定翱翔模式的切换为不同的运用供应不同的测试需求。
• 外不雅观设计：独特的外不雅观设计及操控为系统的品质和多维运用供应良好的平台和稳定性。特有的监控模块实时供应现场环境状况，形成“所见及所得”。
• 软件功能：快速实时校准为用户在线输出反演、分类识别等结果，为行业运用快速做成决策判断。
• 数据拼接：高精度POS及校正软件为大面积的数据拼接等硬软件，充分提升了系统的数据的质量和事情效率。
• 负载：可根据实际运用需求选配其他产品。
作者简介：
彭宗毅：
武汉大学电子信息学院博士研究生
研究方向：
遥感图像处理、打算机视觉和图案识别。
参考文献：
[1] S. Yang, Z. Shi, and W. Tang, “Robust hyperspectral image target detection using an inequality constraint,” IEEE Trans. Geosci. Remote Sens., vol. 53, no. 6, pp. 3389–3404, Jun. 2015. [2] F. Li, X. Zhang, L. Zhang, D. Jiang, and Y. Zhang, “Exploiting structured sparsity for hyperspectral anomaly detection,” IEEE Trans. Geosci. Remote Sens., vol. 56, no. 7, pp. 4050–4064, Jul. 2018.
揭橥文献：Zongyi Peng, Yong Ma, Yujie Zhang, Hao Li, Fan Fan, Xiaoguang Mei:Seamless UAV Hyperspectral Image Stitching Using Optimal Seamline Detection via Graph Cuts. IEEE Trans. Geosci. Remote. Sens. 61: 1-13 (2023)，中科院一区TOP期刊
