QY球友会 如何实现红外热成像和可见光成像的融合？

视觉相机和红外热成像在计算机视觉应用中各有利弊。由于不同的技术具有局限性，因此融合这些不同类型的图像可能会对视觉增强有所帮助。在红外热图像中，由于像素强度相同，部分遮挡的人或温度相同的物体很难区分。在这种情况下，包括深度信息或颜色边缘信息就可以派上用场，可以帮助消除混淆。

双光红外热像仪最常见的组合是红外热成像和可见光视觉成像。这是由于众所周知的视觉相机的低价特性，以及热成像弥补可见光在不良视觉条件下的优势。主要挑战是如何对齐和融合不同类型的图像模式。不同光谱中的亮度级别之间没有关联关系，因此许多对齐交互信息的方法并不适用。通常，将其中一张图像变形，然后手动选择对应点来达成平面图像单应性。目前依赖于边缘方向之间相关性的自动对齐技术，以及基于自动检测关键点计算单应性的方法。

用于几何校准、镜头畸变校正和热成像对准的标准棋盘式方法依赖于色差，如果未经任何修改，就不能与热像仪一起使用。当电路板用泛光灯加热时，颜色发射率的不同会导致红外热像的强度不同。但是，可以通过构建两种不同材料的棋盘标定来获得更清晰的电路板图案，这两种材料的热发射率和温度差异很大。这种方法也适用于在不同基板前具有铣削方格图案的铜板，以及在塑料板前的金属线。当这些特殊的棋盘被热风枪、吹风机或类似设备加热时，由于材料的发射率不同，在红外热图像中会看到清晰的棋盘图案。同时，由于色差的原因，在视觉图像中也可见。

图像融合可以在不同的层次上进行，通常描述为像素级、特征级或决策级。

在像素级融合中，需要对图像进行空间配准，以便所有图像中的相同像素位置对应于现实世界中的相同位置。然后使用融合算法逐个像素合并图像。

使用特征级融合，可以在所有图像中单独找到特征，然后融合成一个联合特征集。

决策级融合遵循一个过程，直到观察到的场景评估完成。

图像融合水平的选择将取决于应用。融合可见光视频和红外热成像视频的方法是将两个图像对齐，并使用带有热信息的叠加图像将它们组合起来。一种称为通用融合模型（像素级），另一种称为组合模块（特征级）。

红外热像仪的空间分辨率仍然很低，获得最佳分辨率的成本很高。与可见光视觉相机结合使用时，使用具有低空间分辨率的热传感器仍然可以改善监控性能。通过融合可见光和热成像视觉，可以构建超分辨率的红外热图像。提议的相机原型可以使用三个相机来组合可见光、近红外和长波红外波段。视觉系统以外的其他传感器也可以与红外热像仪一起用于融合系统中。来自红外热成像仪和激光扫描仪的数据可以融合在一起，以实现可靠的行人检测和跟踪。还可以融合近红外传感器和低分辨率远红外传感器，用于低成本夜视系统。

融合图像系统在各个领域都有应用。在监控系统中，融合图像模式的使用很常见，因为需要一个可以在室内和室外、白天和黑夜工作的强大系统。在汽车监控和夜视系统中，可以通过融合图像模式来改进对行人的检测。尤其是监控系统，可以检测人类注意力的区域，并融合可见光视觉和红外热图像，以便在远程沉浸式空间中进行可靠的前方场景检测。