一夜之间，机器夜间识别的难题就被攻克了！

一篇AI与热物理学结合帮助机器在夜间成像的文章登上了Nature的封面。

(资料图)

文章的一作是毕业于浙江大学的Fanglin Bao，现在为普度大学研究员。

作者甚至认为，这项技术能够加速第四次工业革命的进程！

这项名为HADAR的技术，由来自普度大学和密歇根州立大学的研究人员研发而出。

让机器能像白天一样识别周围的环境，完成测距等一系列任务，对于自动驾驶等行业来说是革命性的突破。

长久以来，机器夜视很难做到像日天那样清晰。

对于夜间机器感知问题的处理，最先进的办法是利用热成像技术来重现环境。

但是夜视摄像机成像一般是单色的，而使用热成像技术拍摄，则会因为捕捉到太多不必要的热信号，导致成像时出现许多「噪音」，导致物体「重影」。

具体来说，因为物体和环境不断发射和散射热辐射，场景的物理属性，即温度（T，物理状态）、发射率（e，材料指纹）和纹理（X，表面几何形状）混合在光子流中而无法被清晰的识别。

这就是热成像结果中缺乏纹理相关的重影效应「Ghost Effect」的来源。

以一个灯泡为例，人眼只有当灯泡关闭时才能看到灯泡表面的几何纹理。

因为当灯泡打开时，反射所呈现的纹理在直接发射的光线中会完全消失，这是我们日常经验中熟悉的场景。

研究团队首先提出了一种被称为「TeX分解」和「TeX视觉」的基础技术来解决重影效应。

该方法能有效地从杂乱的热信号中恢复纹理。

再训练算法来识别已知材料（如玻璃、木材或织物）的独特发射光谱。

通过识别场景中的这些已知特征，该算法可以表征它观察到的对象。

然后，剩下的任务就是处理环境信号和「噪音」，不让它们从目标物体上反射并进入相机。

再通过逆向工程来评估噪声信号如何反射和散射，这个算法就可以填充有关每个对象纹理的信息，从而为图像提供更高水平的细节。

具体的过程如下图所示。

完成的效果和现有的热能视觉解决方案一对比，不知道高到哪里去了。

在TeX技术的基础上，研究人员进一步研发出了热辅助检测和测距（HADAR）技术，基本上攻克了机器夜间识别的问题。

简单来说，TeX技术主要是解决成像的问题，而HADAR是一个识别系统，在TeX优秀成像的基础上更精确地完成复杂的识别，测距等任务。

HADAR是一种机器感知范式的彻底转变， 它与之前的主动发出雷达、激光的成像手段不同。

它不主动发出任何信号，只接受来自环境中的热信号。

大气透射窗口（Atmospherical transmittance window）和场景温度决定了HADAR的工作波长。

研究人员表示，HADAR可能代表了未来机器视觉技术的重要方向和特征。

因为随着自动驾驶、无人机之类技术的发展，来自不同机器的信号可能会越来越多地相互干扰，而HADAR能够非常好地解决这些问题。

此外，HADAR将热光子流作为输入，记录高光谱热立方体图像，通过TeX分解处理重影，并生成TeX视觉以实现改进的检测和测距。

研究团队也在论文中分享了他们搭建的两个原型系统作为实例：

第一个原型系统

低端HADAR原型基于商用FLIR热成像相机，并配备了定制设计的光谱模块（见下图）。

他们在夜晚的户外场景中放置了一辆汽车、一个人和一个爱因斯坦剪影（模拟一个几何形状的人），来说明HADAR如何解决幻影制动问题。

上图显示，RGB光学成像（a）和稀疏的LiDAR点云（c；Velodyne Puck VLP-16）都无法区分真实尺寸的爱因斯坦卡板。

此外，由于汽车反射率低，LiDAR难以检测黑色汽车，而光学相机在黑暗中无法看到物体。

HADAR在相应的材料区域（皮肤-织物）检测到人体，并清楚地将其与纸板区分开来，克服了幻影制动问题。

更多关于HADAR检测和语义的详细信息，见下图。

HADAR利用物理背景进行真实世界感知的优势将在自主导航和野生动物监测中得到充分利用。

因为除了视觉外，还需要识别多种物理属性，以确保安全性或者用于科学研究的有效性。

第二个原型系统

研究人员的高端应用HADAR原型基于一台推扫式高光谱成像仪。

他们使用越野场景来展示TeX视觉如何通过物理背景看到纹理，并且HADAR在夜晚的测距性能优于热测距技术，其准确度可与白天的RGB立体视觉相媲美。

下图展示了在夜晚的真实TeX视觉，包括材料识别和纹理恢复。

下图显示了夜晚TeX视觉、夜晚热视觉和白天RGB视觉的立体视觉度量统计。

下图b中基于RGB深度度量标准化的度量比较清楚地表明，HADAR夜晚测距技术优于热测距技术，并与白天RGB立体视觉相匹配，可简写为「TeX_night > RGB_day > IR_night」。

有关通用HADAR测距技术，见下图。

而业界对这个研究持非常乐观的态度：

HADAR能够确定场景中物体的组成，如果它能与传统成像技术结合，那么，不论白天黑夜，它都可以为我们提供更多关于场景的独特信息。

但要指出的是，这个研究目前仅在静止的图像上进行，需要进一步提升收集测量值速度，以及处理运动模糊问题。

想要将这个研究应用在现实中，还有很多挑战。

Fanglin Bao

Fanglin Bao博士2011年6月在浙江大学获得物理学学士学位，并于2016年6月在浙江大学获得光学博士学位。目前研究的是张量网络、神经网络及其在量子物理中的应用。

Xueji Wang

Xueji Wang 就读于美国普渡大学电气与计算机工程学院，研究方向为热辐射、光偏振表面态等，并在CLEO会议上发表了两篇文章。

LipingYang

Liping Yang是地理信息科学（GIScience）和地理空间人工智能（GeoAI）助理教授。现专注于技术图表图像分析的计算机视觉和机器学习算法开发。