Physics-based learning: Adaptive structured light for active stereo depth estimation

基于结构光的主动立体系统广泛应用于各种3D视觉领域，通过向物体表面投射特殊设计的光栅图案来对空间中的每个位置进行编码，以实现精确的3D测量。然而，现有的方法使用的是与场景特性（如物体反射率、距离、环境光、内部反射）、设备（投影仪、相机）以及重建过程无关的预定图案。同时，结构光的参数通常是通过经验分析或多次实验来确定的。在本文中，我们提出了一种新的结构光设计方法，称为基于物理学习的自适应结构光（PBL-ASL），该方法可以直接从场景中学习到最优的结构光图案。为此，（1）我们为PBL-ASL设计了一个带有非正弦误差抑制模块的解码器，该模块可以在结构光优化过程中准确估计视差；（2）我们提出了一种基于物理的学习算法，包括一个自监督目标函数和一个可微的成像模型，该模型计算视差误差，并将梯度反向传播到编码向量，以优化结构光。我们的实验表明，PBL-ASL可以显著提高主动立体系统在深度估计方面的准确性，相比于一些最先进的方法有明显的优势