JOAStereo: Joint Learning Structured Light and Reconstruction for Generalizable Active Stereo

主动立体视觉因其在成本和空间分辨率方面的优势，被广泛应用于3D感知领域。主动立体系统通过将人工设计的图案投射到物体表面来捕获深度信息，这使得结构光图案的设计与场景信息和重建算法相隔离。当前的主动立体方法引入深度光学技术来重塑传统设计范式，取得了较好的效果。然而，由于衍射光学元件（DOE）制造限制和较差的泛化能力，其实际性能受到限制。为了解决这些问题，我们提出了一种新颖的主动立体方法，称为JOAStereo，通过端到端的方式联合优化结构光图案和重建网络。为此，我们设计了一种数字散斑图案（DSP）生成方案，并基于几何光学原理构建了一个可微的主动立体模型，该模型基于投影仪，可以方便地制造。此外，为了提高泛化性能，我们提出了一种基于鲁棒信息瓶颈（RIB）的特征分解机制，使网络能够在没有目标域相关标注的情况下提取域不变表示（DIRs）。我们的方法实现了优化后的光学系统与重建算法之间的系统匹配，使得深度光学更具实用性。大量实验表明，我们的方法能够实现最先进的性能