Efficient Indoor Depth Completion Network using Mask-adaptive Gated Convolution

大多数室内深度补全任务依赖于卷积自动编码器来重建深度图像，尤其在缺失值严重的区域。传统卷积方法对有效像素和缺失像素一视同仁，而部分卷积（PConv）虽缓解了这一局限，却无法区分不同缺失区域的无效程度差异，这凸显了对更精细化策略的需求。为解决该问题，我们提出了一种新型室内深度补全系统，采用掩码自适应门控卷积（MagaConv）。MagaConv利用门控信号，根据深度数据缺失区域的特性选择性施加卷积核，其门控信号通过共享卷积核联合处理深度特征与对应掩码生成，确保权重优化的连贯性。此外，掩码会依据预设规则进行迭代更新。为提升深度与色彩信息的融合效果，我们引入了双向对齐投影（Bid-AP）模块，该模块通过结合全局空间通道注意力机制的双向投影方案，过滤掉来自其他模态的与深度无关的特征。在NYU-Depth V2、DIML和SUNRGB-D等主流基准上的大量实验表明，我们的模型在精度与效率上均优于现有最优方法。