论文题目:LowRankOcc: Tensor Decomposition and Low-Rank Recovery for Vision-based 3D Semantic Occupancy Prediction
论文链接:https://openaccess.thecvf.com/content/CVPR2024/papers/Zhao_LowRankOcc_Tensor_Decomposition_and_Low-Rank_Recovery_for_Vision-based_3D_Semantic_CVPR_2024_paper.pdf
一、摘要
在本文中,我们提出了一种基于视觉的3D语义占用预测的张量分解和低秩恢复方法(LowRankOcc)。传统方法使用细粒度的3D网格来建模户外场景,但由于非空体素的稀疏性,引入了大量空间冗余,导致潜在的过拟合风险。相比之下,我们的方法利用3D占用数据的固有低秩特性,将体素表示分解为低秩组件,以高效减轻空间冗余而不牺牲性能。具体而言,我们提出了垂直-水平(VH)分解模块,将3D张量分解为垂直向量和水平矩阵。在我们的“分解-编码-恢复”框架中,我们仅使用1D/2D卷积和池化来编码3D上下文,然后将编码后的紧凑但信息丰富的上下文特征恢复到体素表示。实验结果表明,LowRankOcc在SemanticKITTI数据集上的语义场景完成和nuScenes数据集上的3D占用预测方面实现了最先进的性能。
二、实验
这里展示部分结果,更多结果请参考论文。