0
点赞
收藏
分享

微信扫一扫

CVPR论文解读 | 点云匹配的旋转不变变压器

原创 | 文 BFT机器人

CVPR论文解读 | 点云匹配的旋转不变变压器_数据集


传统的手工特征描述符通常具有内在的旋转不变性,但是最近的深度匹配器通常通过数据增强来获得旋转不变性。


然而,由于增强旋转数量有限,无法覆盖连续SO(3)空间中所有可能的旋转,因此这些方法通常在面对罕见旋转时表现不稳定。


为了解决这个问题,本篇论文提出了RoITr方法,使用注意力机制和基于点对特征的坐标来处理姿态变化,并在刚性和非刚性基准测试中进行了广泛实验以证明其优越性。


CVPR论文解读 | 点云匹配的旋转不变变压器_点云_02


01  该篇论文的创新点

本篇论文的创新点是提出了一种名为RoITr(Ro tation-Invariant Tr ansformer)的新方法,用于解决点云匹配任务中的姿态变化问题。


该方法使用注意力机制和基于点对特征的坐标来处理姿态变化,并在刚性和非刚性基准测试中进行了广泛实验以证明其优越性。与现有的深度匹配器相比,RoITr具有更高的鲁棒性和旋转不变性,并且在效率和准确性方面都表现出色。


CVPR论文解读 | 点云匹配的旋转不变变压器_编码器_03

图1是本篇论文中的一个概览图,它展示了RoITr的整体架构。


本文提出了一种名为RoITr的点云配准算法,它能够在姿态不确定的情况下实现高精度的点云配准。RoITr算法主要分为三个步骤:局部几何编码、全局上下文聚合和粗到细的匹配。


第一步是局部几何编码。


RoITr使用了一个名为Point Pair Feature Transformer(PPFTrans)的编码器-解码器架构,用于对点云进行局部几何编码。PPFTrans包含一个编码器和一个解码器,其中编码器由多个Attentional Abstraction Layer(AAL)和Point Pair Feature Attention Layer(PAL)组成。


AAL用于下采样和抽象化,而PAL则用于对局部几何进行编码和上下文聚合。这些层都基于本文提出的PPF Attention Mechanism(PAM),它使得RoITr具有姿态不变性。


第二步是全局上下文聚合。


RoITr使用了一个堆叠的全局Transformer网络来对整个点云进行上下文聚合。


这个网络由多个Transformer块组成,每个块都包含多头自注意力机制和前馈神经网络层。这些块可以有效地捕获点云中的全局结构信息,并将其与局部几何信息相结合。


第三步是粗到细的匹配。


RoITr使用了一种粗到细的匹配策略,该策略通过逐层下采样和上采样来实现。


首先,RoITr将输入点云分别编码为超级点P和Q,并提取它们之间的初始匹配集C0。然后,RoITr对P和Q进行逐层下采样,生成更粗糙的超级点,并提取它们之间的匹配集Ci。


接下来,RoITr对Ci进行上采样,生成更细致的超级点,并提取它们之间的匹配集Ci+1。这个过程一直持续到达到所需的匹配精度为止。


02  实验

实验主要是针对三维点云匹配和配准问题进行的。


CVPR论文解读 | 点云匹配的旋转不变变压器_数据集_04

表1展示了在旋转和非旋转的3DMatch和3DLoMatch数据集上的定量结果。


评估使用了5,000个点/对应关系。只有RMSE小于0.2m的点云被视为正确配准。

CVPR论文解读 | 点云匹配的旋转不变变压器_数据集_05

图2展示了在3DLoMatch数据集上的定性结果。


基准方法是GeoTrans。


图中的(b)和(c)列显示了两个点云之间的对应关系,而(d)和(e)列则展示了配准结果。绿色线表示内点,红色线表示外点。


消融实验:


在本文的Ablation Study中,作者主要对RoITr方法进行了改进和削弱,并比较了这些变化对匹配和配准性能的影响。


具体来说,作者使用Point-Transformer(PT)替换PPFTrans,并将PPF-based local coordinates嵌入到PT中,同时采用PT在PAM中使用的相对坐标。结果表明,本地坐标表示显著提高了PT在点云匹配任务中的性能,并使其具有旋转不变性。然而,相对坐标在PAM中失败了,因为作者采用了一种更有效的注意力机制。


此外,在消融实验中还比较了不同模型组件的贡献。例如,在RoITr方法中,Attention Abstraction Layer(AAL)、PPF Attention Layer(PAL)和Transition Up Layer(TUL)是构成PPFTrans(PPF Transformer)的关键组件。通过逐步去除这些组件并重新训练模型,作者发现每个组件都对最终性能有重要贡献。


总之,在Ablation Study中,作者通过逐步改变模型并比较结果来探索RoITr方法的优缺点,并确定哪些组件对于该方法的成功至关重要。

CVPR论文解读 | 点云匹配的旋转不变变压器_编码器_06

图3展示了在4DLoMatch上使用Lepard 作为基准的非刚性匹配的定性结果。绿色/红色线表示内点/外点。


03  结论

引入了一种用于点云匹配的内在旋转不变模型RoITr。提出了PAM (PPF注意机制),该机制嵌入了基于PPF的局部坐标来编码旋转不变几何。


该设计以AAL (Attention Abstraction Layer)、PAL (PPF Attention Layer)和TUL (Transition Up Layer)为核心,它们被连续堆叠组成PPFTrans (PPF Transformer),用于具有代表性和姿态无关的几何描述。


通过引入一种新的全局变压器架构进一步增强了特征,该架构确保了旋转不变的跨帧空间感知。在刚性和非刚性基准上进行了大量的实验,以证明该方法的优越性,特别是对任意旋转的显著鲁棒性。


网址:https://blog.csdn.net/qinglostsoul/article/details/108224863标题Rotation-Invariant Transformer for Point Cloud Matching


本文为原创文章,版权归BFT机器人所有,如需转载请与我们联系。若您对该文章内容有任何疑问,请与我们联系,将及时回应。

举报

相关推荐

0 条评论