其他知识–跳转链接
点云配准-多种旋转表示
分为主动和被动方式,由传感器主动获取的点云为主动方式,后期通过重建的方式为被动。
粗配准与精配准
刚性配准假设在一个环境中,变换可以分解为旋转和平移,从而在适当的刚性变换后,一个点云被映射到另一点云,同时保持相同的形状和大小。
在非刚性配准中,建立非刚性变换以将扫描数据wrap到目标点云。非刚性变换包含反射、旋转、缩放和平移,而不是刚性配准中仅包含平移和旋转。
非刚性配准的使用主要有两个原因:(1) 数据采集的非线性和校准误差会导致刚性物体扫描的低频扭曲;(2) 对随着时间改变,其形状的和移动场景或目标执行配准。
在过去的几十年里,人们提出了越来越多的点云配准方法,从经典的ICP算法到与深度学习技术相结合的解决方案。
1)ICP方案
ICP算法是一种迭代算法,可以在理想条件下确保配准的准确性、收敛速度和稳定性。从某种意义上说,ICP可以被视为期望最大化(EM)问题,因此它基于对应关系计算和更新新的变换,然后应用于读取数据,直到误差度量收敛。然而,这不能保证ICP达到全局最优,ICP算法可以大致分为四个步骤:如下图所示,点选择、点匹配、点拒绝和误差度量最小化。
== 2)基于特征的方法==
正如我们在基于ICP的算法中所看到的,在变换估计之前,建立对应关系是至关重要的。如果我们获得描述两个点云之间正确关系的适当对应关系,则可以保证最终结果。因此,我们可以在扫描目标上粘贴地标,或者在后处理中手动拾取等效点对,以计算感兴趣点(拾取点)的变换,这种变换最终可以应用于读取点云。如图12(c)所示,点云加载在同一坐标系中,并绘制成不同的颜色。图12(a)和12(b)显示了在不同视点捕获的两个点云,分别从参考数据和读取数据中选择点对,配准结果如图12(d)所示。然而,这些方法对不能附着地标的测量对象既不友好,也不能应用于需要自动配准的应用。同时,为了最小化对应关系的搜索空间,并避免在基于ICP的算法中假设初始变换,引入了基于特征的配准,其中提取了研究人员设计的关键点。通常,关键点检测和对应关系建立是该方法的主要步骤。
关键点提取的常用方法包括PFH、SHOT等,设计一种算法来去除异常值和有效地基于inliers的估计变换同样很重要。
3)基于学习的方法
在使用点云作为输入的应用程序中,估计特征描述符的传统策略在很大程度上依赖于点云中目标的独特几何特性。然而,现实世界的数据往往因目标而异,可能包含平面、异常值和噪声。此外,去除的失配通常包含有用的信息,可以用于学习。基于学习的技术可以适用于对语义信息进行编码,并且可以在特定任务中推广。大多数与机器学习技术集成的配准策略比经典方法更快、更稳健,并灵活地扩展到其他任务,如物体姿态估计和物体分类。同样,基于学习的点云配准的一个关键挑战是如何提取对点云的空间变化不变、对噪声和异常值更具鲁棒性的特征。基于学习的方法代表作为:PointNet 、PointNet++ 、PCRNet 、Deep Global Registration 、Deep Closest Point、Partial Registration Network 、Robust Point Matching 、PointNetLK 、3DRegNet。
4)具有概率密度函数的方法
基于概率密度函数(PDF)的点云配准,使得使用统计模型进行配准是一个研究得很好的问题,该方法的关键思想是用特定的概率密度函数表示点云数据,如高斯混合模型(GMM)和正态分布(ND)。配准任务被重新表述为对齐两个相应分布的问题,然后是测量和最小化它们之间的统计差异的目标函数。同时,由于PDF的表示,点云可以被视为一个分布,而不是许多单独的点,因此它避免了对对应关系的估计,并具有良好的抗噪声性能,但通常比基于ICP的方法慢。
== 5)其它方法==
Fast Global Registration 。快速全局配准(FGR)为点云配准提供了一种无需初始化的快速策略。具体来说,FGR对覆盖的表面的候选匹配进行操作并且不执行对应关系更新或最近点查询,该方法的特殊之处在于,可以直接通过在表面上密集定义的鲁棒目标的单个优化来产生联合配准。然而,现有的解决点云配准的方法通常在两个点云之间产生候选或多个对应关系,然后计算和更新全局结果。此外,在快速全局配准中,在优化中会立即建立对应关系,并且不会在以下步骤中再次进行估计。因此,避免了昂贵的最近邻查找,以保持低的计算成本。结果,迭代步骤中用于每个对应关系的线性处理和用于姿态估计的线性系统是有效的。FGR在多个数据集上进行评估,如UWA基准和Stanford Bunny,与点对点和点顶线的ICP以及Go ICP等ICP变体进行比较。实验表明FGR在存在噪声的情况下表现出色!
四点一致集算法:4点全等集(4PCS)提供了用于读取数据的初始变换,而不需要起始位置假设。通常,两点云之间的刚性配准变换可以由一对三元组唯一定义,其中一个来自参考数据,另一个来自读取数据。然而,在这种方法中,它通过在小的潜在集合中搜索来寻找特殊的 4-points bases,即每个点云中的4共面全等点,如图27所示。在最大公共点集(LCP)问题中求解最佳刚性变换。当成对点云的重叠率较低并且存在异常值时,该算法实现了接近的性能。为了适应不同的应用,许多研究人员介绍了与经典4PCS解决方案相关的更重要的工作。
参考文献
[1] A Tutorial Review on Point Cloud Registrations: Principle, Classification, Comparison, and Technology Challenges
== 粗配准==
基于点特征直方图的点云数据粗配准
基于随机抽样一致性的点云数据粗配准
基于PFH和RANSAC 的点云粗配准算法
精配准
四元数法
奇异值分解法
在三维点云配准中,“软对应”和“硬对应”是两种描述点云之间点的匹配方式的概念:
硬对应(Hard Correspondence):
硬对应指的是点云配准过程中每个点在目标点云中有一个明确的匹配。具体来说,给定点云中的每个点,找到在另一点云中距离最近的点作为唯一的对应点。这个过程类似于经典的迭代最近点(ICP)算法中的匹配步骤。硬对应只考虑一个明确的匹配关系,比如点A只能对应点B,不存在其他可能性。这种方法的优点是直观和简单,但缺点是对于含有噪声、部分重叠和缺失的点云来说,容易受错误匹配的影响。
软对应(Soft Correspondence):
软对应是一种更灵活的匹配方式,它不要求为每个点找到唯一的对应点,而是为每个点与目标点云中的多个点分配一个匹配概率或权重。这意味着一个点可以“部分”对应到多个目标点。软对应使用一个概率矩阵或“软对应矩阵”来描述源点云和目标点云之间的匹配关系,其中矩阵的每个元素代表源点与目标点之间的匹配概率。
在RPM-Net中,软对应是通过基于Sinkhorn算法的矩阵计算来实现的。这种方法通过迭代优化,使得初始的匹配可以是模糊的(即“软”的),然后逐步收敛到更加明确的匹配关系(变得“硬”起来)。软对应的好处是它能够在优化过程中保留更多的可能性和灵活性,避免过早地做出不准确的匹配选择,尤其在点云中存在噪声或部分重叠的情况下,这种方式可以更好地找到合理的匹配关系。
简而言之:
在RPM-Net中,通过首先进行软对应匹配,然后逐步优化到更明确的对应,这种方式结合了硬对应的精确性和软对应的鲁棒性,使得整体配准过程更加稳健。
在这段文字中,“in closed-form” 的意思是指,问题的解可以通过明确的数学公式直接计算出来,而不是通过迭代、数值逼近等复杂的计算过程。
具体来说,经过奇异值分解(SVD)后,可以直接得到刚性配准问题的解,包括旋转矩阵 和平移向量 。公式如下:
这些公式不需要额外的计算步骤(例如迭代或逼近),可以通过简单的矩阵乘法、矩阵运算直接求得结果,这就是闭式解(closed-form solution)。“in closed-form” 强调了解的直接性和明确性,是与需要逐步逼近得到解的方法(如迭代法)相对的。
**Closed-form formula(闭式公式)**是指能够通过有限次的基本运算(如加、减、乘、除、开方、指数、对数等)直接得到解的数学表达式。换句话说,闭式公式是一种可以用一系列确定的数学操作一步一步直接求解某个问题的方法,得出的结果是一个明确的表达式,而不是通过迭代、数值逼近或复杂计算求得的。
通俗解释
可以把闭式公式理解为一种“直接得到答案的数学公式”,不用进行复杂的迭代计算。举个简单的例子:
在解决二次方程 时,我们可以用一个闭式公式来求解,这个公式是:
这个公式就是求解二次方程的闭式公式。只要知道 、、 的具体值,我们就可以直接把它们代入公式,一步一步进行加减乘除和开方操作,最终得到结果。这种方法完全不需要迭代或者数值逼近,因此称为闭式公式。
相对地,有些方程或者问题不能通过有限次的基本运算来直接得到解。例如,在求解高次方程(如五次及以上的方程)时,通常没有通用的闭式公式,因此需要用迭代的方法或者数值方法来逼近解。
在点云配准中的意义
在点云配准中的旋转计算时,通常需要解决一个3×3的矩阵问题。这个问题涉及求解特征值和特征向量,我们称之为eigenproblem(特征问题)。对于3×3的矩阵,这个问题的复杂度较低,可以通过一些简单的计算步骤得到结果。因此,我们可以用闭式公式来求解特征值和特征向量,而不需要使用复杂的迭代算法。
总结
简而言之,闭式公式是一种可以直接代入变量一步一步算出结果的公式,使用它可以避免复杂的数值计算和迭代过程,因此在解决简单问题时非常高效。
别人的博客对其的理解
通俗理解
通俗地理解,Sinkhorn算法的核心思想是将两个分布之间的“最优匹配”问题,通过一种“逐步调整”的方式来找到解决方案。这就好比在计划如何高效地分配资源,找到一种方式让从一种状态变成另一种状态的成本最小。
场景类比
可以把Sinkhorn算法类比为一个运货问题:
如果直接去计算每个仓库和每个商店之间的运输量,很复杂。因此,Sinkhorn算法通过“逐步缩放”的方式来找到解决方案。
Sinkhorn的逐步缩放过程
初始状态:一开始,你可以假设一种运输方式,这种方式可能是不平衡的,仓库运出来的货物总量可能与商店的需求量对不上。
逐步调整:
通过这种反复缩放的方式,逐步找到一种既符合仓库供给、又满足商店需求的运输方案,同时使得运输成本尽量低。
熵正则化的作用
Sinkhorn算法之所以能高效地找到这种方案,是因为它引入了一种叫“熵正则化”的概念。可以通俗地理解为让解决方案变得更加“模糊”或“平滑”,而不是一开始就追求最精准的结果。这样做的好处是,问题变得更简单,数值计算上也更稳定。
就好比在一开始运输计划中,允许有一点模糊空间,不是每次都一定要找出绝对最优,而是在逐步调整中逐渐接近最优。这种思路让算法更加容易实现,并且更加高效。
总结
Sinkhorn算法可以理解为一个反复调整运输量的过程,逐步平衡仓库供应和商店需求,最终找到一种总运输成本最小的解决方案。这个过程通过熵正则化变得更为灵活和高效,使得原本复杂的最优匹配问题能够用一种简单的迭代方式解决。
正式定义
Sinkhorn算法是一种用于解决最优传输(Optimal Transport, OT)问题的迭代算法,尤其适用于处理大规模的离散分布。最优传输问题旨在通过最小化成本函数来确定将一种分布(或质量)移动到另一种分布的最优策略。Sinkhorn算法也被称为Sinkhorn-Knopp算法,它通过引入熵正则化,使得原始的最优传输问题变得更加容易求解,并具有数值上的稳定性。
最优传输问题
给定两个离散分布 和 ,以及一个成本矩阵 ,最优传输问题可以形式化为寻找一个传输矩阵 ,使得将质量从 移动到 的总成本最小化。最优传输问题的目标函数可以表达为:
其中, 满足约束条件 , ,且 。
熵正则化
为了使问题的求解更加稳定,Sinkhorn算法对原始最优传输问题加入熵正则化项。加入熵正则化项后,目标函数变为:
其中, 是一个正则化参数,用于控制熵正则化的强度。熵正则化项的引入使得解变得更加平滑,从而可以通过迭代方法有效地求解。
Sinkhorn算法
Sinkhorn算法通过交替缩放传输矩阵 的行与列,使其满足边际分布约束。算法步骤如下:
通过反复迭代行和列的缩放,最终得到满足边际条件的传输矩阵 ( P ),并且该矩阵是正则化最优传输问题的解。
优点与应用
通过引入熵正则化,Sinkhorn算法在效率和稳定性方面表现优异,使其成为处理最优传输问题的主流方法之一。
最小二乘法(Least Squares Method)是一种数学优化技术,用于在数据拟合时找到最佳的解。它的主要思想是:在给定的一组数据点中,通过最小化数据点与拟合模型之间的误差的平方和,来找到最合适的模型参数。
通俗来说,最小二乘法就是用来找到一条最符合数据点的曲线,使得这些点与这条曲线之间的距离尽可能地小。它通过最小化误差的平方和,找出“最佳”的拟合结果。
举个例子:拟合直线
想象你有一组数据点,想要用一条直线来描述它们之间的关系。这些数据点并不是完全在一条直线上,而是分布在直线附近。我们想要找出一条最佳的直线,使得所有点到这条直线的距离最小。
在这种情况下,我们可以用最小二乘法来找到直线的斜率和截距。最小二乘法会做以下几件事:
简单来说,最小二乘法就是在所有可能的直线中找到使这些误差的平方和最小的那一条。
在刚性变换中的应用
在点云配准中,比如ICP算法中,我们需要找到一个刚性变换(包括旋转矩阵和平移向量),使得源点云中的每个点与目标点云中的对应点尽量接近。这可以理解为一个拟合问题,我们希望源点云通过旋转和平移后与目标点云重合。
为了实现这个目标,最小二乘法被用来最小化源点和目标点的对应点之间的距离的平方和,从而找到最佳的旋转和位移参数,使得两个点云尽可能地对齐。
数学表达
假设我们有两组对应的点,分别为源点云中的点集 和目标点云中的点集 。我们想找到一个刚性变换(旋转矩阵 和平移向量 使得:
最小二乘法的目标是最小化所有点之间的平方误差和:
这个表达式表示所有对应点对之间的距离的平方和,我们希望通过选择合适的 和 ,使这个误差最小。
总结
旋转矩阵是一个行列式为 1 的正交矩阵,这是因为旋转矩阵在三维空间中具有特定的几何性质,确保其只描述旋转而不包含缩放、镜像或其他变形。这一性质源于以下几点:
1. 保持向量长度不变(刚体变换的特性)
2. 保持坐标轴的正交性
3. 行列式为 1 的条件
4. 数学定义和物理意义
总结
旋转矩阵之所以是一个行列式为 1 的正交矩阵,是因为它需要满足保持向量长度和体积不变的条件,只描述旋转而不包含拉伸、缩放或镜像变换。
旋转不变性(Rotation Invariance)是指某个对象、特征、模型或算法在面对不同旋转变换时,其表现、特征或输出保持不变的特性。在计算机视觉、图像处理、点云匹配等领域中,旋转不变性对于解决由于视角变化而导致的输入差异至关重要。
具体来说,旋转不变性意味着一个算法或模型可以对同一物体在不同旋转角度下进行相同的识别或描述,这样可以确保输入数据经过旋转后不会影响到模型的理解和处理。这在处理图像和3D点云时尤为重要,因为物体通常会在不同视角和方向上出现。
举例说明:
图像识别:在图像分类中,假设有一张猫的照片。如果这张图片经过旋转,例如被翻转90度或者180度,拥有旋转不变性的模型依然能够正确地识别出这是猫。旋转不变性确保模型不依赖物体的特定方向去做出判断。
点云匹配:在3D点云匹配任务中,如果两个点云是同一物体的不同角度(例如一个点云是旋转过的版本),一个具有旋转不变性的模型应该能够意识到它们是相同的物体,且能正确地将两者对齐。这种能力对于自动驾驶、机器人等需要处理真实世界中多角度物体的场景非常重要。
旋转不变性的实现方式:
数据增强:一种实现旋转不变性的方法是通过数据增强,在训练模型时使用不同旋转角度的数据来训练,使模型学会在不同视角下保持稳定表现。这种方式叫做外在旋转不变性(Extrinsic Rotation Invariance),但它无法覆盖所有可能的旋转角度。
内在设计:另一种方式是直接设计一种内在旋转不变性(Intrinsic Rotation Invariance)的特征表示或模型结构。例如,使用特定的几何特征或数学表示,使得物体在旋转之后其特征保持不变,这样模型可以自然地对旋转不敏感。这种方式比数据增强更稳健,因为它不依赖于大量样本的覆盖性,而是从模型的本质上具备了旋转不变的能力。
总之,旋转不变性是一种使模型在面对输入旋转变化时,依然能够输出一致结果的能力。通过这种能力,模型在处理图像、3D数据时能够更好地应对视角和方向的变化,提高对物体的识别、匹配和理解的准确性和鲁棒性。
在点云配准领域,equivariance(等变性) 和 invariance(不变性) 同样是关键概念,帮助我们理解如何通过模型处理点云的变换,进而优化配准效果。两者在点云配准中的作用有所不同,但都对提升配准算法的鲁棒性和精度具有重要作用。
1. Equivariance(等变性)在点云配准中的用处
等变性在点云配准中,主要用于确保点云在变换(如旋转、平移)后,模型的输出会与输入的变换一致。也就是说,当输入的点云进行某种变换时,输出的特征或结果会相应地发生类似的变换。
应用:
旋转等变性(Rotation Equivariance):在点云配准中,常常需要进行旋转操作,而卷积神经网络(CNN)和某些几何深度学习模型可以通过设计成旋转等变的,使得当点云旋转时,模型提取的特征图像也随之旋转。这使得即使点云在不同的角度下,模型仍能有效地匹配和配准不同的点云。
平移等变性(Translation Equivariance):平移操作会改变点云的位置,但等变性可以确保平移变换后的点云与其原始位置的点云之间的关系保持一致。这对于点云配准中的全局对齐至关重要,因为模型能够处理点云的空间位置变化。
尺度等变性(Scale Equivariance):尺度变换会影响点云的大小,若算法设计成尺度等变性,则可以处理不同尺寸的点云,不会因为点云的大小不同而导致错误的配准。
通过等变性,可以设计出更为灵活和高效的点云配准算法,避免了因点云变换导致的误差。
2. Invariance(不变性)在点云配准中的用处
不变性则侧重于处理在变换之后,模型的输出结果保持不变,尤其是在点云配准任务中,主要是要实现目标点云与参考点云之间的相对匹配,而不被外界的变换(如旋转、平移、缩放等)所影响。
应用:
旋转不变性(Rotation Invariance):配准任务中通常要求两个点云无论如何旋转,配准结果应保持一致,即点云的旋转角度不应影响配准精度。通过设计旋转不变性,模型可以确保点云在不同旋转角度下的匹配准确性。
平移不变性(Translation Invariance):在点云配准中,参考点云和目标点云可能位于不同位置。通过设计平移不变性,模型能自动忽略点云的位置信息,仅专注于形状和结构的匹配,进而提高配准的精度。
尺度不变性(Scale Invariance):点云可能因采集方式或其他原因在不同尺度下表示,尺度不变性确保了无论点云的大小如何变化,配准过程都不受影响。
在点云配准中,不变性使得模型能处理不同变换后的点云,而无需在匹配时考虑变换本身。这使得配准算法更具鲁棒性和通用性。
3. 等变性与不变性的区别和结合使用
等变性:当模型对某种变换具有等变性时,意味着输入经过变换后,输出会以某种一致的方式反映该变换。例如,旋转变换后的点云特征会随着旋转而相应地旋转,而不是失去原本的结构或关系。这通常是配准过程中的中间步骤。
不变性:当模型对变换具有不变性时,意味着无论输入如何变化,模型输出不会发生变化。例如,旋转、平移等变换后,点云的匹配结果保持不变。配准任务往往需要不变性来确保匹配过程不受点云变换的影响。
结合使用:
在点云配准中,等变性和不变性常常是结合使用的。通过等变性,可以在特征提取阶段保持变换的敏感性(例如保持旋转、平移等),而在配准过程的最后阶段,通常需要不变性来确保最终的匹配结果不会受点云变换的影响。例如,基于旋转等变性的特征提取可以帮助网络捕捉点云的结构信息,而基于旋转不变性的匹配算法可以帮助模型在配准过程中保持准确性。
总结
本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕,E-mail:xinmeigg88@163.com
本文链接:http://www.ksxb.net/tnews/4329.html