0
点赞
收藏
分享

微信扫一扫

论文阅读---Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild

1、基础概念

horizontal_flip:随机翻转,它的作用是随机对图片执行水平翻转操作,意味着不一定对所有图片都会执行水平翻转,每次生成均是随机选取图片进行翻转。解决了图片数据集有限的问题。

albedo:反射出射度与入射度之比。

人脸三维重建:飘哥:人脸三维重建与表观建模(三)用一张人脸图片进行三维人脸重建

偶然不确定性和认知不确定性(Aleatoric Uncertainty & Epistemic Uncertainty):偶然出现的偏差叫做偶然不确定性。是无法避免的;认知不确定性是我们模型中存在的不确定性,认知不确定性测量的,是我们的input data是否存在于已经见过的数据的分布之中

透视投影:为了获得接近真实三维物体的视觉效果而在二维的纸或者画布平面上绘图或者渲染的一种方法,也称为透视图 。它具有消失感、距离感、相同大小的形体呈现出有规律的变化等一系列的透视特性,能逼真地反映形体的空间形象。透视投影通常用于动画、视觉仿真以及其它许多具有真实性反映的方面。

Images in the Wild:代表自然场景下的数据,这里这么说也是想体现算法的泛化能力比较好。

2、主要内容

概括:我们提出了一种从原始单视图图像中学习3D可变性物体类别的方法,无需额外的监督。

方法:基于一个自动编码器,将每个输入图像分解为深度、反照率、视点和照明。基于的事实是许多对象类别至少在原则上具有对称结构。虽然外观会因为阴影而不对称,但利用关于照明的推理允许我们利用底层对象对称性。此外,我们通过预测对称概率图,对可能但是不一定对称的对象进行建模,该图与模型的其他组件进行端到端的学习。

实验验证:我们的实验表明,该方法可以在没有任何监督或者先验形状模型的情况下,从单视图图像中恢复人脸、猫脸和汽车的3D形状。在基准测试中,我们展示了与另一种在2D图像对应级别使用监督的方法相比高的准确性。

3、具体介绍

论文阅读---Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild_三维重建

Photo-geometric autoencoding;我们的网络Φ将输入图像I分解为深度、反照率、视点和照明,以及一对置信度图。它经过训练可以在没有外部监督的情况下重建输入

给定对象类别的无约束图像集合,目标是学习一个模型,它接收对象实例的图像作为输入,并产生将其分解为三维相撞、反照率、关照和视点的输出。

我们想要学习3D模型去分解可形变物体类别,这具有两个主要的挑战:第一个挑战是无2D或者3D的G-T信息利用,在没有外部监督的情况下学习消除了收集图像注释的瓶颈,但是这也通常是为新应用程序部署深度学习的主要障碍;第二个主要的挑战是该算法必须使用无约束的单视图图像集合,它不需要同一个实例的多个视图,从单视图中学习很有用,应为在许多应用中,特别是对于可变形对象,我们只能有一个静止图像的来源可供利用。

我们设计的自动编码器可以将图像分解价位反照率、深度、照明和视点。对这些因素中的任何一个没有直接监督。但是没有进一步的假设,建图像分解为这4个因素是病态的。因此,我们利用对称性作为几何线索来约束分解。

然而,在实践中的实例永远不会是完全对的,我们以两种方式解决这个问题。首先,我们显式的对赵宁进行建模以利用潜在的对称性,通过这样做,该模型可以利用照明作为恢复形状的附加线索。其次,我们增强了模型,以推理对象中潜在的对称缺乏,为此,该模型和其他因素一起预测一个密集度映射,该映射包含给定像素在图像中具有对称对应的概率。将这些元素结合在一个端到端的学习公式中,其中所有的组成部分,包括置信图,只从原始RGB数据中学习。还表明,对称可以通过翻转表示来实现,这对于概率性的对称推理特别有用。

实验包括多种数据集,表明模型具有更高的重建精度同时模型泛化能力强,可以用于非自然图像学习,如人脸和卡通画。

举报

相关推荐

0 条评论