找回密码
 立即注册

Facebook用『SLAM+实时光流』实现AR真实遮挡效果

2019-11-29 10:24 来源: 映维网 科学资讯

7.jpg科技快报

(映维网 2019年11月29日)当前的AR系统仅追踪稀疏的几何特征,不计算所有像素的深度。所以,大多数AR效果都是纯粹的叠加层,无法实现真实的对象遮挡效果。针对这种情况,Facebook提出了一种新颖算法,其可以将稀疏深度实时传播至每个像素。生成的深度图在时间空间方面十分平滑,但在深度边缘显示出明显的不连续性。这使得AR效果可以与真实场景完全交互并被其遮挡。科技快报

该研究由Facebook计算机摄影学团队研究科学家约翰内斯·科普夫(Johannes Kopf) 和华盛顿大学亚历山大·霍林斯基(Aleksander Holynski)联合完成,相关论文《Fast Depth Densification for Occlusion-aware Augmented Reality(用于遮挡感知型增强现实的快速深度密化)》已经公开发表。科技快报

相关论文:Fast Depth Densification for Occlusion-aware Augmented Reality科技快报

Facebook的算法使用视频和稀疏SLAM重建作为输入。首先,它会从光流场的梯度变化估计软深度边缘。由于在遮挡附近的光流不可靠,所以研究人员使用了一种全新的可靠性测量仿佛来计算正向和反向流场,并融合所得到的深度边缘。然后,算法会细化深度边缘,并将其与图像边缘对齐,从而定位深度边缘。最后,他们优化了传播深度,但鼓励在恢复的深度边缘位置出现不连续性。团队提供了一系列的真实示例结果,并演示了几种可识别遮挡的AR视频效果。为了定量评估算法,Facebook表征了使深度图适用于AR应用程序的属性,并提出了新颖的评估指标来说明效果。这家公司指出,与一组竞争性基准算法相比,他们的算法具有优势。科技快报

约翰内斯·科普夫(Johannes Kopf)说:“我们用SLAM来非常精确地追踪数个点的深度,但我们同时采用一种实时光流方法来预测余下像素的运动。但由于这是一种实时方法,其质量不足以直接进行深度预测,不过我们可以用它来确定场景中的主要深度边缘位置。然后,我们回到这些非常精确的SLAM点,并将它们的深度传播至所有余下的像素,但在这些恢复的深度边缘位置停止传播。这可以确保所有的对象边缘都非常清晰,这非常快速,并且产生了非常适合AR的深度映射。因为除了这些都超级清晰的不连续处之外,一切都非常平滑。它们非常适合用来将虚拟对象插入至看似确实置身其间的场景,这是因为它们可以位于真实对象的前面或后面。我非常期待看到这项技术,以及其他人正在研发的技术,将如何帮助模糊真实和虚拟的界限,并令AR更为逼真 更加引人入胜。”科技快报

  免责声明:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。

  另,市场有风险,选择需谨慎!此文仅供参考,不作买卖依据,投资者若据此操作,风险自担。

  投稿邮箱:[email protected]。详情访问科技快报网:http://www.citreport.com

编辑:科技君
微信公众号
意见反馈 科技快报网微信公众号