从画中逃走 Facebook实现在AR中基于图片人物生成3D动画

2019年01月03日，在学习谷歌和华为并向华盛顿大学的UW Reality Lab捐赠一笔资金后，Facebook的付出似乎开始迎来回报。

根据本月初公布了一份的论文《Photo Wake-Up: 3D Character Animation from a Single Photo(唤醒图片：基于单张图片的3D角色动画)》，华盛顿大学和Facebook的研究人员开发了一种仅利用单张图片即可在AR环境中生成3D动画的方法。

他们的方案能够将可变形躯体模型拟合到图像，并估计模型的躯体映射。利用映射模型，系统能够构建3D网格，然后将纹理应用于与躯体映射匹配的网格，同时集成骨架rig以控制图形的运动。如动图或视频所示，具体的效果就像是照片中的对象活了过来。研究小组表示，他们研发的系统适用于图片，卡通人物，甚至是抽象绘画。

对于 《Photo Wake-Up: 3D Character Animation from a Single Photo(唤醒图片：基于单张图片的3D角色动画)》这份论文，作者包括Facebook研究科学家、华盛顿大学Paul G. Allen计算机科学与工程学院的助理教授Ira Kemelmacher-Shlizerman;UW Reality Lab的联合主任Brian Curless;以及华盛顿大学博士生，于2018年夏天曾在Facebook担任研究实习生的翁仲毅。

Kemelmacher-Shlizerman是在Facebook收购其初创公司Dreambit后加入这家公司。Curless对3D表面重建的研究则曾对微软HoloLens和谷歌Project Tango中的环境映射算法作出过贡献。

在演示视频中我们可以看到，一名HoloLens用户正看着毕加索画作中的人物从画布“逃走”，广告中的男人向前奔跑，以及詹姆斯·保罗·麦卡特尼从披头士唱片《Help!》的封面中冒出头来。

正如论文在局限部分所述，实践结果有点粗糙(当然，这实际上有利于抽象画作)，但计算机视觉方法与Facebook对Spark AR平台的全身AR蒙版，图像识别，以及其他功能的研究相一致。

就目前而言，研究团队只是通过HoloLens演示了这种AR体验，他们没有明确表示方法的实现是否需要这款头显的深度传感器。

尽管研究技术可能不会马上登陆Spark AR平台或谷歌的移动AR项目，但最终，为华盛顿大学UW Reality Lab提供过资金援助的企业都会从相关的研究中获益。