驾驭马赛克？微软AI打码手艺 VS 谷歌AI解码绝活

上个月底，微软研究院推出一套基于AI技术的视频人脸模糊解决方案，通俗讲就是为人脸自动打码。而在今日，谷歌发布了模糊图片转高清图片的解决方案，说白了就是去除马赛克的技术。

你说谷歌，人家微软刚整出一套自动打码手艺，你就来个自动解码绝活，还能不能一起愉快的玩耍。

不少人有个疑问，那么谷歌是否能解除微软打的马赛克，上演一番科技版“用我的矛戳你的洞”？我们先来看下双方的技术原理是怎么样。

微软自动打码手艺根据微软亚洲研究院副研究员谢文轩介绍，操作这套解决方案，用户只需在后台用鼠标选择想要打码的人物，相应人物在视频中的所有露脸区域都将被打上马赛克。

大致流程如下：

技术解决方案背后的逻辑是先找出视频中全部人脸所在的位置，第二步是把同一个人的所有人脸连接起来。

这背后涉及到人脸检测、追踪和识别。

1.人脸检测

人脸检测的作用是定位人脸出现的位置。为了保证人脸尽量不被漏掉，微软采用了一套基于深度网络的、具有高召回率的人脸检测器。该检测器对视频的每一帧都进行检测，记录每个人脸对应的矩形框位置。

2.人脸追踪

在某一帧中给出一个人脸框，在其前几帧和后几帧都找到与之最相似的框。人脸跟踪的作用体现在这两大方面：一是连接相邻帧的检测框，因为人脸检测只负责每一帧的人脸定位，不负责帧间的连接；二是将当前帧的人脸检测框延续到前后几帧，这样即可定位到那些检测不到的侧脸。

3.人脸识别

当然，该方案仅仅靠人脸检测与追踪还是不够的。假设一个场景，如果视频中存在镜头切换以及人物遮挡等问题，就需要利用人脸识别。微软训练了一套基于深度网络的人脸识别模型，对于不同镜头里的两张人脸，根据相似度对它们进行连接。最后系统将整个视频中不同人物的人脸都各自连接起来，提供给用户进行挑选。

时间复杂度方面，系统在 Azure 的CPU服务器上能够实时处理720p的视频，并且能够以2倍时长处理1080p的高清视频。

在讲谷歌的自动解除马赛克绝活前，我们先来了解下马赛克还原问题。

马赛克还原之殇通常来讲，马赛克是不可逆损失信息的，很难还原。

为何难以还原？

打码是一个减少信息量的过程，这些减少的信息已经丢失。马赛克处理相当于对图像信号的进行比原始数据更低频率的采样。根据奈奎斯特采样定理，如果这个采样频率比原始数据的频率的2倍还要低，那么必然产生不可逆的数据损失。大部分情况下，“马赛克”处理都会产生不可逆的数据损失。

打马赛克的方式有多种，最常见的就是取平均。我们可以把一张图片想象成一个方格矩阵，里面不同的数值（RGB、CMYK数值）表示不同的颜色。打马赛克的本质就是把那个区域的数字都取周围数字的平均数。

举个简单的例子，一张16个像素的图像，用一个很简单的算法打码，每四个像素取左上角的像素的值。

广义的马赛克可为两大类：大块马赛克模糊和小块马赛克模糊。

大块马赛克模糊往往更难处理。

而小块马赛克模糊相比而言容易一些。

为何小块的马赛克容易还原？

马赛克是一个抽样信号，抽样信号能否还原取决于采样间距，也就是每个色块的大小。如果采样间距不是很大的话，将抽样信号通过一个低通滤波器是可以基本还原原始信号的。上面黑白照片上的马赛克色块大小基本上都超过了允许采样间距。这种信号通过低通滤波器的话会导致高频信号失真，也就是图片的细节。

近视眼可以看做是一种低通滤波器，你可以试着摘下眼镜看看上述黑白照片的马赛克酒壶，比戴眼镜更能看出轮廓。所以我们在远看马赛克的时候反而能看出轮廓，近了就什么都看不出了。

还原马赛克的方式在面对模糊不是特别严重的情况下，传统的方式可以用插值进行还原。插值通俗讲就是把原来一个像素的地方