腾讯优图11篇论文入选，涵盖动作识别、人群密度估计、人脸安全等领域

　　0 5

　　混合域活体检测中的通用表征学习

　　Generalizable Representation Learning for Mixture Domain Face Anti-Spoofing

　　基于域泛化的活体检测技术对未知场景有更好的泛化性，受到了工业界和学术界的广泛关注。已有的域泛化方法需要域标签的支持，然而在实际场景中，所收集到的往往是域信息不可知的混合数据。在这种场景下，大多数已有的方法是不可用的。而且域划分的方式可以有多种，因此单一固定的划分方法可能只是次优解。

　　为解决实际混合数据问题，腾讯优图提出了一种基于迭代式无监督子域划分的元学习方法。该方法无需域标签，通过高鉴别性的域特征实现子域划分，并通过元学习的方式进行模型的优化。具体来说，腾讯优图基于实例正则化定义了域信息表示，并设计了域表示学习模块(DRLM)来提取高鉴别性的域特征用以精准的域聚类。

　　此外，为了缓解离群点对聚类的阻碍，腾讯优图采用最大均值差异(MMD)来校正样本特征分布与先验分布的差异，以增强聚类的可靠性。实验结果表明腾讯优图的方法(D2AM)优于传统的域泛化方法，包括使用域标签的方法，为实际场景下活体技术的应用提供了有效框架。

　　0 6

　　基于局部关联学习的人脸伪造检测

　　Local Relation Learning for Face Forgery Detection

　　随着人脸编辑技术的快速发展，人脸内容取证引起了广泛的关注。大多数现有方法往往利用二值类别标签或伪造区域等监督信息来解决人脸伪造检测任务。然而，由于没有考虑到局部区域间的关联，这些全局监督信息不足以学习到泛化性强的特征，往往容易过拟合。

　　为了解决这个问题，腾讯优图提出了一种通过局部关联学习来进行人脸伪造检测的新方法。具体而言，腾讯优图提出了一个多尺度局部相似性模块(MPSM)，该模块通过衡量局部区域特征间的相似性来构造一种泛化性强、鲁棒性高的相似模式。

　　此外，腾讯优图还提出了一个RGB-频域注意力模块(RFAM)来融合RGB图像和频域信息，从而得到更全面的局部特征表示，进一步提高了相似模式的可靠性。大量的实验表明腾讯优图所提出的方法在多个数据集上优于现有的方法，同时详细的可视化也充分证明了腾讯优图方法的鲁棒性和可解释性。

　　0 7

　　基于可泛化样本选择的行人重识别方法

　　One for More: Selecting Generalizable Samples for Generalizable ReID Model

　　现有行人重新识别(ReID)模型的训练目标是在当前批次样本上模型的损失减少，而与其他批次样本的性能无关。它将不可避免地导致模型过拟合到某些样本(例如，不平衡类中的头部数据，简单样本或噪声样本)。目前有基于采样的方法通过设计特定准则来选择特定样本来解决该问题，这些方法对某些类型的数据(例如难样本，尾部数据)施加了更多的关注，这不适用于真实的ReID数据分布。因此，本文将所选样本的泛化能力作为损失函数，并学习一个采样器来自动选择可泛化样本，而不是简单地推测哪些样本更有意义。更重要的是，腾讯优图提出的基于可泛化能力的采样器可以无缝集成到ReID训练框架中，该框架能够以端到端的方式同时训练ReID模型和采样器。实验结果表明，该方法可以有效地改善ReID模型的训练，提高ReID模型的性能。

　　0 8

　　Learning a Few-shot Embedding Model by Contrastive Learning

　　基于对比学习的小样本植入模型

　　小样本学习是根据少量的先验信息去对于目标目标类别进行分类。这些信息一般沉淀在一个深度模型中，用来对支持集和问询集进行匹配。本文的目标是利用对比学习的方法学习一个小样本植入模型，具体贡献如下：

　　(1)腾讯优图深入研究噪声对比估计方法，并利用它来训练小样本植入模型。

　　(2)腾讯优图提出一个名为infoPatch的植入模型方法，智能挖掘局部的联系，保证稳步提升小样本分类的能力。

　　(3)腾讯优图在文章中展示了infoPatch的有效性。

　　(4)腾讯优图的模型的指标在三个常用数据集miniImageNet，tieredImageNet和ewshot-CIFAR100上都达到了顶尖水准。

　　0 9

　　基于 T ransformer结构层内-层间联合全局表示的图像描述

　　Improving Image Captioning by Leveraging Intra- and Inter-layer Global Representation in Transformer Network

　　本论文由腾讯优图实验室与厦门大学合作完成。

　　基于Transformer的结构近来在图像描述任务中取得了巨大的成功， 这些模型的范式都是将目标regions编码成隐含特征实现描述的解码。 然而，腾讯优图发现这些隐含特征仅仅涵盖了region级别的局部特征，忽略了考虑整张图片的全局特征的建模，使得模型难以进一步拓展在图像描述中的复杂多模态推理能力。 因此，这篇文章腾讯优图提出了一个新的模型GET，同时提取更为综合的全局信息并将全局信息作为自适应引导信号生成更为高质量的图像描述。具体而言，在该模型中，腾讯优图首先设计了一个全局加强的编码器和全局自适应的解码器，其中前者利用Transformer层级结构特点，提取层内-层间联合全局特征，后者则利用全局自适应控制器，控制全局特征融入解码器来指导图像描述的生成。本文在MS COCO数据集上的实验证明了腾讯优图相对于当前最先进模型的优势。

　　1 0

　　基于双层级特征协同T ransformer 的图像描述生成

　　Dual-level Collaborative Transformer for Image Captioning

　　本论文由腾讯优图实验室与厦门大学合作完成。

　　由目标检测网络提取的区域特征在图像描述生成的发展中起着重要的作用。然而，这种特征中缺乏上下文信息和细粒度细节，而这正是网格特征的优点。本文提出了一种新的双层级特征协同Transformer，以实现两者的优势互补。具体地说，在DLCT中，腾讯优图首先使用DWSA来挖掘它们的内在特性，并在其中引入综合关系注意力机制来嵌入几何信息。此外，腾讯优图还提出了LCCA模块，目的是解决这两个特征直接融合所产生的语义噪声问题，通过构造几何对齐图来精确对齐和增强区域和网格特征。为了验证腾讯优图的模型，腾讯优图在基准数据集MS-COCO上进行了大量的实验，并在本地和在线测试集上实现了SOTA性能，

　　在Karpathy 测试集上达到133.8%的CIDEr得分，在官方测试集上达到135.4%的CIDEr得分。

　　1 1

　　图博弈嵌入

　　Graph   Game   Embedding

　　本论文由腾讯优图实验室与南京理工大学合作完成。

　　图嵌入旨在将节点/边编码为低维连续特征，已成为图分析的重要工具并被应用于图/节点分类，链接预测等任务。在本文中，腾讯优图提出了一种新颖的名为图博弈嵌入的图学习框架，以学习具有判别性的节点表示并对图结构进行编码。受博弈学习理论的启发，节点嵌入被转换为博弈过程中玩家策略的选择/搜索过程，其中每个节点对应一个玩家，而每条边对应于两个玩家之间的交互。然后，定义了一个在理论上满足纳什均衡的收益函数以衡量图演化过程中参与玩家(节点)的收益/损失。更进一步地，引入了一种合作与竞争机制以提高该框架的判别学习能力。在上述图博弈嵌入框架下，考虑节点的不同交互方式，腾讯优图提出了两种具体模型，即对交互图博弈嵌入模型和群组图博弈嵌入模型。与现有的图嵌入方法相比，本文所提出的框架具有两个优点：(1)所设计的收益函数保证了图网络的稳定演化，满足纳什均衡且具有收敛性的理论保证;(2)所引入的协作和竞争机制可指导每个节点学习到区别于其他节点的优化策略，从而赋予图博弈嵌入框架以学习具有判别性特征的能力。腾讯优图在三个关于引文网络的公共数据集上对所提出的方法进行了评测，实验结果验证了其有效性。