腾讯光影研究室斩获国际语义分割ADE20K第一名，自研影像处理技术获瞩目

近日，腾讯光影研究室（Tencent GYLab）凭借自研语义分割算法GYSeg，在MIT Scene Parsing Benchmark 场景解析任务中刷新世界纪录拔得头筹，领先商汤科技、亚马逊、复旦、北大、MIT等国内外研究机构和高校。

关于ADE20K数据集

MIT Scene Parsing Benchmark 是全球范围内公认的最具挑战性、权威性、代表性的场景解析、语义分割评测集，为场景解析、语义分割提供了标准的训练和评价指标，在AI相关技术领域受到广泛关注和高度认可，吸引着众多国际知名企业、学术研究机构集中参与。其发布的ADE20K数据集在图像分割领域意义重大，是世界计算机视觉三大顶级会议（CVPR、ICCV和ECCV）语义分割论文权威基准数据集。

光影实验室自研GYSeg算法，斩获MIT场景解析评测第一

语义分割作为计算机视觉科学与人工智能最重要的任务之一，其目的在于让计算机能够识别出图像场景中每一个像素所代表的语义类别，是衡量计算机是否理解图像场景的重要评价标准，同时也是图像处理、短视频、自动驾驶，自动医疗诊断等应用的关键技术支撑。作为语义分割的全球权威评测数据集，ADE20K共包含150个类别，且场景目标复杂、目标尺度范围大，覆盖人类生活各个方面的场景，其中同种类的物体在不同场景中表现出的大小、比例、姿态差别非常大，不同物体之间存在遮挡严重的问题，甚至不少物体存在严重语义混淆。

针对ADE20K数据集的特点，腾讯光影研究室所自研的GYSeg算法，在网络结构设计、loss约束以及数据增强上进行大量训练和优化，以确保在庞大且复杂场景下的准确率。具体来说，GYSeg算法首先采用ResNest作为神经网络模型进行特征提取，并接入ASPP模块进行特征的增强与融合，结合最新提出的Hierarchical Multi-scale Attention策略，以确保不同大小物体的分割效果；其次使用ADE训练集数据搭建SegFix网络，再借助其所获得的图像边缘像素所属类别偏移值，对分割边缘进行处理优化，以此提升边缘分割的一致性。

图示：特征提取器流程图

除此之外，在数据增强方面，针对复杂分布的物体特征，除了使用随机缩放、对比度、blur等常规操作外，对于语义明确、数量较少的类别，团队采用了“复制-粘贴”的方式进行扩充，如动物、摩托车、自行车等。通过数据集提供的实例标注信息即可完成““复制-粘贴””操作，粘贴对象并不仅限于原图像，粘贴过程中带有随机的旋转和缩放以增加数据的多样性。在loss约束方面，借助OHEM进行在线困难样本挖掘，GYSeg算法在validation集上Miou提升0.4%，优于focalloss(提升0.26%)。

图示：效果图

持续深耕AI前沿技术研发，赋能更多应用场景

实际上，语义分割在我们日常生活中已经有很多应用。在自动驾驶领域，通过语义分割算法，计算机可以更好地把路面上的阴影和真正的障碍物区分开来，减少汽车的误判率。在社交软件和短视频产品应用上，各种变脸、变妆和AR等特效背后的人脸与场景高度精准融合，其“逼真”效果也都离不开语义分割。目前，基于行业前沿的AI技术框架，光影研究室已经实现了人像分割、头发分割、天空分割和视频分割等多项算法，并将前沿的分割能力结合丰富的玩法创意，给用户提供更酷炫的拍摄和视频编辑体验。

伴随新技术的不断发展和进步，AI在社交娱乐方面的应用也将变得更加丰富。前不久，作为业内首次将GAN技术与3D卡通风格相结合的应用特效，光影研究室推出的“童话脸”特效也已在网络中迅速走红，不仅有李雪琴亲传童话世界基本生存须知“公主并”，更是受到辣目洋子、刘晓庆、王大陆等众多明星青睐。据了解，童话脸特效是基于先进的生成对抗网络（GAN）算法研发而出，也是全球首家在手机上给用户提供的实时个性化童话脸特效。此前刷新微视视频特效制作量新纪录的王者脸，以及QQ上线的国内首创光头特效，均是腾讯光影研究室利用生成式对抗网络 GAN所打造的独特体验。

未来，光影研究室也将持续深耕AI前沿技术的研发和积累，探索并开放更多场景的创意玩法及能力，为用户提供充满趣味惊喜的社交新体验。

关于腾讯光影研究室

腾讯光影研究室是腾讯旗下专注于研究前沿影像处理技术的团队，在语义分割、目标检测、分类识别、GAN生成对抗等方面均有深厚的技术积累。团队一直致力于探索泛娱乐综合解决方案，将前沿的AI能力、先进的玩法引擎和3D渲染技术赋能产品，让音视频编辑更智能，社交沟通更趣味。目前，QQ、微视等超20款业务产品中，均有光影研究室技术的身影。