京东探索稀疏三维空间点云 Global Context 论文入选 NeurIPS2020

近日，第 34 届神经信息处理系统大会（Conference on Neural Information Processing Systems，简称 NeurIPS，NIPS）在线上召开。作为全球顶级的机器学习和计算神经科学会议，今年的 NIPS 依然受到了学者们的高度关注，甚至由于其线上开放的特性缓解了往年抢票难的问题，而将获得更多的 " 听众 "。

据悉，今年 NeurIPS 稿件录取率为 20.09%，创下历史新低。在如此严苛的录取标准之下，京东 AI 深度学习与语音语义实验室提交的探索稀疏 3D 点云 Global Context 的论文《Group Contextual Encoding for 3D Point Clouds》成功入选。今年以来，京东 AI 深度学习与语音语义实验室的研究成果频获国际认可，此前还有多篇论文入选国际语音和语言处理顶会比如 ACL 2020、AAAI 2020、INTERSPEECH 2020 等。

Global Context 对视觉感知至关重要，可以根据语义信息提高物体识别的准确率，但目前针对 3D 点云的 Global Context 的研究还不够充分，特别是在三维空间的情况下，数据呈现高维、稀疏的特点，对传统深度学习算法提出了挑战。因此，京东 AI 研究院基于其研究实习生计划与东京大学合作了《Group Contextual Encoding for 3D Point Clouds》，针对这一研究领域提出了 Group Contextual Encoding 的 Global Context 学习方法。

首先要解决数据的稀疏问题。通过把特征通道分组，从而获得更多的等效数据，如图 1 所示，如果把通道分成 G 组特征子向量，数据就相对应增广了 G 倍。再将分组后的特征子向量通过 Encoding layer 得到 Global context，从而有利于在分组后的特征子空间学习全局上下文， 然后通过 channel attention 的形式作用于分组后的特征。最后通过 Concat 操作恢复为原特征的尺寸。如此操作既解决了数据的稀疏问题，又解决算法结构复杂、算力耗费巨大的问题。

随后，京东 AI 研究院又将这种方法在多个 3D 数集上进行验证，不仅证实这种方法简单有效，还刷新了 SOTA 方法的性能。将这种方法应用在 PointNet Backbone 上，并部署到 VoteNet 模型。如表 1 所示，在 ScanNet 数据集以 mAP@0.25 指标测评时，该方法领先 VoteNet 【3】 2.2mAP，增幅已然明显，但更令人惊喜的是，在更加严格的 mAP@0.5 的指标下，如表 2 所示，该方法领先 Waymo、Facebook AI Research 以及 Stanford 大学提出的 VoteNet 高达 6.57 mAP，可视化结果如图 2 所示。

表 1：ScanNet 数据集 mAP@0.25 评测指标的结果。

表 3：SUN-RGBD 数据集 mAP@0.25 评测指标的结果 .

京东自 2017 年开始全面向技术转型，用技术重塑了京东的生态系统，逐渐突破零售边界，拓展至数字科技、物流、健康等众多领域。一直以来，消费者们更多的在购物、物流等环节体验到京东技术的进步，如今，京东在人工智能领域的长足进展不仅获得学术界的认可，也逐渐被更多的用户所知悉，京东的智能语音技术也已经在智能外呼机器人、客服语音机器人等电话交互场景中实现成熟应用，此次提出的 Group Contextual Encoding 方法也可以应用在下游的 AR（增强现实）、MR（混合现实）以及机器人，自动驾驶等领域，推动这些领域的发展。京东技术将不仅赋能金融、医疗、教育、健康等行业，还将在更多领域为用户提供便利。

参考文献

【1】Wang, Xu, Jingming He, and Lin Ma. "Exploiting Local and Global Structure for Point Cloud Semantic Segmentation with Contextual Point Representations." Advances in Neural Information Processing Systems. 2019.

【2】Zhang, Hang, et al. "Context encoding for semantic segmentation." Proceedings of the IEEE conference on Computer Vision and Pattern Recognition. 2018.

【3】Qi, Charles R., et al. "Deep hough voting for 3d object detection in point clouds." Proceedings of the IEEE International Conference on Computer Vision. 2019.