人工智能的圣杯：关于可解释AI(XAI)的一切

大数据文摘出品

编译：江泽斌、韦振琛、钱天培

在过去十年间，无数个人工智能解决方案在各大企业得到部署。

智能受众评测系统、智能财务合规系统、智能人员招聘系统，不一而足。

这期间，在企业客户却也始终存在一种怀疑态度：AI系统做出的产品部署是否真的值得被信赖呢？

在我看来，这也是企业人工智能要着力攻克的下一个难题。

错误的客户流失预测会使企业失去一个重要的客户，而错误的金融交易分类会使企业蒙受资金损失。实际上，客户对人工智能模型的精确度不是特别在意，他们更担心的是数据科学家们无法解释的一个问题：“我如何相信它做出的决策？”

AI系统--我如何信任它们？

在大多数支持AI的数字化转型中，客户喜欢让他们的系统拥有AI的能力以实现某些商业价值主张。另一方面，大多数数据科学家则追求使用最流行的算法(如DNN/GAINS/DRN等)。遗憾的是，他们都忘记了在决策制定过程中的问责机制和信任机制中存在着一个关键因素。

在现实生活中，每一个决策，无论是由机器还是低级员工又或是首席执行官做出的，为了达到提高整体的业务水平的目的，都要通过定期的审查，来解释他们的决定。这就产生了人工智能的新兴分支，称为“可解释的人工智能”(XAI)。

什么是可解释的AI(XAI)?

XAI是人工智能的一个新兴分支，用于解释人工智能所做出的每一个决策背后的逻辑。下图是对一个完整AI决策流程的简单描述。

除了对上述问题提供解决方案之外，XAI还具有更深层的业务优势，例如：

• 改善AI模型的性能。因为XAI的解释有助于找到数据和特征行为中的问题。
• 更好的决策部署。因为XAI的解释为中间人提供了额外的信息和信心，使其可以可以明智而果断地行动。
• 提供一种控制感。因为AI系统的所有者清楚地知道其AI系统行为和边界的杠杆。
• 提供一种安全感。因为每一个决定都需要通过安全指南，且对违规行为还会发出警告。
• 与利益相关者建立信任关系。他们可以清晰看到每一个决策背后的逻辑推理。
• 可监控由于训练数据偏差导致的道德问题和违规。
• 提供更好的机制来遵循组织内的问责要求，以进行审计和其他目的。
• 更好地遵守监管要求(比如《通用数据保护条例》GDPR)，其中要求一个系统必须具有“解释权”。

AI系统部署中的角色

要实现可解释AI，我认为关键不在于工具和技术，而在于人类在这些人工智能系统中所扮演的角色。从广义上讲，我们可以用三个方面定义他们：

训练者--训练系统达到预期的功能行为

解释者-解释系统做出的决定

维护者-维持AI系统对业务KPI的效用

训练者

客户语言训练师

*教AI系统体会言外之意，例如检测讽刺

智能机器交互建模师

*学会员工行为，例如，一个AI系统可以从会计行为中学习如何自动匹配支出款项和发票。

*世界观训练师

使AI系统拥有全球化的观点。当做决定时不同文化的观点都要被考虑，比如判断一个算法是否“公平”

解释者

*背景设计师

根据业务背景，正在处理的任务，或个人或专业或文化等因素的不同设计更好的决策。

*透明度分析师

对使用不同类型的AI算法的不透明度(以及对业务的相应影响)进行分类，并对该信息库存进行维护

*AI落地策略

决定是否对特定的应用部署AI系统(或是应用传统的规则引擎和脚本)

维护者

*自动化伦理分析师

评估智能机器的非经济影响，包括正面和负面的

*自动化经济分析师

评估性能不良机器的成本

*机器关系管理者

"推广"在业务中表现良好的算法，并“降级”性能较差的算法

对于训练者和维护者的角色来说，他们有大量的工具可以使用。但对解释者来说，情况就不那么乐观了。人工智能/机器学习算法在本质上是著名的黑箱理论的一种，因为它的基于训练数据的大量非线性性质的权重和偏差的学习机制