AI被广泛采用的最大障碍之一就是解释它的工作原理。特别是深度神经网络非常复杂，很难描述清楚，这是一个确保AI做出的决策公平且不受人为偏见影响的问题。但在几个方面，可解释的人工智能(XAI)问题正在取得真正的进展。

几周前，随着谷歌云可解释人工智能的发布，谷歌成为头条新闻。可解释的人工智能是框架和工具的集合，向用户解释每个数据因素如何对机器学习模型的输出做出贡献。

谷歌云AI战略主管特雷西弗雷(Tracy Frey)在11月21日的博客中写道：“这些总结可以帮助企业理解为什么这个模型会做出决定。”“您可以使用这些信息来进一步改进模型，或者与模型的消费者分享有用的见解。”

Google的可解释AI将Google创造的一些内部技术公之于众，让开发者对其大规模搜索引擎和问答系统如何提供答案有更深入的了解。根据谷歌关于其可解释人工智能的白皮书，这些框架和工具利用了复杂的数学方程。

使用的关键数学元素之一是Shapley值，这是诺贝尔奖获得者数学家Lloyd Shapley于1953年在合作博弈领域创造的概念。沙普利价值有助于创造“反事实”或衬托。如果某个数据点的值不同，算法会不断评估它给出的结果。“主要问题是做这些被称为反事实的事情。例如，神经网络会问自己，'假设我看不到走进商店的人的衬衫颜色，这会改变我的估计吗？“他们走得有多快，”上个月在伦敦的一次活动中推出“可解释的人工智能”后，摩尔告诉BBC。“通过做大量的反事实，它逐渐建立了一个关于它是什么的画面，并且在进行预测时没有注意。"

摩尔说，这种反事实的方法是如此强大，以至于它使得可解释的问题变得毫无意义。他告诉BBC:“黑盒机器学习的时代已经过去了。”

然而，谷歌的XAI有一些局限性。首先，它只兼容TensorFlow机器学习框架。该模型必须在谷歌云上运行。尽管这无疑使谷歌云相对于其公共云竞争对手微软Azure和亚马逊Web服务拥有宝贵的竞争优势，这些竞争对手正在积极构建自己的AI系统，但这并没有使那些不想在谷歌云上运行的公司受益(我们被告知可能还有几家)。

这就是Zest AI的用武之地。这家位于加州伯班克的机器学习软件公司由一名前谷歌工程师创建，采用了沙普利和他的同事罗伯特奥曼(另一位诺贝尔奖获得者)创造的完美数学概念，并提供给金融服务业的客户。

Zesai首席技术官Jay Budzik向我们介绍了所有的工作原理：

Budzik告诉Datanami:“谷歌推出了一种叫做积分梯度的算法，它实际上只是合作博弈论中一种技术的重新包装。”“沙普利和他的同事奥曼描述的数学使你能够准确量化这些参与者的贡献。”

通过将机器学习模型中的变量替换为游戏中的玩家，可以使用Aumann-Shapley方法来评估每个变量对整个模型结果的贡献。这是他们XAI方法的核心“复杂数学”。