机器学习模型调整调整，在实验室里有着近乎完美的表现，真实的设定往往会失败，这已经不是什么秘密了。这通常是由于AI的训练和测试数据与其在世界上遇到的数据不匹配。这就是数据移位的问题。例如，经过训练的AI可以在高质量的医学图像中发现疾病的迹象，而在繁忙的诊所中，这些图像将受到廉价相机拍摄的模糊或裁剪图像的困扰。

现在，来自谷歌七个不同团队的40名研究人员已经确定了机器学习模型普遍失败的另一个主要原因。被称为“规格不足”的问题可能比数据移位更大。负责这项研究的亚历克斯达穆尔(Alex D'Amour)说：“我们需要的机器学习模型超出了我们现有方法无法保证的范围。”规格不足是统计学中的一个已知问题，观察到的影响可能有许多可能的原因。有因果推理背景的D'Amour想知道为什么他的机器学习模型在实践中经常失败。他想知道缺少规格是否也是这里的问题。D'Amour很快意识到许多同事在他们自己的模型中发现了同样的问题。他说，“其实这是一种现象，无处不在。”

D'Amour的初步调查如雨后春笋般涌现，数十名谷歌研究人员最终研究了从图像识别到自然语言处理(NLP)到疾病预测的各种AI应用。他们发现，缺乏规范是由于每个人的表现不佳。问题在于训练和测试机器学习模型的方式，没有简单的解决方案。

iRobot的机器学习工程师布兰登罗勒(Brandon Rohrer)表示，这篇论文是一个“令人震惊的球”。他曾在脸书和微软工作过，但没有参与这项工作。

但是不一样。

为了确切知道发生了什么，我们需要做一个备份。粗略来说，建立一个机器学习模型需要训练大量的例子，然后测试很多还没有见过的类似例子。模型通过测试后，就可以完成了。

谷歌研究人员指出，这个门槛太低了。训练过程可以产生许多不同的模型，这些模型都通过了测试，但这是关键部分。这些模型在任何小的方面都会有所不同，这取决于诸如在训练开始之前向神经网络中的节点分配随机值、选择或表示训练数据的方式、训练的运行次数等。如果这些小的、通常是随机的差异不影响模型在测试中的性能，它们通常会被忽略。但事实证明，它们可能会导致现实世界的表现发生巨大变化。

换句话说，今天用来建立大多数机器学习模型的过程不能确定哪些模型在现实世界中可以工作，哪些不能。