解释性AI是指试图为传统不透明的AI模型及其预测带来透明性的技术，是机器学习研究的一个新的子领域。这并不奇怪——模型有时候会学习一些不好的技能来达到训练数据的目的，或者模型有偏差，不解决可能会造成伤害。

因此，克里希纳盖德和阿米特卡帕在加州山景城成立了初创公司Fiddler，致力于开发一种“可解释”的引擎，旨在分析、验证和管理AI解决方案。一年多一点后，它吸引了1020万美元的A轮融资。光速创投(Lightspeed Venture Partners)和Lux Capital是联合领导者，参与了Haystack Ventures和彭博Beta。

CEO加德表示，“企业理解人工智能提供的价值，但在使用传统黑盒人工智能时会遇到“为什么”和“如何”的问题。”他补充说，新资金使Fiddler的融资总额达到1320万美元。“企业需要降低其人工智能投资的风险，但今天的大多数应用程序都无法帮助他们做到这一点。我们的AI引擎基于可解释性，因此那些受技术影响的人可以理解为什么他们必须做出决定，并根据需要做出正确的路线，以确保AI输出是道德的、负责任的和公平的。”

Fiddler起源于Gade在脸书担任工程经理的工作，在那里他和一个团队开发了一个系统来解释为什么某些故事会出现在新闻提要中。为了找到一种让人工智能模型可以解释的通用方法，盖德重新联系了以前的同事兼同学卡帕，他在三星的领导下，努力从该公司购物应用程序的建议中获得见解。他们和来自微软、Twitter、Pinterest等科技巨头的团队一起开发了原型，成为了Fiddler的产品。

Fiddler的可解释引擎预计明年全面上市。它解释了模型如何以及为什么做出预测，并授权人类审计员确保预测与预期一致。该组件允许用户查看特定数据区域如何影响模型，并调整输入以最小化(或最大化)其影响，同时跟踪模块持续监视模型以发现异常值、数据漂移和错误，并警告适当的人员。

Fiddler表示，它正在与多家世界500强公司合作，涉及银行和金融、金融科技、AI模型风险管理以及主动概念证明的信任和合规，但它有许多竞争方式。8月，IBM Research推出了AI Explainability 360，这是一个开放算法的开源集合。这种算法使用多种技术来解释AI模型决策。Kyndi开始开发它所谓的可解释的自然语言处理平台，并在7月份投入了2000万美元。微软和谷歌最近开源的lnterpretML和假设分析工具Tensorboard是一对分别用于解释黑盒AI的工具包。脸书说，他们已经开发出一种工具来检测和减轻他们的人工智能系统中的偏见。

但Lux Capital的合伙人Bilal Zuberi认为，小提琴家可以为自己开拓一个利基市场。

“我们立即看到了Fiddler Labs向行业展示的价值，”打算加入Fiddler董事会的Zuberi说。“我们看到越来越多的公司为我们提供基于各种算法的商业模式，从推荐引擎和商业分析到医疗诊断和自动驾驶汽车。在没有解释和透明度的情况下，你如何做出重要的、至关重要的决策？我们对Fiddler的市场和潜力感到兴奋。”