很多文章的报道都是由微观而宏观，今日小编讲给大家带来的关于当前的AI模型在对抗性示例方面缺乏鲁棒性 的资讯也不例外，希翼可以在一定的程度上开阔你们的视野！y有对当前的AI模型在对抗性示例方面缺乏鲁棒性 这篇文章感兴趣的小伙伴可以一起来看看

最近的研究已经发现，当前的AI模型在对抗对抗性示例方面缺乏鲁棒性-有意控制的规避预测数据输入与正常数据相似，但会导致训练有素的AI模型行为异常。例如，可以很容易地制作出视觉上无法察觉的停车标志扰动，并将高精度AI模型引向错误分类。在2018年欧洲计算机视觉会议(ECCV)上发表的前一篇论文中，我们验证了在ImageNet(大型公共对象识别数据集)上训练的18种不同分类模型都容易受到对抗性干扰的影响。

值得注意的是，对抗性示例通常是在“白盒”设置中生成的，其中AI 模型对对手完全透明 在实际情况下，当将自训练的AI模型作为服务(例如在线图像分类API)部署时，由于对底层AI模型的访问和知识有限(可能称为“黑匣子”设置)。但是，我们最近在AAAI 2019上发表的工作表明，由于有限的模型访问权限而导致的茁壮性没有基础。我们提供了一个通用框架，可仅使用模型的输入输出响应和少量模型查询从目标AI模型生成对抗性示例。与以前的工作(ZOO攻击)相比，我们提出的框架AutoZOOM可以平均减少至少93%的模型查询，同时获得类似的攻击性能，提供一种查询效率高的方法，用于评估访问受限的AI系统的对抗鲁棒性。图1中示出了一个示例性示例，其中将从黑盒图像分类器生成的对抗百吉饼图像分类为攻击目标“三角钢琴”。该论文被选为AAAI 2019的口头报告(1月29日，11：30-12：30 pm @珊瑚1)和海报演示(1月29日，6：30-8：30 pm)。

在白盒设置中，通常通过利用设计的攻击目标相对于数据输入的梯度来制作对抗示例，以指导对抗性扰动，这需要了解模型架构以及推理模型权重。但是，在黑匣子设置中，由于对这些模型详细信息的访问有限，因此无法实现渐变。相反，对手只能像常规用户一样访问已部署的AI模型的输入输出响应(例如，上载图像并从在线图像分类API接收预测)。在ZOO攻击中首次显示，可以通过使用梯度估量技术从访问受限的模型生成对抗性示例。但是，可能需要大量的模型查询来制作一个对抗性示例。例如，在图1中，ZOO攻击需要进行超过一百万个模型查询才干找到对抗性百吉饼图像。为了提高在黑盒设置中查找对抗性示例的查询效率，我们提出的AutoZOOM框架具有两个新颖的构建块：(i)一种自适应随机梯度估量策略，用于平衡查询计数和失真，以及(ii)自动编码器可以使用未标记的数据进行离线训练，也可以通过双线性调整大小来加速操作。对于(i)，AutoZOOM具有优化且查询效率高的梯度估量器，该算法具有一种自适应方案，该方案使用很少的查询来找到第一个成功的对抗性扰动，然后使用更多的查询来微调失真并使对抗性示例更真实。对于(ii)，如图2所示，AutoZOOM实现了一种称为“

利用这两种核心技术，我们在MNIST，CIFAR-10和ImageNet上训练的基于黑盒深层神经网络的图像分类器上进行的实验表明，AutoZOOM可以实现相似的攻击性能，同时平均查询次数显着减少(至少93%)与ZOO攻击相比，计数很重要。在ImageNet上，这种大幅度减少意味着数以百万计的模型查询减少了，这使AutoZOOM成为评估访问受限的AI模型的对抗鲁棒性的高效有用工具。此外，AutoZOOM是一种通用的查询兑换加速器，可以很容易地应用于实际黑盒设置中生成对抗性示例的不​​同方法。