尽管自动驾驶汽车 (AV) 的历史可以追溯到 20 世纪 90 年代，但大多数自动驾驶汽车的研究都是使用实验室的测试数据进行的。

鲁棒 人工智能大挑战赛是与未来系统和技术理事会、新加坡国防部和 DSO 国家实验室合作举办的，旨在让来自高等教育机构 (IHL) 和研究所 (RI) 的研究人员和学者开发创新解决方案克服自动驾驶汽车计算机视觉(CV)系统中人工智能(AI)模型的漏洞。

三支队伍被选拔参加这项挑战赛——两支来自南洋理工大学(NTU)的队伍和一支来自新加坡国立大学(NUS)的队伍。SMU 计算机科学助理教授和李光前研究员谢晓飞将作为南洋理工大学团队的一员参加比赛。

当被问及是什么促使他参加这项挑战时，谢教授回答说：“当我在南洋理工大学时，我有机会与刘洋教授和其他联合首席研究员合作开展多个研究项目。此外，可信软件和人工智能领域也符合我的研究兴趣。”

他补充道：“对我来说，另一个激励因素是有机会构建强大的人工智能模型并在现实世界中对其进行测试。

“事实证明，任何物理威胁或攻击都会影响计算机视觉系统的准确性。我相信这就是为什么大挑战赛旨在挑战研究人员为自动驾驶汽车设计 CV 系统，使其在任何物理威胁或攻击发生后能够恢复到至少 80% 的原始精度;例如，另一辆车突然转向 AV。虽然在某些测试基准上已经获得了 80% 的准确度，但迄今为止，实际数据尚未达到这一阈值。”

他继续说道：“除了在挑战中满足这一精度阈值之外，团队还需要深入研究与自动驾驶系统相关的三个特定的 CV 场景，包括它们检测物体的能力，提供物体到目标的深度和距离的可接受的估计。 AV，并对图像的每个像素进行分类，以便轻松、准确地识别。”

这个调查

除了谢教授之外，南大团队还有其他六名研究人员。他们包括刘阳教授、郭庆博士、张天伟助理教授、陈吕助理教授、张汉旺助理教授和董进松教授。

为了在这一重大挑战中获得一席之地，该团队设计了四个工作包，作为其综合研究项目的一部分，该项目于 2023 年 7 月 1 日刚刚开始，将持续三年。该项目的前两年将用于开发最佳的CV技术，而第三年将侧重于现场测试该技术。

四个工作包

Work Package 1 旨在提供统一且全面的 AV 视觉表示。

目前，大多数关于自动驾驶表示的研究都集中在静态或特定情况下的单向传感和目标检测。现有的自动驾驶表示通常采用单独的模型来处理和识别不同类型的数据，例如图像、 利用三维 (3D) 和激光扫描或其他传感组合的LiDAR (光检测和测距的缩写)信号视觉方式。

虽然当前的 AV 视觉表示方法非常适合其设计的数据类型，但缺乏不同数据类型的集成。这可能会影响 AV 系统的整体性能和效率。例如，尽管拥有针对减轻针对图像数据的攻击而优化的防御机制，但自动驾驶汽车可能容易受到针对激光雷达信号的攻击。

这就是为什么这个工作包的重点是创建一个统一的多视图和多模态表示，它不仅可以结合丰富信息的检测和考虑，还​​可以使用来自不同相机镜头、图像和激光雷达信号的输入。在此过程中，研究团队打算建立强大的模型，可以匹配不断变化的场景，或模拟物理世界中发生的威胁/攻击。

考虑到在物理世界中进行实验的复杂性和成本， 工作包 2 的 重点是综合数字世界和物理世界之间的实际工作威胁。

通过利用工作包 1 中描述的统一表示，研究团队的目标是在将 CV 模型部署到物理 AV 系统之前，更有效地迭代和评估 CV 模型的鲁棒性。

此外，通过统一的表示，研究团队将能够模拟天气条件的变化，修改场景中的对象，甚至合并其他现实世界的变化，例如有人在自动驾驶汽车前面奔跑。

工作包 3背后的目的 是通过重建不同的场景来集成多个视图和模式，以提高 AV 在受到威胁或攻击时做出稳健且正确决策的能力。

研究团队还将深入研究对抗性修复技术的概念，以增强自动驾驶汽车的弹性。

工作包 4 将深入理解人工智能决策过程的逻辑。

为此，研究团队将首先分析神经元的行为以及与模型预测相关的各自权重，以深入了解人工智能系统所采用的决策逻辑。

研究人员还将探索有助于模型预测的重要特征，特别是为什么某些数据点被归类为攻击或威胁的前兆。这一探索将使研究人员能够了解攻击如何利用人工智能决策过程的漏洞。

一旦彻底了解人工智能决策过程的逻辑，研究人员将继续通过调整神经元的影响和/或预测权重来增强模型针对此类攻击的鲁棒性，以构建更具弹性的系统。