新工具评估深度强化学习的进展

来源：MIT

在任何一个大城市中，驾驶的一个显著特点就是，随着交通信号灯的变化，以及汽车和卡车的合流、分流、转弯和停车，车辆需要不断地停停走走。这种频繁的启停效率极低，导致每行驶一英里所排放的包括温室气体在内的污染物数量增加。

应对这一问题的一种方法被称为生态驾驶，它可以作为一种控制系统安装在自动驾驶汽车上，以提高其效率。

这种系统能带来多大的改变呢？这种系统在减少排放方面的影响是否值得对该技术进行投资呢？解决这类问题属于一大类优化问题，对研究人员来说颇具挑战，而且也很难测试他们提出的解决方案。这些问题涉及许多不同的主体，比如城市中各种各样的车辆，以及影响排放的不同因素，包括车速、天气、路况和交通信号灯的时间设置。

麻省理工学院土木与环境工程系以及数据、系统与社会研究所（IDSS）的托马斯・D・和弗吉尼亚・W・卡博特职业发展副教授、信息与决策系统实验室的首席研究员凯茜・吴（Cathy Wu）表示：“几年前，我们对这样一个问题产生了兴趣：自动驾驶汽车在减排方面能做些什么呢？我们想知道，这是杯水车薪，还是值得深入探讨的问题呢？”

要解决这样一个涉及众多因素的问题，首先需要从多个来源收集有关该系统的所有可用数据。吴教授说，其中一个数据是网络拓扑结构布局，在这个例子中就是每个城市中所有交叉路口的地图。此外，还有美国地质调查局提供的显示海拔高度的数据，用于确定道路的坡度。还有关于温度和湿度的数据、车辆类型和使用年限的数据，以及燃料类型的数据。

生态驾驶涉及进行细微的调整，以尽量减少不必要的燃料消耗。例如，当汽车接近变红的交通信号灯时，她说：“我没有必要尽可能快地驶向红灯。” 只要让车辆滑行，“在此期间就不会消耗汽油或电力”。如果有一辆汽车，比如自动驾驶汽车，在接近交叉路口时减速，那么后面的传统非自动驾驶汽车也会被迫减速，所以这种高效驾驶的影响远远超出了进行生态驾驶的那辆车本身。

吴教授说，这就是生态驾驶背后的基本理念。但是，要弄清楚这些措施的影响，“这些都是具有挑战性的优化问题”，涉及许多不同的因素和参数，“所以现在人们对如何使用人工智能来解决复杂的控制问题产生了浓厚的兴趣”。

吴教授和她的合作者基于城市生态驾驶开发的新基准测试系统 “交叉路口动物园”，旨在满足这方面的部分需求。在新加坡举行的 2025 年学习表征国际会议上展示的一篇论文中，对该基准测试系统进行了详细介绍。

吴教授说，研究解决这类复杂问题的方法时，多智能体深度强化学习（DRL）是一类重要的方法，但缺乏足够的标准基准来评估这类方法的结果，这阻碍了该领域的进展。

新的基准测试旨在解决吴教授和她的团队两年前发现的一个重要问题，即对于大多数现有的深度强化学习算法，当针对一种特定情况（例如某个特定的交叉路口）进行训练时，即使对场景进行了微小的修改，比如增加一条自行车道或改变交通信号灯的时间设置，即使允许对修改后的场景进行训练，训练结果也不再适用。

吴教授指出，事实上，这种缺乏通用性的问题 “并非交通领域所独有”。她说：“这个问题在学术界用于评估算法设计进展的典型任务中也存在。” 但是，由于大多数这样的典型任务不涉及进行修改，“如果我们不针对这一点进行评估，就很难知道我们的算法在鲁棒性问题上是否取得了进展”。

她说，虽然目前有许多基准测试用于评估深度强化学习算法的进展，“但生态驾驶问题具有一系列丰富的特征，这些特征在解决现实世界的问题时非常重要，特别是从通用性的角度来看，这是其他基准测试所不具备的”。这就是 “交叉路口动物园” 中 100 万个基于数据的交通场景的独特之处，它为推进深度强化学习的通用性提供了支持。因此，“这个基准测试丰富了评估深度强化学习算法及其进展的方式”。

至于关于城市交通的最初问题，正在进行的工作重点之一将是应用这个新开发的基准测试工具，来解决在城市中自动驾驶汽车实施生态驾驶会对排放产生多大影响的具体问题，这取决于实际部署的自动驾驶汽车的比例。

但吴教授补充说：“这项研究的主要目标不是开发一种能够在城市规模上实施生态驾驶的技术，而是支持通用深度强化学习算法的开发。这些算法不仅可以应用于生态驾驶，还可以应用于自动驾驶、电子游戏、安全问题、机器人问题、仓储以及传统控制问题等所有其他应用场景。”

吴教授还说：“该项目的目标是为研究人员提供一个工具，并且这个工具是公开可用的。” “交叉路口动物园” 以及如何使用它的文档都可以在 GitHub 上免费获取。

这篇论文的作者除了吴教授，还有麻省理工学院电气工程与计算机科学系（EECS）的研究生、第一作者温杜拉・贾亚瓦德纳（Vindula Jayawardana）；苏黎世联邦理工学院的研究生巴蒂斯特・弗雷德特（Baptiste Freydt）；交通领域的研究生曲奥（Ao Qu）、信息与决策系统研究所的研究生卡梅隆・希克特（Cameron Hickert）以及 2024 届博士严中霞（Zhongxia Yan）。