Pettingzoo：类似gym的多Agent强化学习的环境

PettingZoo是一个在单一优雅的Python API下提供不同多agent环境库，旨在加速多agent强化学习研究。其目标是通过创建一套所有人都能轻松访问的基准环境和标准化API，类似于Gym在单agent强化学习中的作用，加速多agent强化学习的研究。PettingZoo的API与其他多agent环境库不同，它能够合理地代表多agent强化学习中遇到的所有形式的环境，同时与Gym的API非常相似，便于新手理解。

多agent强化学习是现代机器学习的热点领域，近年来取得了一系列显著成就，如AlphaGo Zero、OpenAI Five和AlphaStar。这些成就激发了多agent强化学习研究的热潮。然而，进行多agent强化学习研究仍然面临重大工程挑战，特别是由于MARL中不存在事实标准API，导致为新目的重用现有学习代码需要大量工作，消耗了研究人员的时间，阻碍了研究中的彻底比较。缺乏标准化API也阻碍了学习库在机器人、金融等领域的传播。

之前，没有一个统一的API能够处理所有种类的多agent环境，导致MARL社区中存在一种隐性信念，即没有一个API可以处理所有情况。PettingZoo的出现解决了这个问题，它为多agent强化学习提供了一个类似于Gym的库，能够处理所有种类的环境。此外，PettingZoo还集成了流行的未维护的多agent环境，以及新环境集，并介绍了有趣的生活质量特征。

在设计PettingZoo的API时，主要考虑了两个原则：API应让初学者一眼就能看懂，并尽可能地与Gym相似；API应将环境建模为agent环境循环游戏。API设计包括基本API、agent_iter方法、last方法、额外的API特征、以及支持可变的agent集。PettingZoo的默认环境包含了流行的和有趣的环境，包括Atari游戏、蝴蝶环境、经典游戏等，以及MPE、MAgent和SISL等环境类。

PettingZoo的API旨在简化多agent强化学习研究，提供标准化和民主化的环境基础，促进研究进展。尽管API存在限制，如在创建环境时需要指定观察空间、行动空间和潜在的agent名称，但PettingZoo为多agent强化学习研究提供了新的可能性。未来工作包括添加更多有趣的环境、提供不同研究人员的agent在竞争性游戏中相互竞争的服务、以及开发程序化生成的多agent环境来测试方法的泛化程度。