跑车浪漫旅玩家小心了！ Sony开发最强赛车AI或将进入游戏惨电玩家

gamers • 2023年8月25日 15:50 • 投稿

不只在国际象棋以及实时战略游戏Dota，人类玩家打不赢电脑，现在连赛车游戏也失守，人工智能已经有能力在赛车游戏中跑赢顶尖车手。

由Sony AI、Polyphony Digital和Sony Interactive Entertainment共同合作，所开发的人工智能代理Gran Turismo Sophy（GT Sophy），在知名赛车游戏跑车浪漫旅（Gran Turismo）游戏中，打败全世界最厉害的玩家赛车手，而Sony正探索将这个人工智能代理整合到跑车浪漫旅系列作的方法，与玩家展开对决。

Sony AI研究人员在Nature期刊发表论文〈Outracing champion Gran Turismo drivers with deep reinforcement learning〉，应用深度强化学习技术，开发出超越跑车浪漫旅车冠军手的人工智能代理。这个研究以跑车浪漫旅系列作品，2017年Polyphony Digital于家用游乐器PlayStation 4上所发布的Gran Turismo Sport（GT Sport）版本为基础，该游戏逼真重现真实世界的赛车环境，由于GT Sport采用了最新的车辆动力系统模拟，游戏中赛车的效能几乎与真实世界的赛车相同，对空气阻力、轮胎摩擦，甚至悬吊系统移动所造成的方向改变都进行建模。

再加上拥有来自车厂的指导，GT Sport中赛车车身曲线、方向灯和大灯细节都与实体车型相同，精确地重现车辆细节。游戏也设计了明确的规则和判断标准，是一个与真实世界接近且公平的赛车游戏。

Sony AI在这个接近现实赛车的游戏中，开发赛车人工智能代理，其所使用的增强学习是一种机器学习技术，训练人工智能代理在环境中，通过奖励和惩罚学习所要采取的行动。 Sony AI以增强学习为基础，发展了一种更先进的训练算法，称为QR-SAC（Quantile-Regression Soft Actor-Critic）。

深度增强学习技术早已被用来开发各种游戏的人工智能代理，研究人员提到，增强学习技术代理会考虑行为带来的长期影响，并且可以在学习期间自己收集资料，免去人工编码行为规则的繁琐工作，因此很适合用来开发游戏人工智能代理，特别像是GT Sport这类复杂的游戏。

QR-SAC算法训练人工智能代理GT Sophy，成为一个技术高超，有谋略又有礼貌的赛车手，能够掌握赛车控制、战术还有礼仪技能。 QR-SAC能够推理出GT Sophy在高速行动下的结果，考虑到驾驶行为和后果，并在与不同类型的对手比赛时，考量复杂的可能性，GT Sophy能够以高超的控制技巧，在一系列弯道组合，在未有接触下贴着赛道墙面行驶。

GT Sophy虽然能够自己收集资料，但训练像是尾流超车（Slipstream Passing）这种特殊技巧，需要对手处与特定的位置。因此Sony AI还以混合情境训练GT Sophy，除了手工制作每条赛道需要掌握的重点之外，也有协助代理人学习的专业陪练对手。

这些训练使得GT Sophy获得一些专业的赛车技术，包括处理赛车同时起步的拥挤情况，或是利用前车尾流弹射超车，甚至是防守动作。 Sony AI特别展示了GT Sophy能够精巧控制方向盘，在急转弯中追赶前车。

除了有技巧之外，特别的是GT Sophy也具有赛车礼节，索尼 AI 研究人员找来书面和不成文的赛车规则，并且将其编码成复杂的奖励函式，使得GT Sophy 不过于激进或是胆怯，能与人类展开具有竞争性的比赛。 GT Sophy可以不阻挡其他车手，留给对手足够机动空间的情况下超车。

Sony AI在自家开发的DART（Distributed， Asynchronous Rollouts and Training）训练平台训练GT Sophy，DART平台具有大量的CPU和GPU，能够连接1，000多台PlayStation 4，以收集训练GT Sophy的数据集，同时DART还可管理代理运算资源和跨数据中心的GPU，研究团队会在DART上同时进行数百个实验，以探索提升GT Sophy效能的技术。