MIT CSAIL的VISTA自动驾驶汽车模拟器将学到的技能传授给现实世界

 
在最近的一项研究中，来自麻省理工学院计算机科学与人工智能实验室和丰田研究所的研究人员描述了虚拟图像合成和自主转换(VISTA)，这是一种自动驾驶汽车开发平台，该平台使用现实世界的数据集来合成轨迹的观点。汽车可以乘。虽然Waymo，Uber，Cruise，Aurora等无人驾驶汽车公司使用模拟环境来训练支持其真实世界汽车的AI，但MIT声称其系统是少数不需要人工添加道路标记的系统之一，车道，树木，物理模型等。这可以大大加快自动驾驶汽车的测试和部署速度。
正如研究人员所解释的那样，VISTA会奖励虚拟汽车在不撞车的情况下行驶的距离，从而使他们“有动力”学习导航各种情况，包括在车道之间转弯后重新获得控制权。 VISTA是数据驱动的，这意味着它可以根据真实的数据轨迹进行合成，这些轨迹与道路外观以及场景中所有对象的距离和运动一致。这样可以防止在模拟中学到的知识与汽车在现实世界中的运行方式之间出现错配。
为了培训VISTA，研究人员从沿着几条路行驶的人那里收集了视频数据。对于每帧，VISTA会将每个像素预测到一种3D点云中。然后，他们将虚拟车辆放置在环境中并进行装配，以便在发出转向命令时，VISTA根据转向曲线以及车辆的方向和速度，通过点云合成一条新的轨迹。
VISTA使用上述轨迹绘制了逼真的场景，估计了一个深度图，其中包含与从车辆视点到物体的距离有关的信息。通过将深度图与估算3D场景中相机方向的技术相结合，引擎可以精确定位车辆的位置和与虚拟模拟器中所有物体的相对距离，同时重新定位原始像素，从而根据新的车辆来重新呈现世界观点。
在经过10到15个小时的训练后进行的测试中，虚拟汽车行驶了10,000公里(0.62英里)，经过VISTA仿真器训练的汽车能够在以前看不见的街道上行驶。即使将其放置在模仿各种接近碰撞情况的越野方向上，例如半路离开或进入另一条车道，汽车仍能在几秒钟内成功恢复到安全的行驶轨迹。
将来，研究团队希望从单一驾驶轨迹模拟所有类型的路况，例如白天和黑夜以及晴天和阴雨天气。他们还希望模拟与道路上其他车辆的更复杂的交互。