PhiGentAchievement目前，基于视觉中心化和BEV感知的自动驾驶方案成为了技术热点和行业趋势。近日，鉴智机器人和清华大学团队合作提出了感知和预测多任务框架BEVerse，这是首个面向视觉中心化自动驾驶的大感知统一框架，可以通过一个模型高效的实现4D感知、实时局部地图、运动预测等自动驾驶关键模块，同时每个模块都能达到SOTA的效果，特别是在实时局部地图和运动预测任务上，相比目前公开性能最好的方案都有显著的提升。BEVerse对于自动驾驶的规模化应用具有十分重要的推动作用。

以周视视频流作为输入，BEVerse首先利用图像编码器和视角变换模型分别处理每个时刻下的多视角图像、得到多帧的鸟瞰图特征；基于帧间自运动实现鸟瞰图坐标系对齐后，BEVerse利用三维卷积进一步提取时空特征，获得4D鸟瞰图特征；基于该特征，BEVerse建立了针对三维目标检测、实时局部地图、物体运动预测等三个关键任务的解码器，实现多任务的联合预测。为了适应不同任务对于视野范围、特征细粒度的需求，BEVerse通过局部网格采样的方式生成任务特定的鸟瞰图特征；此外，BEVerse提出了基于迭代光流的高效未来预测方法，能够降低运动预测的显存需求、更好地赋能多任务学习。

在nuScenes数据集上，得益于时空信息的充分提取和多任务学习的帮助，BEVerse能够以单个模型取得三维目标检测、实时局部地图和物体运动预测等三个任务上的先进性能，相对于传统的线性结构具有明显的速度优势。

论文链接：

转载请注明:http://www.aideyishus.com/lkzp/2251.html