一个由博士生Oskar Natan和他的导师Jun Miura教授组成的研究团队开发了一种人工智能模型，可以同时处理自动驾驶车辆的感知和控制，他们隶属于丰桥理工大学计算机科学工程系主动智能系统实验室（AISL）。

AI模型通过完成多个视觉任务来感知环境，同时驾驶车辆遵循一系列路线点。此外，AI模型可以在各种场景下在各种环境条件下安全驾驶车辆。在点对点导航任务下评估，AI模型在标准模拟环境中实现了某些最新模型的最佳驾驶性能。

自动驾驶是一个复杂的系统，由处理多个感知和控制任务的多个子系统组成。然而，部署多个任务特定模块成本高且效率低，因为仍然需要大量配置来形成集成模块化系统。

此外，集成过程可能会导致信息丢失，因为许多参数是手动调整的。通过快速深入学习研究，可以通过以端到端和多任务方式训练单个人工智能模型来解决这个问题。因此，该模型可以仅基于由一组传感器提供的观测来提供导航控制。由于不再需要手动配置，模型可以自行管理信息。

端到端模型仍然面临的挑战是如何提取有用信息，以便控制器能够正确估计导航控制。这可以通过向感知模块提供大量数据以更好地感知周围环境来解决。此外，传感器融合技术可用于增强性能，因为它融合不同传感器以捕获各种数据方面。

然而，由于需要更大的模型来处理更多的数据，因此不可避免地需要巨大的计算负载。此外，数据预处理技术是必要的，因为不同的传感器通常具有不同的数据模式。此外，训练过程中的不平衡学习可能是另一个问题，因为模型同时执行感知和控制任务。

为了应对这些挑战，团队提出了一种以端到端和多任务方式训练的人工智能模型。该模型由两个主要模块组成，即感知模块和控制器模块。感知阶段开始于处理由单个RGBD相机提供的RGB图像和深度图。

然后，控制器模块解码从感知模块提取的信息以及车速测量和路线点坐标，以估计导航控制。为了确保所有任务都能平等执行，该团队采用了一种称为修正梯度归一化（MGN）的算法来平衡训练过程中的学习信号。

该团队考虑模仿学习，因为它允许模型从大规模数据集学习，以符合接近人类的标准。此外，该团队设计的模型使用了比其他模型更少的参数，以减少计算负荷，并加速在资源有限的设备上的推理。

基于标准自动驾驶模拟器CARLA中的实验结果，我们发现融合RGB图像和深度图以形成鸟瞰图（BEV）语义图可以提高整体性能。由于感知模块对场景有更好的总体理解，控制器模块可以利用有用的信息来正确地估计导航控制。此外，该团队表示，建议的模型更适合于部署，因为与其他模型相比，该模型以更少的参数实现了更好的驾驶性能。

该研究发表在《IEEE智能车辆交易》上，该团队目前正在对该模型进行修改和改进，以解决在恶劣照明条件下驾驶时的几个问题，如夜间、大雨等。作为一个假设，该团队认为，添加一个不受亮度或照明变化影响的传感器，如激光雷达，将提高模型的场景理解能力，并导致更好的驾驶性能。另一项未来任务是将所提出的模型应用于现实世界中的自动驾驶。