返回顶部
返回首页
返回首页
今天是    | 手机版 | 产品 | 企业 | 新闻 | 原料 | 技术 | 网站 |
将汽车的行人检测提升到一个新的水平,中国机械网,okmao.com
home 您现在的位置: 首页 >技术中心 > 详细信息
将汽车的行人检测提升到一个新的水平
2021年10月09日    阅读量:568    新闻来源:中国机械网 okmao.com  |  投稿

将汽车的行人检测提升到一个新的水平 中国机械网,okmao.com

美国国家公路交通安全管理局 (NHTSA) 的研究表明,94% 到 96% 的机动车事故是由人为错误(例如超速、疲劳、酒后驾驶或分心驾驶)造成的。因此,为汽车配备高级驾驶辅助服务 (ADAS) 以预测和减轻人们的驾驶错误可能会减少交通死亡人数。

为了追求更强大的高级驾驶辅助系统 (ADAS) 功能,工业界和学术界正在研究多种传感器技术和传感器套件配置的潜力——包括视频、超声波、雷达和激光雷达中国机械网okmao.com。但由于没有一个系统能涵盖所有需求、场景和(交通/天气)条件,下一代强大的 ADAS 很可能源于多种技术的结合。

在本文中,来自 IPI(Imec 位于比利时根特大学的图像处理和解释研究小组)的 Jan Aelterman 和 David Van Hamme 报告了将汽车行人检测提升到新水平的两项最新突破:雷达-视频传感器融合和自动色调映射。

雷达和视频:一场特别有趣的传感器融合比赛

未来汽车快速准确地检测道路使用者和障碍物的能力将有助于减少交通死亡人数。然而,没有一个传感器或感知系统可以涵盖所有需求、场景和交通/天气条件。

例如,相机在夜间或刺眼的阳光下无法正常工作;雷达可能会被反射性金属物体混淆。但是当结合在一起时,他们各自的优势和劣势完美地互补。进入雷达视频传感器融合。

传感器融合可以使用各种感官输入来创建车辆周围环境的改进感知 (3D) 模型。基于该信息并利用深度学习方法,检测到的对象被分类为类别(例如,汽车、行人、骑自行车的人、建筑物、人行道等)。反过来,这些见解是 ADAS 智能驾驶和防碰撞决策的基础。

协同雷达视频传感器融合:街区的新孩子

当今最流行的传感器融合类型称为后期融合。它仅在每个传感器执行对象检测并根据自己有限的数据收集做出自己的“决定”后才融合传感器数据。后期融合的主要缺点是每个传感器都会丢弃它认为不相关的所有数据。因此,失去了很多传感器融合潜力。在实践中,它甚至可能导致汽车撞上一个保持在单个传感器检测阈值以下的物体。

相比之下,早期融合(或低级数据融合)将来自每个传感器的所有低级数据组合在一个可以看到一切的智能系统中。然而,因此,它需要大量的计算能力和巨大的带宽——包括从每个传感器到系统中央处理引擎的高带宽链路。

  

针对这些缺点,协同雷达-视频传感器融合的概念应运而生。它具有反馈回路,不同传感器交换低级或中级信息以影响彼此的检测处理。例如,如果汽车的雷达系统突然受到强烈反射,车载摄像头的阈值将自动调整以对此进行补偿。因此,原本很难被发现的行人将被有效地发现——而系统不会变得过于敏感并受到误报的影响。

在具有挑战性的交通和天气条件下,与后期融合相比,准确度提高了 15%  

去年进行的研究表明,协同传感器融合优于当今常用的后期融合方法。最重要的是,它比早期融合更容易实现,因为它没有相同的带宽问题和实际实现限制。

具体而言,在欧洲市中心复杂交通场景的数据集上进行评估,合作传感器融合显示跟踪行人和骑自行车者的准确度比仅使用摄像头的系统高 20%。更重要的是,第一次检测被证明比竞争方法的性能高四分之一秒。

在过去的几个月里,该系统进行了更多的微调——进一步提高了行人检测的准确性,尤其是在具有挑战性的交通和天气条件下。

当应用于简单的场景时——即在白天,没有遮挡,并且对于不太复杂的场景——协作传感器融合方法现在比仅使用相机的系统精度提高了 41%,比后期融合精度提高了 3%。

但也许更重要的是在照明不良、行人从遮挡区域发出、拥挤的场景等情况下取得的进展。毕竟,这些都是行人检测系统真正需要证明其价值的实例。在如此困难的情况下,雷达-视频传感器协同融合带来的收益更加可观,比后期融合提升了15%。


显着的延迟改进

在最小化延迟或跟踪延迟方面,也取得了很多进展。例如,在恶劣的天气和交通条件下,实现了 411 毫秒的延迟。这比仅摄像头系统 (725 毫秒) 和后期融合 (696 毫秒) 带来的延迟提高了 40% 以上。

  

追求进一步的突破

这些成果表明协作传感器融合具有巨大的潜力。事实上,它很可能成为当今行人检测技术的有力竞争者,后者通常使用更复杂、更麻烦、更昂贵的激光雷达解决方案。

并且正在寻求该领域的更多突破。将合作的雷达-视频传感器融合扩展到其他情况,例如车辆检测,是一项重要的研究方向。构建可以处理突发缺陷或故障的智能系统是另一回事。推进底层神经网络也是如此。

例如,当今 AI 引擎的一个具体缺点是,它们经过训练以检测尽可能多的弱势道路使用者。但这可能不是减少交通死亡人数的最佳方法。检测到您车前五十米处刚刚过马路的行人真的是强制性的吗?也许不吧。相反,这些计算资源最好花在其他地方。将这一想法转化为优先检测汽车预计轨迹中的弱势道路使用者的神经网络是一个值得进一步研究的主题。

为汽车视觉添加自动色调映射

如前所述,摄像头技术是当今 ADAS 系统的基石。但它也有它的缺点。例如,基于可见光的相机在夜间或恶劣天气条件下(大雨、大雪等)表现不佳。此外,普通相机的动态范围有限——这通常会导致在光照条件较差的场景中失去对比度。 

当然,其中一些限制可以通过为汽车配备高动态范围 (HDR) 摄像头来抵消。但是 HDR 相机使信号处理变得更加复杂,因为它们会生成高比特率的视频流,这很可能会使 ADAS 的底层 AI 引擎负担过重。

结合两全其美,自动色调映射的概念将高比特率 HDR 馈送转换为低比特率、低动态范围 (LDR) 图像,而不会丢失任何对汽车感知至关重要的信息。

丢失数据并不(必然)意味着丢失信息   

色调映射已经存在了一段时间,在今天的智能手机中使用了一种通用的风格。但是,将色调映射应用于汽车用例和行人检测,特别是需要一套全新的考虑和权衡。它提出了以下问题:哪些数据需要保留,哪些数据可以丢弃而不会危及人们的生命。

 

结果如上图所示。它由 HDR 相机拍摄的四个场景组成。左侧的图像已使用现有软件进行色调映射,而右侧的图像则使用由 imec 和根特大学的研究人员开发的新型卷积神经网络 (CNN) 色调映射方法进行编译。

左下方的图像非常详细地显示了汽车的大灯。但是,因此,无法观察到其他形状。然而,在右下方的图像中,大灯的细节可能已经丢失——但现在可以识别行人。

它完美地说明了自动色调映射可以做什么。使用汽车数据集,训练底层神经网络寻找可能与汽车感知相关的低级图像细节,并丢弃被认为不相关的数据。换句话说:一些数据丢失了,但所有关于弱势道路使用者存在的重要信息都被保留了下来。

这种基于神经网络的新方法的另一个好处是,还可以集成各种其他功能——例如降噪或去拜耳算法,最终甚至可以消除由干扰天气条件(例如大雾或大雨)引起的伪影的算法。 )。

以自然的方式显示色调映射图像

在图像中保留救生信息是一回事。但以自然的方式显示这些信息也很重要。这是另一个需要考虑的因素。

毕竟,通用的色调映射图像有时看起来很尴尬。行人可能会比太阳更亮,骑自行车的人周围可能会出现光晕,颜色可能会增强到不自然的荧光水平。对于人工智能引擎来说,这样的人工制品无关紧要。但人类司机也应该能够根据色调映射图像做出决定。例如,当图像被集成到汽车的数字后视镜或侧镜中时。

精度提高 10% 到 30%

自动色调映射带来的视觉改进是显而易见的。但该技术也转化为可衡量的收益。

例如,研究表明,与使用 SDR 摄像头相比,未被检测到的行人数量下降了 30%。并且文献中描述的色调映射方法也优于 10%。乍一看,这似乎不是很多,但在实践中,每个未被发现的行人都会带来严重的风险。 

Jan Aelterman 是图像处理和解释 (IPI) 小组的教授,该小组是根特大学(比利时)的一个 imec 研究小组,他专门研究图像建模和反问题。他的研究涉及 HDR 视频、MRI、CT、(电子)显微镜、摄影和多视图处理等应用领域中的图像和视频恢复、重建和估计问题。 

David Van Hamme是根特大学imec图像处理与解释研究组IPI高级研究员,他于2007年加入。他的研究课题包括视频分割、工业安全火灾和物体检测、工业检测和智能车辆感知系统,并于 2016 年获得博士学位。


标签:今日头条机械应用技术中心汽车及配件新能源汽车 配件与设备
免责声明: 本文仅代表作者本人观点,与中国机械网无关。本网对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考,并请自行承担全部责任。本网转载自其它媒体的信息,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。客服邮箱:service@cnso360.com | 客服QQ:23341571
中国机械网手机版MOBILE
扫描二维码,获取手机版最新资讯 中国机械网 您还可以直接微信扫描打开
全站地图

深圳网络警察报警平台 深圳网络警
察报警平台

公共信息安全网络监察 公共信息安
全网络监察

经营性网站备案信息 经营性网站
备案信息

中国互联网举报中心 中国互联网
举报中心

中国文明网传播文明 中国文明网
传播文明

深圳市市场监督管理局企业主体身份公示 工商网监
电子标识