自动驾驶车辆能够鈥痭通过识别行人，导航城市街道和其他不太繁忙的环境，鈥痮其他车辆和潜在障碍物通过鈥痑人工智能。这是在人工神经网络的帮助下实现的，人工神经网络经过训练可以“看到”汽车周围的环境，模仿人类的视觉感知系统。
但与人类不同的是，使用人工神经网络的汽车对过去没有记忆，并且始终处于第一次看到世界的状态鈥攏o不管他们以前在一条特定的道路上开过多少次车。在恶劣的天气条件下，当汽车无法安全地依靠传感器时，这一问题尤其严重。
康奈尔大学安S。鈥疊欧文斯计算与信息科学学院（owers College of Computing and Information Science）和工程学院（College of Engineering）同时发表了三篇研究论文，旨在通过为汽车提供对以往体验的“记忆”并将其用于未来导航的能力来克服这一限制。
博士生尤玉荣（Yurong You）是《后见之明是20/20：利用过去的遍历来帮助3D感知》一书的主要作者，该书于4月份在ICLR 2022国际学习表征会议上发表。“学习表征”包括深度学习，一种机器学习。
“根本问题是，我们能从重复遍历中学习吗？”资深作者、康奈尔鲍尔斯CIS计算机科学教授基利安·温伯格（KilianWeinberger）说。“例如，当汽车的激光扫描仪第一次从远处看到一棵形状怪异的树时，它可能会误认为是行人，但一旦它足够近，物体类别就会变得清晰。因此，当你第二次驶过同一棵树时，即使在雾天或雪天，你也希望汽车现在已经学会了正确识别它。”
该研究小组的博士生凯蒂·罗（KatieLuo）说：“实际上，你很少第一次开车。”。“不是你自己，就是最近有人开过，所以收集经验并加以利用似乎很自然。”
在博士生卡洛斯·迪亚兹·鲁伊斯（CarlosDiaz-Ruiz）的带领下，该研究小组在18个月的时间内，驾驶一辆装有激光雷达（LightDetection and Ranging）传感器的汽车，在伊萨卡及其周围15公里的环线上反复行驶40次，从而编制了一份数据集。穿越记录了不同的环境（公路、城市、校园）、天气条件（晴天、雨天、下雪天）和时间。
此结果数据集鈥攚该组织称之为Ithaca365，这是另外两篇论文之一的主题鈥攈超过60万场。
伊萨卡365论文的合著者迪亚兹·鲁伊斯（Diaz Ruiz）说：“这故意暴露了自动驾驶汽车面临的一个关键挑战：恶劣的天气条件。”。“如果街道被雪覆盖，人类可以依靠记忆，但如果没有记忆，神经网络将非常不利。”
事后诸葛亮是一种利用神经网络在汽车经过物体时计算物体描述符的方法。然后压缩这些描述，该组织称之为壁球鈥?空间量化稀疏历史）特征，并将其存储在虚拟地图上，类似于人脑中存储的“记忆”。
下次自动驾驶汽车穿过同一位置时，它可以查询沿途每个激光雷达点的本地挤压数据库，并“记住”上次学到的内容。数据库不断更新并在车辆间共享，从而丰富了可用于执行识别的信息。
“此信息可以作为功能添加到任何基于激光雷达的三维物体探测器；”你说的。“检测器和壁球表示都可以联合训练，无需任何额外的监督或人工注释，这是一项耗时费力的工作。”
虽然事后诸葛亮仍然认为，人工神经网络已经经过训练，可以检测物体，并增强其创建记忆的能力，但这是适度的（具有短暂性和自我训练的移动物体检测）鈥攖他是第三次出版的主题鈥攇oes更进一步。
在这里，作者让汽车从头开始学习整个感知管道。最初，车辆中的人工神经网络从未接触过任何物体或街道。通过对同一路线的多次遍历，它可以了解环境中哪些部分是静止的，哪些是移动的对象。慢慢地，它教会自己什么是其他交通参与者，什么是可以安全忽略的。
然后，该算法可以可靠地检测这些对象鈥攅即使在不属于初始重复穿越的道路上。
研究人员希望，这两种方法都能大幅降低自动驾驶汽车的开发成本（目前仍然严重依赖昂贵的人工标注数据），并通过学习导航这些汽车使用最多的位置，提高这些汽车的效率。
Ithaca365和MODEST将于6月19日至24日在新奥尔良举行的IEEE计算机视觉和模式识别会议（CVPR 2022）上发表。
其他贡献者包括马克·坎贝尔（Mark Campbell），Sibley机械和航空航天工程学院约翰·A·梅洛维斯（John A.Mellowes）60岁的机械工程教授，鲍尔斯CIS计算机科学助理教授巴拉斯·哈里哈兰（Bharath Hariharan）和文孙（Wen Sun）；前博士后研究员魏伦超，现任俄亥俄州立大学计算机科学与工程助理教授；鈥痑第二博士生郑培丰、陈向宇和陈俊安。