ADAS / AD车辆道路安全的传感器融合

摄像头、雷达、激光雷达、超声波传感器是用于开发配备高级驾驶辅助系统(ADAS)和自动驾驶汽车(AV)的车辆的各种传感器。

自动驾驶汽车可以依靠安装在不同位置的20多个传感器。每个传感器提供不同类型的数据，例如，摄像头提供图像，雷达和激光雷达提供点云等。自动驾驶(AD)软件使用来自这些传感器中的每个传感器的信息/数据，以及来自多个传感器(雷达+摄像头)的信息/数据，以做出精确的驾驶决策。

传感器是自动驾驶汽车(AV)的“眼睛”，它们帮助车辆感知周围环境，即人、物体、交通、道路轨迹、天气、照明等。

这种感知至关重要，因为它使自动驾驶汽车能够做出正确的决定，即停车、加速、转弯、倒车等。

具有更高自动驾驶水平(L2+及以上)的自动驾驶汽车，自动驾驶功能取代了驾驶员的任务，需要多个传感器来正确理解环境。

但是每个传感器都是不同的，并且有自己的局限性，例如，摄像头可以很好地用于车道检测或物体分类，而雷达可以为远距离检测或不同的光照条件提供良好的数据。

图1:不同的传感器一个无人驾驶汽车协助制作开车的决定年代

传感器功能

传感器融合提高了自动驾驶汽车的整体性能，根据操作设计域(ODD)特征，有多种融合技术可供选择。

因此，从多个传感器收集的自动驾驶汽车数据使用传感器融合技术进行融合，为自动驾驶汽车做出适当的决策(刹车、加速转弯等)提供最佳输入。

以下是不同类型融合技术的几个例子，根据自动驾驶汽车的自主水平，将使用一种或多种传感器融合技术。例如:对于2级功能开发，仅可以根据功能要求使用对象数据、车道融合、交通标志融合，但对于3级及以上级别的功能开发，可能需要使用融合的所有技术。

传感器融合技术

传感器融合的复杂性和挑战

环境的复杂性、特征规范定义了融合策略和融合需求类型。

执行传感器融合是一项复杂的活动，人们应该考虑到许多挑战，例如:

• 不同传感器在不同视场区域的输出精度不同
• 传感器检测错误或未检测到(摄像头可能在夜间、黄昏等时间未检测到物体/车道)
• 物体可能在传感器的盲区中存在一段时间，或者物体可能在盲区中动态移动
• 这可能是传感器对同一物体的多次探测(例如，大型卡车可能会从雷达上产生多次反射)。
• 传感器的检测置信度可能会降低
• 不同的传感器以不同的采样率(40 ~ 70毫秒等)输出数据。
• 传感器安装在车辆的不同位置
• 在不同的环境条件下，传感器的性能会有所不同

随着自动驾驶汽车级别的提高，这些挑战可能会变得更加复杂。可能需要多个传感器来接近360度的覆盖范围并避免盲点。

传感器的位置对于减少盲区和在不影响安全的情况下实现最佳性能也至关重要。这也导致了成本与功能需求偶然性之间的权衡。

此外，每个传感器的精度水平是不同的，管理每个传感器的数据精度对最终输出至关重要。因此，理解问题陈述和环境来解释这些挑战是必要的。

高级传感器融合KPI指标

为了确保Sensor Fusion的高精确度，必须设置正确的kpi来测量，以及稳健的设计。

以下是一些已确定的关键绩效指标，以提高数据准确性:

a.单个轨道为每个对象

• 没有错误或缺失的对象检测
• 整体精度提高
• 为每个输出提供置信度
• 在传感器盲区估计输出

b.通过设计提高精度

下面是一个带有块的传感器融合流的示例，可用于确保物体检测的最高准确性。根据融合的类型，可以有不同的架构，即高层次融合，原始传感器融合等。

数据同步不同的传感器给出不同的输出，例如，相机给出50毫秒的输出，雷达给出60毫秒的输出。数据同步(Data Synchronization)技术在传感器融合(Sensor Fusion)执行之前同步这些数据

坐标变换这是一种基于传感器的几何形状和位置的技术，将安装在不同位置的传感器的数据汇集到一个公共框架中。

例如，长5.5米、宽2.5米的汽车与长19米、宽5米的卡车相比，需要在后桥或前桥架上采集数据

验证门控和数据关联这是一种确保从车辆上的每个传感器接收到的多个数据是针对同一物体的技术，例如，前面的卡车。

跟踪管理:轨迹管理技术保证了传感器融合的最终输出。它根据轨迹历史初始化、维护和删除轨迹，还计算轨迹置信度

自我运动估计它解释了车辆的运动。例如，如果在T+100毫秒和T+200毫秒内接收到数据，但在此期间车辆已经移动

高级传感器融合设计考虑

• 数据关联算法的选择与估计技术
  数据关联算法:最近邻、概率和联合概率数据关联估计技术:线性卡尔曼滤波、扩展卡尔曼滤波、粒子滤波。
• 融合策略:
  数据关联算法和估计技术将根据用于融合的传感器类型、状态估计要求(动态/静态对象估计)和传感器输出来确定。
• 跟踪管理:
  为了减少错误输出，融合航迹管理需要在初始化航迹之前建立信心。如果延迟，可能会导致延迟，这将花费更多的时间在AD系统的行动。轨迹初始化策略与轨迹删除类似，需要考虑运行环境、特征ODD等因素。
• 过滤调优:
  实际方面使用传感器特性从真实世界的数据改进滤波器调谐。

融合的验证

使用正确的验证策略来测试与模拟数据、真实世界数据或车辆测试的融合，从而确保软件质量和场景覆盖是很重要的。

以下是融合验证的关键方面:

• 边缘案例场景选择：由于感知通过融合各种传感器数据来提高性能，因此需要仔细选择场景，考虑所有可能的边缘情况。该方案还应提及需要哪种级别的验证-模拟，现实世界或车辆。目标应是在不影响质量分析的情况下，最大限度地覆盖模拟水平，以减少成本和时间。
• 传感器建模:为了在仿真中验证与环境噪声的融合，需要高保真的传感器模型来模拟环境对传感器性能的影响。由于对高保真建模的研究正在进行中，许多技术如数据驱动模型、基于物理的建模等都被提出用于实现。
• 使用真实世界的数据进行验证：高保真传感器模型可以适应环境条件，精度高达75 ~ 85%。由于模拟的数据精度是不可行的，因此为了做出准确的决策，验证与真实世界数据的融合就变得势在必行。
• 车辆测试:融合的最终验证应在车上进行，以确保端到端的特征级测试，同时考虑到实际情况、传感器延迟和驱动延迟。

因此，融合是AD性能的一个极其关键的感知组件，必须考虑关键的实际方面，并定义正确的设计和验证策略，以实现AD软件的最高成熟度。

传感器校准

由于自动驾驶依赖于如此广泛的传感器，因此这些传感器的校准变得非常重要。校准错误的传感器可能会对自动驾驶汽车的安全性和功能造成灾难性的影响。单个传感器的校准是一个漫长的过程，不同的传感器(如激光雷达、雷达或摄像头等)需要不同的校准方法。这种校准通常在生产线的最后进行。

业内的普遍理解是，固有校准，即几何畸变、焦距等，不会随着时间的推移而改变，通常只做一次。然而，外部校准(即位置和方向)可能会因各种原因(从恶劣的路况到安装在可移动汽车部件(如侧视镜)上的传感器)而改变，这是一个挑战。例如，安装在自动折叠侧视镜上的后置摄像头，用于变道功能或检测相邻车道上的车辆，0.5度的偏航角校准错误会导致几乎一米的横向误差，具体取决于与车辆的距离。1米的横向误差可能会导致相邻车道上的车辆无法被发现。

多米odalperceptionb锁diagram

多模态传感器校准系统需要具备以下特点:

• 自我诊断和确定需要纠正的错误。
• 每个传感器的校准时间不得超过几秒钟。
• 自动纠正安全相关错误，以满足功能安全要求。
• 确定自动校准的理想场景。
• 能够在高速公路和城市场景中运行。
• 没有外部人为的介入。

此外，重要的是校准单个传感器和多个传感器相对于彼此。多模态传感器校准是指对不同类型的传感器进行校准，如针对LiDAR的Camera或针对LiDAR的RADAR。

在自动驾驶汽车中，车道偏离警告(LDW)、前方碰撞警告(FCW)、交通标志识别(TSR)等功能都依赖于前置摄像头。一个校准良好的摄像头可以将车辆定位在车道中心，并与前面的车辆保持适当的距离。

但是在摄像头安装的俯仰角上的一个小错误可能会导致前面的车辆看起来比它更远。这可能会导致系统响应延迟，以避免与前方车辆相撞。

作为一家技术解决方案提供商，Cyient与行业专家、设备制造商和售后市场客户密切合作，通过我们关注的大趋势领域“智能交通和互联产品”、“增强和人类福祉”以及“超自动化和智能运营”，与汽车行业的趋势保持一致。

选择Cyient作为增值合作伙伴的解决方案加速器

• 工具链集成、开发卓越性(例如，缺陷解决时间)和随时可用的传感器融合软件堆栈将成为关键的差异化因素，减少客户开发工作并加快上市时间
• 为可重用库创造价值
• 端到端产品工程(现成的)
• 单一采购解决方案和战略伙伴关系的范围
• 可持续的解决方案模型作为一次性特许权使用费和/或非重复工程(NRE)的努力

所有这些都确保了软件生命周期将在SoP(开始生产)之后延长5到7年。

作者简介

Harsha在汽车和高科技行业拥有超过20年的经验，在ADAS和自动驾驶应用的新产品工程和集成战略，车辆HMI信息娱乐连接解决方案和设备协议开发方面拥有专业知识。目前，他在Technology Group担任ADAS / AD Domain SME。