学习笔记20--自动驾驶测试体系

本系列博客包括6个专栏，分别为：《自动驾驶技术概览》、《自动驾驶汽车平台技术基础》、《自动驾驶汽车定位技术》、《自动驾驶汽车环境感知》、《自动驾驶汽车决策与控制》、《自动驾驶系统设计及应用》。
此专栏是关于《自动驾驶系统设计及应用》书籍的笔记.

---

---

3.自动驾驶测试体系

• 百度自动驾驶测试体系分为：“实验室阶段测试”、“车辆在环测试”、"道路在环测试"三部分；其中"道路在环测试"分为"封闭测试场测试"和"开放道路测试"两部分；

• 自动驾驶车辆在进行开放道路测试之前，需要经过实验室阶段测试，车辆在环测试和封闭测试场测试三阶段测试，通过后才能进入实际开放道路进行测试；

• 自动驾驶测试与评价体系整体框架如下图所示：
  

3.1 实验室测试阶段

实验室测试目的：在离线情况下完成对自动驾驶系统的测试，包括模型的训练评估、各软件模块的测试、仿真测试、集成测试、硬件测试、硬件在环测试等；

实验室测试主要包括：大规模数据集(MIL)测试、软件在环(SIL)测试、硬件测试和硬件在环(HIL)测试；

1. 大规模数据集测试
   • 大规模数据集测试主要针对高精度定位、环境感知、规划预测和自动驾驶控制的核心算法；
   • 在实验室测试阶段评估算法的核心能力，并通过评估每种算法的各种指标来反映自动驾驶能力水平；同时，通过评估结果中的问题项，及时发现并修复算法缺陷和漏洞，从而有效降低发现问题的成本；
   • 评估数据可以通过日常驾驶数据或特殊场景的数据收集获得，或者可以通过模拟收集；
2. 软件在环测试(SIL)
   • 在自动驾驶阶段，软件在环的关键工具是一个离线仿真系统，可以同时离线访问每一个模块并实时生成车辆状态反馈；
   • 软件在环测试是利用计算机和各种系统工具，针对自动驾驶系统软件进行的测试，其目的：测试自动驾驶系统软件运行状况、模块功能、集成情况、资源占用等，并对各种场景进行仿真测试；
   • 软件在环测试是后续测试阶段的先决条件，通过软件在环测试，可以加快软件迭代，在前期能够快速发现问题解决问题，从而节省研发时间和成本，提高开发效率；
3. 硬件测试
   • 自动驾驶技术中的硬件主要包括：车载计算平台和各种车载传感器，其中车载计算平台为自动驾驶系统提供强大的传感器接入能力及强大计算能力，车载传感器为自动驾驶系统提供丰富的定位和环境感知能力，为自动驾驶汽车的安全行驶提供及时、准确、可靠的决策依据；
   • 自动驾驶车辆硬件通常包含组合惯导系统、激光雷达、毫米波雷达、超声波雷达、各类摄像头等；
   • 为了实现自动驾驶功能，一方面，自动驾驶硬件系统需要提供强大的传感器感知能力，强大的计算能力和灵活的车辆控制能力，另一方面，还需要自动驾驶硬件系统能与整个车辆系统进行紧密配合，从而实现自动驾驶和车辆控制功能的高效工作，最终达到智能驾驶的目的；
   • 自动驾驶硬件研发阶段，需要对硬件系统组件分别进行驱动测试，电气测试和可靠性测试；
   • 驱动测试的目的：验证硬件的功能是否满足设计要求；电气测试的目的：验证硬件的电气特性是否满足设计要求；可靠性测试目的：验证硬件的可靠性，包括硬件的环境适应性、机械可靠性和电磁兼容性；
4. 硬件在环集成测试(HIL)
   • 硬件在环集成测试在试验室搭建出一个半实物仿真的测试平台，搭建尽量接近真实道路的行车环境；
   • 相比于软件仿真器测试平台，硬件在环测试技术能在自动驾驶车系统集成的角度，实现前端传感器的硬仿真介入；在实现前端可控传感器仿真的基础上，HIL测试能测试覆盖到自动驾驶车系统中的多个主要模块，包含预处理、感知、定位、决策控制等部分；
   • 以真实道路测试记录的数据为基础，通过HIL测试技术还原场景，将被测系统放置于接近真实物理世界的测试环境中去，实现了虚拟场景仿真到全传感器仿真场景的突破；
   • HIL测试技术通过现场可编程门阵列(FPGA)实现无人车系统多种传感器的仿真，包括：激光雷达、毫米波雷达、摄像头、GNSS等；
   • 通过自动驾驶车系统最前端的数据仿真，以数据驱动的方式构建出一个测试环境，使用最原始、最接近真实行车环境的仿真数据面对无人车系统整体；以数据驱动的方式构建出集成链条测试，根据功能安全ISO 26262的核心思想，覆盖无人车系统功能、接口、性能资源、异常注入等多项测试内容；

3.2 车辆在环测试

• 车辆在环测试(VIL)基于半实物仿真技术思想，是真实车辆和虚拟仿真的联合测试系统；
• VIL在封闭场地内最大限度还原开放道路的场景，降低了实际道路测试风险性，降低测试的成本和时间；
• VIL测试的特点：
  • 实现快速的场景及驾驶测试；
  • 高效地验证各控制器的功能；
  • 降低实车测试的难度和风险；
  • 减少交通事故和风险；
  • 减少对场地、真实交通和试验车辆的需求；

车辆在环测试内容：

1. VIL-行驶能力测试

   • VIL测试将空场地充分利用，在此空场地内载入不同的地图，将远程地图进行本地化测试，同时可以在前期测试地图的完好性，保障后期道路测试的安全；
   • 抽取地图上的典型场景后，将这些典型场景编号，自由排列后完成自动化测试，同时可以进行无人车长时间性能和耐久测试，测试过程中还能实现场景的迅速转换和测试的快速介入，因此在前期测试就能积累大量的经验，模拟各种极端场景，在测试中探索车辆的行驶能力边界；

2. 台架测试

   • 台架测试是基于半实物仿真的思路，在外部环境难以还原或还原成本太高的情况下，对能够仿真的部分进行仿真测试，其余则使用真实环境进行测试；
   • 配合使用专用的CAN总线设备，实现无人车车载网络测试、无人车横向控制精度测试、无人车纵向控制精度测试、无人车耐久测试等相关项目；并设计制作基于嵌入式的便携接入设备，测试用例自动化调用执行；

3. 端到端性能资源测试

   • 在集成测试过程中，通过监控系统各部分资源消耗和统计各个算法模块的计算耗时及过程传输间的耗时，可以做出无人车整体的性能资源测试分析；

   • 具体的自动驾驶车辆资源消耗和性能耗时测试项目如下表所示：

     测试项目	测试内容
     性能资源测试	端到端(ms)
     	Lidar_preprocess(ms)
     	Preception(ms)
     	Prediction(ms)
     	Planning(ms)
     	Control(ms)
     	总传输时延(ms)
     	Preprocess->Perception(ms)
     	Preception->Prediction(ms)
     	Prediction->Planning(ms)
     	Planning->Control(ms)
     	CPU(%)计算
     	CPU(%)控制
     	MEM(%)计算
     	MEM(%)控制

3.3 道路在环测试

道路在环测试是对自动驾驶在实际道路上行驶情况进行测试分析，考察自动驾驶车辆在各种道路场景和障碍物下的感知、决策、控制能力和应对措施；

道路在环测试包括：封闭测试场地测试、开环测试、半开放道路测试和开放道路测试；

1. 封闭测试场地测试

   封闭测试场测试的目的：检测自动驾驶车辆的基本功能和软硬件系统运行情况，并进行简单基础场景的测试，如：直行、转向、红绿灯识别等；

   封闭测试场测试可以及早发现自动驾驶系统和车辆基本功能等方面的问题，避免进入开放道路测试出现事故，从而降低风险，同时节省时间和成本；

2. 开环测试

   开环测试是在人工驾驶的状态下，对系统进行测试的方法，开环测试可以在开放道路上进行，除车辆控制模块无法充分验证外，对感知、定位、路径规划、地图等功能都可以很好地进行测试；

3. 半开放道路测试

   半开放道路是指有可控的规模有限的社会车辆和行人通过的道路，一般选取车速较低，交通密度较低的园区作为半开放道路，其中有社会车辆和行人通过但流量可控，相比实际开放道路场景要简单，部分半开放道路包括工业园区、有一定规模的驾校、区域测试场等；

4. 开放道路测试

   开放道路指社会车辆和行人通行的道路，场景随机多变，交通状态复杂，开放道路测试是道路在环测试的最终环节，开放道路测试可以更加全面真实测试自动驾驶车辆在各种复杂场景状况下的运行状况及对于危机情况的化解，对车辆的运行、系统工作情况、各模块功能、体感等各维度进行综合测试；