学习笔记18--自动驾驶智能化指标评测体系(上)

本系列博客包括6个专栏，分别为：《自动驾驶技术概览》、《自动驾驶汽车平台技术基础》、《自动驾驶汽车定位技术》、《自动驾驶汽车环境感知》、《自动驾驶汽车决策与控制》、《自动驾驶系统设计及应用》。
此专栏是关于《自动驾驶系统设计及应用》书籍的笔记.

---

---

2.自动驾驶智能化指标评测体系

自动驾驶测试与评价体系主要主要分为测试与评价两部分；

• 测试体系为纵向分层、横向分阶段的测试体系，以"安全第一"为原则推进各个测试阶段，包括：模型在环(MIL)、软件在环(SIL)、硬件在环(HIL)、车辆在环(VIL)、道路在环(RIL)测试；
• 模型在环(MIL)、软件在环(SIL)、硬件在环(HIL)为实验室环境测试，为后续的车辆在环和道路在环测试做铺垫；
• 自动驾驶评价体系主要分为分级体系、评价标准和综合评价模型三部分；每一部分是后一部分的基础，是后一部分得以开展的先决条件；
• 分级体系部分包括：分级理论、智能化分级、ODD分级及对应场景等内容，主要着眼于构建自动驾驶分级体系，为后续的评价和应用做铺垫；
• 评价标准部分包括：基于仿真环境的评价标准、基于车辆在环的评价标准、基于道路在环的评价标准，目标是制定自动驾驶仿真、车辆在环、道路在环分级对应评价标准，用以指导研发测试工作；
• 综合评价模型部分包括：智能化能力模型、评价项目、权重矩阵和评价标准，用于全面系统评价自动驾驶能力，指导自动驾驶车商用量产工作；

自动驾驶测试与评价体系框架如下图所示：

2.1 测试场景

《北京市自动驾驶车辆封闭测试场地技术要求(试行)》对测试场景的要求进行如下规定：

1. 自然环境：晴天，白天，能见度500m以上，干燥路面；
2. 交通流：通过模拟机动车、模拟行人、模拟自行车等设备模拟动态交通流；
3. 道路：按照评估内容，选择封闭试验场地内对应能力评估场地，合理动态布设；
4. 速度：按照城市道路一般交通流速度，自动驾驶车辆的速度限制在60km/h以下；

百度基于实际测试工作，提出的自动驾驶场景ADS库建设框架如下图所示：

• 自动驾驶测试场景结构分为三层：数据层、场景层、测试执行层；
  • 数据层负责从各方面采集场景构建所需要的实际数据，并将其处理导入场景层；
  • 场景层作为测试体系的底层基础，需要对测试体系起到聚合的效果，同时需要将测试内容进行拆分细化；
  • 测试层也可以通过调用场景库中场景为测试服务，并将测试结果反馈给场景库；
• 场景库是场景的载体平台，通过包括场景数据采集，分析挖掘，测试验证和应用改进等步骤和机制将各层数据关联，实现内容闭环；

2.1.1 场景数据采集

• 场景数据采集是场景构建的第一步，该步骤主要采集场景建立过程中所需要的各种数据，如：车辆状态位置信息、障碍物信息、地理信息等；
• 数据采集主要依靠车辆采集平台实现，车辆需要根据需求统一安装激光雷达、摄像头、毫米波雷达等采集设备，规定采集变量和参数格式，在采集回来后可以利用自动化工具对数据进行自动特征提取和数字化；
• 另一方面场景数据是来自文字记录或图表示意的行业标准法规测试场景、交通事故数据库、气象数据库等非数字化来源；
• 场景数据采集主要包含：采集要求定义、采集方案制定、数据预处理、数据传输四个环节；

2.1.2 场景分析挖掘

• 场景分析挖掘：对上一步采集到的数据需要首先处理，如：场景理解、数据清洗、特征提取挖掘等，统一格式后导入到场景库；

• 导入场景库中的数据需要围绕场景进行聚合、生成和优化等环节，从而构建各个不同场景；如：对于十字路口场景、主车信息、障碍物信息、道路信息等都是与特定场景绑定在一起的，此时场景库的场景是单独和孤立的场景，需要给场景增加各类标签和规则，通过标签和规则进行统一管理查询和调用；

• 场景库应包含各种类型，各种维度，涵盖主要典型场景和各种极端场景，如：不同道路类型等级、交通标志和标线识别、天气状况、障碍物识别与应对、人机交互、最小风险状态等；

• 以能力为导向，将场景库按能力划分为7大类共70个能力项，如下表所示：

  序号	层级	能力描述
  1	Layer 1-道路	保持在车道内行驶
  2		换道
  3		在路口直行或转向
  4		掉头
  5		进出主辅路
  6		通过车流交织路段
  7		通过上下坡
  8		通过环岛
  9		通过立交桥
  10		通过隧道
  11		靠边停车
  12		起步
  13		泊车
  14		通过收费站
  15		通过铁路道口
  16		在特殊路面材质道路上行驶
  17	Layer 2-交通规则	依据限速要求行驶
  18		遵守交通信号灯
  19		遵守停止避让标志指示
  20		遵守禁行和禁停标志标线
  21		正确使用待行区
  22		正确使用可变导向车道
  23		识别并遵守限行指示
  24		识别并正确使用限制性车道
  25		识别并遵守不同类型车道线
  26		识别并响应车道导向指示
  27		正确使用灯光和鸣笛
  28		识别出交通设施并做出应对
  29		识别特殊区域标志并应对通过
  30	Layer 3-临时交通环境变化	能检测出临时交通设施并遵守
  31		识别并应对改道指示
  32		能检测出路面异物并应对
  33		能检测出路面深坑并应对
  34		能检测出施工区域并绕行
  35		能检测出交通标志标线变更或缺少并遵守
  36		能检测出临时交通信号灯变化并遵守
  37		依据警察或交通指挥人的指引行驶
  38	Layer 4-障碍物识别及应对	对前方静止车辆行人做出反应
  39		跟车行驶
  40		应对前方车辆切入或切出
  41		超车
  42		完成换道或并道，且避让目标车道内的车辆行人
  43		应对相邻车道内的车辆行人
  44		在路口避让车辆行人
  45		应对行人穿行马路
  46		应对前方车辆急刹或行人突然出现的紧急情况
  47		应对占用部分车道的车辆行人或其他障碍物
  48		能检测出故障车辆或违规停车并绕行
  49		能检测出路面小体积障碍物或动物并避让
  50		能检测出次要障碍物并应对
  51		识别并避让应急车辆
  52		能检测出车辆上方障碍物并应对
  53		应对前方借道行驶车辆
  54		理解其他车辆灯光鸣笛的意图，理解行人的手势
  55		能检测出交通参与者的其他危险行为并应对
  56	Layer 5-自然环境	应对光线变化
  57		应对雨天
  58		应对雪天
  59		应对雾天或雾霾
  60		应对低温或高温
  61		应对不理想的通信或信号环境
  62	Layer 6-人机交互	能进行人机交互
  63		允许乘客输入目的地并规划路线
  64		按乘客要求变更路线或靠边停车
  65		停车到指定位置并允许乘客上下车
  66	Layer 7-安全性及最小风险状态	紧急制动
  67		应对功能失效
  68		应对系统入侵
  69		意外情况发出警示及接管请求
  70		意外情况下回退到最小风险状态并安全停车

• 场景库建设是在场景设计的基础上，采集相关数据并整合进入场景库平台，场景库建设分为数据采集、数据处理和数据管理；

  • 数据采集：主要针对场景设计中确定的场景进行数据采集工作，进一步确定各参数信息，数据采集主要有采集平台、采集规划和采集结果三方面主要内容；
  • 数据处理：主要包括数据标准化、数据分析及数据标注等方面；
    • 数据标准化：对采集过来的数据进行处理，统一数据的标准格式，为后续存储计算使用打下基础；
    • 数据分析：基于处理后的数据对其进行分析，寻找其中的规律，促进测试相关工作质量和效率的提升；
    • 数据标注：基于采集的实际场景，利用深度学习的算法或人工对各种障碍物，包括：红绿灯、点云、车辆和行人等进行标注，以促进自动驾驶相关算法的训练和改进；
  • 数据管理：主要包括数据平台建设、数据格式定义、外部接口标准等；
    • 数据平台建设：搭建承载场景数据的技术平台，可以存储、调用、展示采集来的数据；
    • 数据格式定义：规定了在数据平台存储的数据格式；
    • 外部接口标准：定义了数据平台对外输出和调用的接口标准，为场景测试和平台开发做铺垫；

2.1.3 场景测试执行

• 每个数字化的"场景"通过关联"数据""标注"后，即可用于测试层，进入场景构建的第三步，场景测试验证和应用改进；

• 场景测试验证主要是将场景库内已经构建好的场景实例抽取出来，用包括虚拟场景验证、实车场景验证和专家评审等验证方法评价和确认场景的真实性、代表性和有效性，以更好地服务于技术和产品测试和研发工作，包括：仿真测试、模型在环测试(MIL)、硬件在环测试(HIL)、车辆在环测试(VIL)、道路测试和功能安全等测试环节；

• 场景库建设内容如下表所示：

  测试方向	测试内容
  数据采集	采集路径规划
  	采集平台
  	传感器安装与标定
  	数据存储
  	数据同步
  	数据传输
  数据处理	数据清洗
  	数据标准化
  	数据存储
  	数据分析
  数据标注	2D/3D标注
  	点云标注
  	深度学习算法标注
  	模型训练
  	模型评估
  数据管理	数据平台建设
  	数据库结构
  	数据格式
  	数据查询展示
  	数据接口标准
  场景测试	仿真测试
  	车辆在环测试
  	道路测试

2.2 仿真环境评价指标

• 仿真测试：指对自动驾驶系统在计算机里进行虚拟场景的测试；

• 仿真测试目的：测试自动驾驶系统在各种虚拟场景下的感知、决策和控制能力；通过仿真测试能够复现实际情况下各种可能场景，从而测试自动驾驶系统的决策控制能力，发现问题，避免问题进入后续测试环节，从而降低风险提高开发效率；

• 仿真环境测试阶段评价指标分为：定位、感知、预测、决策规划和控制5个方面，每个方面包含具体的测试指标，如下表所示：

  定位	定位横向误差
  	定位纵向误差
  	定位直线误差
  	定位俯仰角误差
  	定位横滚角误差
  	定位航向角误差
  感知	红绿灯灯型识别准确率
  	红绿灯灯型识别召回率
  	红绿灯灯型颜色准确率
  	红绿灯灯型颜色召回率
  	障碍物识别距离
  	最小分类距离
  	识别障碍物离地高度
  	障碍物识别准确率
  	障碍物识别召回率
  	行人识别准确率
  	行人识别召回率
  	障碍物朝向正确率
  	Heading成功率
  	Tracking成功率
  预测	对车辆预测准确率
  	对车辆预测召回率
  	对行人预测准确率
  	对行人预测召回率
  	对自行车预测准确率
  	对自行车预测召回率
  	车辆直行轨迹预测
  	车辆直行变道轨迹预测
  	车辆左、右转弯轨迹预测
  决策规划	直行策略
  	跟车策略
  	Stop策略
  	主动变道策略
  	普通变道
  	主动变道
  	低速车辆主动变道
  	禁止连续变道策略
  	变道取消策略
  	停止线掉头策略
  	路口直接掉头
  	左转弯
  	右转弯
  	其他策略
  控制	油门控制精度
  	油门控制误差
  	转向控制有效精度
  	制动精度误差
  	直线跟踪纵向误差
  	直线跟踪横向误差
  	转弯跟踪误差
  	换道跟踪误差
  	掉头误差