0 引言
关于仿真可信度评估的研究，在航空航天等领域已建立了较为成熟的体系与方法论（如NASA-STD-7009A）[6-8]，并在这些领域实现了广泛的应用。相较而言，自动驾驶领域的仿真可信度评估尚处于起步阶段。在标准法规方面，2022年，欧盟发布(EU)2022/1426法规，该法规借鉴了NASA-STD-7009A中“管理-分析-验证-确认”体系框架，首次明确了对高级别自动驾驶仿真可信度评估的要求。2024年9月，联合国欧洲经济委员会（UNECE）发布的 UN R171 法规正式生效，该法规针对L2级驾驶员控制辅助系统建立了型式认证技术框架，并在仿真可信度评估等技术要求上采用了与L3级法规类似的方法论原则。与此同时，我国借鉴国际标准，制定了《智能网联汽车 自动驾驶功能仿真试验方法及要求》（GB/T 47025—2026），该标准着重对仿真可信度提出了评估要求。此外，在当前L2级辅助驾驶和L3级自动驾驶国家标准起草过程中，均纳入了对仿真可信度评估体系的要求。仿真可信度评估体系审核已成为自动驾驶产品准入的重要组成部分。
近年来，国内外部分学者开始关注ADS仿真可信度评估的研究，如Stadler等[9]提出了仿真场景可信的评估方法，通过对比仿真数据与真实数据，验证ADS在虚拟场景下的表现是否与真实场景等价；Sun等[10]提出了车载激光雷达仿真模型的仿真可信度评估方法，研究考虑了模型的物理属性与感知精度，基于仿真与实物的对比，采用层次分析法对雷达建模的可信度进行了评估；Han等[11]从动力学保真度、参数可靠性、场景可靠性3个维度，利用数理统计与几何相似分析法评估仿真模型与真实环境的一致性；陈磊等[12]则基于时机和趋势2个维度的客观参数，计算相关性系数及相对误差，从而评估仿真与实车的一致性。尽管上述研究为ADS仿真可信度评估提供了有益思路，但仅限于仿真结果与真实环境响应的对比验证，评估内容相对有限。此外，现有工作普遍缺乏对仿真建模正确性的系统检验、仿真不确定性来源与误差传播的全面分析，以及仿真活动管理流程的规范化评估，即这些研究尚未构建结构完整、要素齐备的ADS仿真可信度评估体系，与自动驾驶产品的准入需求相比仍存在明显不足。
鉴于现有研究在体系建设方面的不足，本研究面向ADS产品准入要求，以准入审核为导向，考虑汽车原始设备制造商（Original Equipment Manufacturer, OEM）和主管部门在仿真验证中的实际需求，基于UN R171及NASA-STD-7009A相关法规的体系框架，建立一套面向自动驾驶产品准入的仿真可信度评估体系。该体系将涵盖可信度评估的标准化流程，以及技术解决方案（管理文档记录要点、关键性分析方法、验证确认方法），以期为OEM进行ADS产品准入申报提供方法论指引。
1 仿真可信度评估流程体系
本章基于UN R171附录5，对ADS仿真可信度评估流程体系进行系统阐述，涵盖UN R171仿真可信度评估框架及仿真可信度评估流程。
1.1 UN R171仿真可信度评估框架
UN R171法规的附录5对ADS建模与仿真的可信度评估提出了一个基本框架，该框架将可信度评估分为管理、分析、验证、确认4个维度。本研究所建立的评估体系均基于该框架展开，以下对4个评估维度作简要说明。
1）建模与仿真管理（M&S管理）：对仿真活动中涉及的人员、数据、工具链、环境、方法等进行系统化文档记录，以便审核和跟踪仿真试验的合规性。
2）建模与仿真分析（M&S分析）：分析仿真的局限性与关键性，明确仿真可信度的预期要求。
3）建模与仿真验证（M&S验证）：验证仿真中采用的模型是否被正确实现，包括代码验证、计算验证及敏感性分析。
4）建模与仿真确认（M&S确认）：评估仿真输出与真实系统响应之间的偏差，通过量化指标与预设阈值的对比，判断仿真可信度是否达到预期目标。
1.2 仿真可信度评估流程
2 仿真可信度评估方法体系
本章将对仿真可信度评估方法体系进行阐述。主要包括：管理阶段文档记录与过程指南的审核要点；分析阶段仿真关键性分析的方法；验证阶段代码验证、计算验证及敏感性分析的方法；确认阶段衡量模型可信度的关键评价指标。
2.1 建模与仿真管理
2.1.1 实验室管理
实验室管理合规性的制度载体为《仿真实验室管理手册》。该手册应明确实验室日常运行与管理办法，包括实验室组织架构、人员资质、设备资源管理、实验室安全管理及实验流程管理。相关管理办法需有据可依。
2.1.2 人员管理
人员管理合规性的依据为仿真试验人员培训记录与上岗证明。该证明文档须与实验室管理手册中的人员资质要求相呼应，形成闭环管理。培训记录应包含培训人员的个人信息、培训项目明细及培训考核结果；上岗证明应包含上岗条件确认及上岗能力审核批准意见，确保人员能力满足试验要求。
2.1.3 工具链管理
工具链管理合规性的依据为仿真工具链维护记录以及仿真工具链操作说明。其中，维护记录需详细记载每次维护过程，包括版本型号、问题发生时间、问题描述、解决状态、解决时间、问题致因及解决方案等内容，以支持问题追溯与版本控制。操作说明则需对工具链的软硬件配置、信号流架构、测试流程、更新流程、典型问题记录等进行详细描述。
2.1.4 数据管理
数据管理的合规性通过仿真数据管理记录体现。该记录需对仿真工具链的输入数据谱系和输出数据不确定性来源进行说明。
输入数据谱系要求仿真输入数据可溯源，需要记录其来源、质量、数据量与数据形式。其中，数据来源包括模型标定数据、场景参数设置依据等，需要说明数据源自实测、文献资料或专家建议；数据质量指数据是基于假设估计、专业推测、标准要求、物理计算或实际观测获取；数据量需要说明数据规模；数据形式则是说明数据为确定值或随机变量。
输出数据的不确定性需要在管理记录中明确并进行适当定量分析。不确定性来源包括工具链、被测对象及输入数据。
2.2 建模与仿真分析
建模与仿真分析是可信度评估的核心，涵盖局限性分析与关键性分析2个维度。局限性分析通过比对模型适用范围与ADS运行设计条件的契合程度，明确仿真可覆盖的测试场景。关键性分析则需要综合评估仿真结果对决策的影响程度及因仿真失效导致的错误决策可能引发的潜在安全后果及其严重度。
首先，需要明确仿真的预期用途，以界定仿真结果在ADS准入中的作用与贡献程度。若仿真结果不用于ADS准入，则无需开展关键性分析；若仿真结果用于ADS准入审核，则必须对仿真关键性进行全面分析。
其次，需要分析仿真结果对最终决策（即ADS准入）的影响程度，基于NASA-STD-7009A，可根据各类试验数据的可获得性判断仿真结果对决策的影响程度。具体分析过程见表1。
表1 仿真结果对决策的影响程度评估 |
| 仿真结果对决策的影响程度 | 真实系统 /环境 | 相似系统 /环境 | 其他 仿真试验 | ||
|---|---|---|---|---|---|
| 主导性 | 无数据 | & | 无数据 | & | 无数据 |
| 显著 | 无数据 | & | 可获得 大量数据 | & | 无数据 |
| Or | |||||
| 无数据 | 无数据 | 可获得 可信数据 | |||
| 中等 | 可获得 有限数据 | 可获得 大量数据 | 无数据 | ||
| Or | |||||
| 无数据 | & | 可获得 大量数据 | 可获得 可信数据 | ||
| 微弱 | 可获得 部分数据 | 可能获得 数据 | 无数据 | ||
| 可忽略 | 可获得 大量数据 | 可能获得 数据 | 无数据 | ||
| Or | |||||
| 可获得实际 运行数据 | 可能获得 数据 | & | 可获得 可信数据 | ||
注：表中“真实系统/环境”指在真实场地按测试用例对ADS进行实车测试；“相似系统/环境”指实车测试对象或环境与当前ADS不完全一致，通常为可复用的历史试验数据；“其他仿真试验”指使用其他已通过可信度评估的仿真工具链进行测试；&表示相邻两列条件必须同时满足；Or表示上下两行满足其一即可。 |
随后，需评估因错误决策（过度依赖仿真结果），或实际运行时出现与仿真测试结论不符的情况时，可能导致的安全性后果的严重程度。基于NASA-STD-7009A，严重度等级评估可参考表2。
表2 严重度等级评估 |
| 严重度等级 | 人员危害 | 系统运行状态危害 | 物品危害 |
|---|---|---|---|
| 可忽略（S0） | 无关紧要 | 无影响 | 无关紧要 |
| 微弱（S1） | 轻微伤害 | 暂时性影响 | 轻微损害 |
| 中等（S2） | 轻微伤害或 慢性健康问题 | 功能暂时 不可用 | 轻微损害且需要修理 |
| 显著（S3） | 严重伤害 | 功能永久性 不可恢复 | 严重损害 |
| 灾难性（S4） | 永久性致残 或死亡 | 功能遭受 严重破坏 | 完全损害 |
基于表2的分级标准，需对每一项测试用例进行严重度等级评估，取其中严重度等级最高者作为整个仿真安全性后果严重度的等级。
最后，综合仿真结果对决策的影响程度及错误决策的安全性后果严重度，基于NASA-STD-7009A和UN R171给出仿真测试关键度评估矩阵（见图2），确定仿真测试的关键度等级。关键度等级分为3级。
1）绿色（低）：可无需进行完整的仿真可信度评估。
2）黄色（中）：可由相关机构根据具体情况裁定是否进行完整的可信度评估。
3）红色（高）：必须严格遵守相关标准和技术规范进行完整的可信度评估。
根据关键度评估结果，可设定可信度阈值。阈值设定可优先采用标准规定值。若无明确要求，则基于历史数据分布统计确定（如95%分位数或置信区间上限），或结合企业经验与行业共识确定。多输出及多工况判定可选择逐项满足或加权汇总作为统一评价，且应在同一评价体系内保持一致性，以避免多规则混用导致判定冲突。
2.3 建模与仿真验证
建模与仿真验证包括代码验证、计算验证和敏感性分析。鉴于目前OEM多采用成熟的商业化软硬件实施仿真测试，故本文对于代码和计算验证仅作简要论述。对于敏感性分析，则提出一种量化分析方法。
2.3.1 代码验证
代码验证包括数值算法验证和软件质量保证。数值算法验证从数值精度角度检查软件功能的可靠性；软件质量保证则从代码逻辑和效率角度检查软件功能的可靠性。
对于数值算法验证，需进行收敛性测试和精度阶测试。收敛性测试通过逐步缩小离散步长，观察仿真误差是否随之减小并趋于稳定。精度阶测试则用于验证离散误差是否按理论预期随步长收敛。由数值分析理论可知，精度阶数可由下式推算[13]：
$p=\frac{\ln E_{1}-\ln E_{2}}{\ln h_{1}-\ln h_{2}}$
式（1）中： 为精度阶数； 、 为两次离散步长； 、 为两次仿真输出与理论精确解之间的误差值。若测试精度阶数接近数值算法的理论精度阶，则说明仿真实现过程正确。
软件质量保证需要开展单元测试、静态测试及动态测试。单元测试验证各代码子模块的功能与逻辑正确性；静态测试检查编译阶段的错误、警告及语言一致性；动态测试通过执行代码排查内存溢出等运行期问题。
2.3.2 计算验证
计算验证旨在对影响仿真工具链精度的各类数值误差或数值不确定性进行量化估计。评估内容主要包括浮点运算（上溢出/下溢出及舍入误差）、求解器容差及采样频率的不确定性影响。
2.3.3 敏感性分析
敏感性分析是建模与仿真验证的核心，用于评估模型对输入参数扰动的响应程度，从而验证评估结果的鲁棒性。同时，敏感性分析可识别关键敏感因素，以便在仿真中对其扰动加以有效控制。
设可信度评价指标与仿真模型输入、模型参数及真值输出满足以下映射关系：
$I=F(\hat{\boldsymbol{x}}, \hat{\boldsymbol{\theta}}, \boldsymbol{y})$
式（2）中： 为可信度评价指标； 为仿真模型的输入， 为输入维度； 为仿真模型的标定参数； 为标定参数维度； 为真值输出， 为输出的维度。
为量化输入数据测量不确定性的影响，可将 分解为两部分：
$\hat{x}=\bar{x} \pm \delta$
式（3）中： 为单次实车试验记录的输入标称值； 为由设备或环境干扰引起的测量不确定性。同理，标定参数 也可拆分为标称值与不确定误差。
本研究采用单因素控制变量法进行敏感性分析，即在允许误差范围内单独扰动某一输入参数，观察模型输出的变化，以评估该参数对输出的独立影响。为量化评估该影响，引入敏感因数：
$\left.\alpha_{x_{i}} \triangleq \frac{\partial F}{\partial \hat{x}_{i}}\right|_{\hat{x}_{i}=\bar{x}_{i}}=\frac{s_{I}}{s_{x_{i}}}$
式（4）中： 为 （ 的第 个分量，标称值为 、不确定性误差为 ）的敏感因数； 为 的样本标准差； 为 的样本标准差。
上述不确定性误差为绝对误差，但在某些仅能获得相对误差的情形，应将敏感因数的计算做如下转换：
$\left.\alpha_{x_{i}}^{r} \triangleq \frac{\partial \ln F}{\partial \ln \hat{x}_{i}}\right|_{\hat{x}_{i}=\bar{x}_{i}}=\frac{s_{I}^{r}}{s_{x_{i}}^{r}}$
式（5）中： 为相对误差下的敏感因数； 为 的相对标准差； 为 的相对标准差。
2.4 建模与仿真确认
建模与仿真确认是在相同工况下验证仿真输出与实车试验结果的一致性，关键在于根据输出数据类型选择合适的评价指标 ，包括标量指标和时间序列指标。为方便后续公式表达，设仿真输出 与真值输出 为单一时间序列变量，长度为 。
标量数据指标常用于对比输出信号中的关键特征数值（如信号峰值），一般采用相对误差准则对标量数据的一致性进行验证。相对误差准则如下：
$I_{R E C}=\frac{\left|\hat{y}_{c}-y_{c}\right|}{y_{c}} \times 100 \%$
式（6）中： 为相对误差； 为仿真输出信号中的关键值； 为实车试验输出信号中的关键值。
然而，标量数据提供的信息有限，难以全面反映信号的一致性。相较之下，分析时间序列输出可更全面地揭示仿真与实测数据的相关性。一般采用 范数计算时间序列残差，并将其标准化为均方根误差[14]：
$I_{\mathrm{RMSE}}=\sqrt{\frac{1}{T} \sum_{k=1}^{T}\left(\hat{y}_{k}-y_{k}\right)^{2}}$
式（7）中： 为均方根误差 ( Root Mean Square Error, RMSE)； 为仿真输出信号中的第 个值； 为实车试验输出信号中的第 个值。
此外，也可用其他范数量化时间序列差异，譬如 范数和 范数。其中，基于 范数的评价指标常采用加权绝对百分比误差（Weighted Absolute Percentage Error, WAPE）[14]，该评价指标的表达式如下：
$I_{\mathrm{WAPE}}=\frac{\sum_{k=1}^{T}\left|\hat{y}_{k}-y_{k}\right|}{\sum_{k=1}^{T}\left|y_{k}\right|} \times 100 \%$
式（8）中： 为加权绝对百分比误差。
3 应用案例
本章基于实际项目案例，对上文提出的ADS仿真可信度评估体系进行应用，以验证所提出的评估体系在工程实践中的可用性。
3.1 案例说明
本案例来自智己汽车科技有限公司委托的“L2级驾驶辅助系统动力学建模仿真可信度评估”项目，旨在对其仿真工具链开展可信度审查，并重点完成动力学模型的验证与确认。
本案例按照管理、分析、验证和确认4个环节开展可信度评估。首先审查仿真管理文档的完整性；随后基于模型应用说明、测试方案大纲及测试用例库，分析仿真的关键性；最后针对仿真工具链中的动力学模型实施验证和确认。验证与确认阶段通过选定典型试验工况，开展实车与仿真对比。选取的对比工况包括80 km/h加速、90 km/h制动和80 km/h正弦操稳。结果一致性采用均方根误差和加权绝对百分比误差进行评价。
3.2 案例分析
本节基于“管理—分析—验证—确认”评估流程，针对项目案例进行仿真可信度评估。
1）建模与仿真管理
在建模与仿真管理阶段，对OEM的仿真工具链管理文档进行审查。按照本文2.1节的管理要求，OEM提供的文档记录包括《仿真实验室管理手册》、硬件在环（Hardware-In-Loop，HIL）台架操作说明、仿真试验人员培训记录、仿真试验人员上岗证明、台架维护记录、存储管理说明、工具链版本管理记录、仿真模型接口说明、仿真数据管理文档。
2）建模与仿真分析
首先，分析仿真试验的局限性。根据OEM提供的动力学模型应用说明，确定仿真测试的覆盖场景范围。本项目案例中，仿真测试适用于城区巡航及高/快速路条件、车速不超过130 km/h、车辆可执行变道操作，且存在其他社会车辆的场景。
表3 测试用例严重度分析示例 |
| 功能描述 | 环境 | 潜在风险 | 运行场景 | 风险后果 | 影响对象 | 严重度 |
|---|---|---|---|---|---|---|
| 换道控制 | 城区 | 功能丧失 | 单向双车道直道，被测车辆在左侧车道，车速40 km/h，行人静止在右侧车道，当被测车辆到达预设位置时，向右打转向灯变道 | 被测车辆与 行人 发生碰撞 | 本车乘员/ 物品，行人 | S3 |
| 高速领航 辅助 | 高速路 | 功能丧失 | 单向双车道直道，被测车辆在左侧车道，车速120 km/h，当被测车辆车速稳定在（120±1）km/h后，向右打转向灯变道 | 被测车辆无法 完成变道 | 本车乘员/ 物品 | S0 |
| 城市道路 领航辅助 | 城区 | 功能不足 | 单向双车道直道，被测车辆在左侧车道，车速30 km/h，目标车在左侧车道，车速20 km/h，当被测车辆跟驰车速稳定在（20±1）km/h后，向右打转向灯变道 | 被测车辆与 目标车辆 发生碰撞 | 本车乘员/ 物品，目标车 | S1 |
基于上述分析，并结合图2可知，仿真试验的关键度为“中”，可信度阈值要求为“中等”。
3）建模与仿真验证
在建模与仿真验证阶段，动力学模型采用Carsim软件内置模型与数值算法。模型及相关参数配置采用VS Math Model的默认配置，求解器采用Carsim内置的VS Solver求解器（精度阶 ），采样频率为100 Hz，每个工况执行1次仿真试验。实验中无额外开发，故无需进行深入的代码验证与计算验证，只需提供Carsim软件相关的官方文档证明即可。验证部分的核心是敏感性分析，由于敏感性分析与仿真确认之间的强关联性，该部分将在建模与仿真确认中进行介绍。
4）建模与仿真确认
在建模与仿真确认阶段，对3种工况下的内外场试验结果进行对比，并且选择关键输入参数，分析参数不确定性对结果的影响。本案例中，输入参数的不确定性相对误差均为±2%。
表5 90 km/h制动工况下的试验结果 |
| 变化因素 | 输出量 | IRMSE（单位同输出） （标称/上界/下界） | IWAPE（%） （标称/上界/下界） | IRMSE/IWAPE下的 敏感因数 |
|---|---|---|---|---|
| 前轮制动系数变化 （±2%） | 纵向加速度/（m/s2） | 1.45/1.64/1.44 | 12.69/13.73/13.13 | 4.64/3.15 |
| 速度/（m/s） | 1.93/2.27/1.64 | 3.95/4.85/3.36 | 8.19/9.63 | |
| 后轮制动系数变化 （±2%） | 纵向加速度/（km/h） | 1.45/1.44/1.47 | 12.69/12.51/12.86 | 0.55/0.69 |
| 速度/（km/h） | 1.93/1.91/1.95 | 3.95/3.91/4.01 | 0.52/0.65 |
4 结束语
本研究建立了一套面向ADS准入的仿真可信度评估体系，从管理、分析、验证、确认4个维度对仿真可信度实施全面评估。相较于已有研究主要局限于仿真试验与实车试验结果对比验证，本研究的主要贡献如下：①从管理、分析、验证、确认4个维度，明确各方职责分工，制定了便于企业实施、可形成标准化作业程序的评估流程；②梳理相关文档记录与过程指南的审核要点，一方面便于主管部门审核OEM仿真活动的合规性，另一方面规范化OEM的仿真证据链管理；③从多个维度综合分析仿真试验的关键性，明确仿真可信度评估的具体要求，同时为OEM提供便于审核实操的分析模板；④建立了面向代码验证、计算验证、敏感性分析及可信度评价指标的方法论，从“过程”和“结果”两个层面评估仿真可信度。
未来研究将进一步深化ADS仿真可信度评估方法，包括仿真场景覆盖度的评估、传感器模型可信度的评价、环境模型可信度的评价等。