分层数值一致性与发版门禁

从实车数据到板端后处理,把部署链路的每个阶段都与前一阶段在相同输入下比对,让每个不一致只可能来自一个地方;再配合分级发版门禁,把未经验证的结果挡在车外。

轻舟智航 2024 – 2026 方法设计、工具方向与在各模型团队推广

12个阶段间检查点,从相机数据到板端输出
5级证据等级,从源码到实车
  • 数值对齐
  • LibTorch
  • 地平线 HBIR / HBM
  • HIL / SIL
  • 发版工程
本页目录

问题

“板端结果和浮点模型不一样”是模型部署中最常见、也最没用的问题描述。从 PyTorch 里的模型到车上运行的同一个模型,中间有十几次变换:数据采集、预处理、导出、fake quant、中间表示、两套运行时、编译器、整数 kernel 和后处理。每一步都可能引入误差,误差还会叠加。没有方法,排查就只能靠猜。

方法:比较相邻阶段,而不是两端

每个阶段只和它的前一个阶段比较,并且使用完全相同的输入和完全相同的后处理。这样,每次比较只有一个阶段可能是原因。

数据侧:

实车数据
HIL硬件在环
SIL软件在环
离线格式
离线预处理
板端预处理

模型侧:

Float
面向芯片的导出
QAT(关闭 fake quant)
QAT
IR → 重建 QAT
LibTorch
QAT HBIR
量化 HBIR
HBM芯片上
板端后处理

把模型侧的链路画出来,并标上用它定位到的问题:

stage-by-stage numerical alignment每个阶段只和前一个阶段比较:同一输入、同一后处理(含数据侧共 12 个检查点)Float训练框架QATfake-quant内部 IR导出LibTorch重建 · x86HBIR芯片工具链HBM编译产物板端真机 + 后处理训练侧:PyTorch 与自研 IR目标芯片工具链与真机用这条链路定位到的问题rsqrt 查表分段点LibTorch 与芯片结果不一致;逐层二分后定位到归一化层里一个 rsqrt 查表的分段点。地图模型坐标误差分阶段隔离出三个独立问题:align_corners 不一致、位姿增量张量精度不足、求逆运算位置不对。时序模型帧间传递状态,一帧的微小差异会传到后面很多帧:检查必须覆盖完整序列。发版门禁:结论标注已通过的最高验证级别1源码2编译3仿真4板端5实车新特性默认关闭(feature flag);历史量化问题回归集在每次发版前重跑。

各检查点的误差来源

# 比较 典型误差来源 检查方式
1 实车数据 vs HIL vs SIL NV12 直出 vs 经 RGB 中转 把 SIL 输入 dump 成离线格式后比对
2 离线预处理 vs 数据转换 RGB 与 NV12 两条通路;upsample–downsample 往返 同一帧上比对张量
3 离线预处理 vs 板端预处理 同一变换的不同实现 同一帧上比对张量
4 Float vs 面向芯片的导出 输入改为 YUV444;upsample 被替换 中间特征和输出比对
5 导出 vs 关闭 fake quant 的 QAT conv–BN 融合;plugin 中无法关闭 fake quant 的算子 输出比对,必要时逐层
6 QAT vs Float 量化误差本身 任务指标加逐层误差
7 QAT → IR → 重建 QAT 序列化与重建差异 逐 bit 输出比对
8 QAT 模型 vs LibTorch(Python vs C++) GPU 型号、CUDA 版本、个别 run 的异常 offboard 与 onboard 一致性验证
9 LibTorch vs QAT HBIR 查表转换在这一步完成 逐算子比对,查表误差检查
10 QAT HBIR vs 量化 HBIR fake quant 替换为真正的整数运算 量化 scale 检查
11 量化 HBIR vs HBM 编译器 厂商提供的校验工具
12 offboard vs onboard 后处理,以及实车 vs 离线全链路 实现差异;帧同步 板端同步测试

案例

rsqrt 中的一个查表分段点。 某个量产模型在 LibTorch 和芯片之间存在差异。我们在离线复现:对比普通 LibTorch 和使用芯片查表的 LibTorch,再逐层二分。误差来自归一化层中一个 rsqrt 查表的分段点。修复本身是局部的;更长远的改变是把查表误差检查提前到转换流程中,这后来发展成了自适应查表算法。

地图模型的坐标误差。 对一个矢量地图模型,分阶段隔离找出了三个独立的问题:不同后端之间 upsample 的 align_corners 不一致、一个位姿增量张量精度不足,以及一个求逆运算在计算图中的执行位置不对。

时序模型。 跟踪模型在帧之间传递状态,一帧中极小的数值差异会传播到后面很多帧。所以这类模型的检查必须覆盖完整序列,而不是单帧。

发版门禁:结论被验证到了哪一级?

一致性工具告诉你误差在哪里,发版门禁决定什么可以发布。关于量化模型的每个结论,都标注它已通过的最高级别:

源码代码已评审
编译产物可编译
仿真离线指标
板端在芯片上运行
实车路测
  • 上传了 IR 不等于芯片上能跑,离线指标好也不等于板端结果好。状态汇报要写清楚结论到了哪一级。
  • 新的模型特性合入时默认关闭 feature flag,只有通过离线、回归测试和发版验证后才打开。
  • 历史量化问题回归集在每次发版前运行,修好的问题不会悄悄复发。
  • 量化改动写进发版文档,下游可以把行为变化和原因对应起来。

经验

  • 先隔离,再修复。 在相同输入下比较相邻阶段,不要直接比一条 12 段链路的两端。
  • 数据和后处理也是模型的一部分。 好几个“量化 bug”其实是预处理差异。
  • 说清楚证据等级。 一旦大家对结论被验证到哪一级达成一致,大多数发版争论就消失了。