分层数值一致性与发版门禁
从实车数据到板端后处理,把部署链路的每个阶段都与前一阶段在相同输入下比对,让每个不一致只可能来自一个地方;再配合分级发版门禁,把未经验证的结果挡在车外。
12个阶段间检查点,从相机数据到板端输出
5级证据等级,从源码到实车
本页目录
问题
“板端结果和浮点模型不一样”是模型部署中最常见、也最没用的问题描述。从 PyTorch 里的模型到车上运行的同一个模型,中间有十几次变换:数据采集、预处理、导出、fake quant、中间表示、两套运行时、编译器、整数 kernel 和后处理。每一步都可能引入误差,误差还会叠加。没有方法,排查就只能靠猜。
方法:比较相邻阶段,而不是两端
每个阶段只和它的前一个阶段比较,并且使用完全相同的输入和完全相同的后处理。这样,每次比较只有一个阶段可能是原因。
数据侧:
实车数据
HIL硬件在环
SIL软件在环
离线格式
离线预处理
板端预处理
模型侧:
Float
面向芯片的导出
QAT(关闭 fake quant)
QAT
IR → 重建 QAT
LibTorch
QAT HBIR
量化 HBIR
HBM芯片上
板端后处理
把模型侧的链路画出来,并标上用它定位到的问题:
各检查点的误差来源
| # | 比较 | 典型误差来源 | 检查方式 |
|---|---|---|---|
| 1 | 实车数据 vs HIL vs SIL | NV12 直出 vs 经 RGB 中转 | 把 SIL 输入 dump 成离线格式后比对 |
| 2 | 离线预处理 vs 数据转换 | RGB 与 NV12 两条通路;upsample–downsample 往返 | 同一帧上比对张量 |
| 3 | 离线预处理 vs 板端预处理 | 同一变换的不同实现 | 同一帧上比对张量 |
| 4 | Float vs 面向芯片的导出 | 输入改为 YUV444;upsample 被替换 | 中间特征和输出比对 |
| 5 | 导出 vs 关闭 fake quant 的 QAT | conv–BN 融合;plugin 中无法关闭 fake quant 的算子 | 输出比对,必要时逐层 |
| 6 | QAT vs Float | 量化误差本身 | 任务指标加逐层误差 |
| 7 | QAT → IR → 重建 QAT | 序列化与重建差异 | 逐 bit 输出比对 |
| 8 | QAT 模型 vs LibTorch(Python vs C++) | GPU 型号、CUDA 版本、个别 run 的异常 | offboard 与 onboard 一致性验证 |
| 9 | LibTorch vs QAT HBIR | 查表转换在这一步完成 | 逐算子比对,查表误差检查 |
| 10 | QAT HBIR vs 量化 HBIR | fake quant 替换为真正的整数运算 | 量化 scale 检查 |
| 11 | 量化 HBIR vs HBM | 编译器 | 厂商提供的校验工具 |
| 12 | offboard vs onboard 后处理,以及实车 vs 离线全链路 | 实现差异;帧同步 | 板端同步测试 |
案例
rsqrt 中的一个查表分段点。 某个量产模型在 LibTorch 和芯片之间存在差异。我们在离线复现:对比普通 LibTorch 和使用芯片查表的 LibTorch,再逐层二分。误差来自归一化层中一个 rsqrt 查表的分段点。修复本身是局部的;更长远的改变是把查表误差检查提前到转换流程中,这后来发展成了自适应查表算法。
地图模型的坐标误差。 对一个矢量地图模型,分阶段隔离找出了三个独立的问题:不同后端之间 upsample 的 align_corners 不一致、一个位姿增量张量精度不足,以及一个求逆运算在计算图中的执行位置不对。
时序模型。 跟踪模型在帧之间传递状态,一帧中极小的数值差异会传播到后面很多帧。所以这类模型的检查必须覆盖完整序列,而不是单帧。
发版门禁:结论被验证到了哪一级?
一致性工具告诉你误差在哪里,发版门禁决定什么可以发布。关于量化模型的每个结论,都标注它已通过的最高级别:
源码代码已评审
编译产物可编译
仿真离线指标
板端在芯片上运行
实车路测
- 上传了 IR 不等于芯片上能跑,离线指标好也不等于板端结果好。状态汇报要写清楚结论到了哪一级。
- 新的模型特性合入时默认关闭 feature flag,只有通过离线、回归测试和发版验证后才打开。
- 历史量化问题回归集在每次发版前运行,修好的问题不会悄悄复发。
- 量化改动写进发版文档,下游可以把行为变化和原因对应起来。
经验
- 先隔离,再修复。 在相同输入下比较相邻阶段,不要直接比一条 12 段链路的两端。
- 数据和后处理也是模型的一部分。 好几个“量化 bug”其实是预处理差异。
- 说清楚证据等级。 一旦大家对结论被验证到哪一级达成一致,大多数发版争论就消失了。