从 PTQ 到 QAD:与浮点模型一致的量化
量产驾驶模型的量化方案如何经历四代演进,以及为什么量产需要的是逐 case 与浮点模型一致,而不是一个好看的平均指标。
本页目录
问题
轻舟的驾驶模型大约每两周发一次版,量化是上芯片前的最后一步。项目早期,量化只看一个数字:离线指标掉点不超过某个阈值。到了量产后期,这已经不够了。下游对回退几乎零容忍,量化不仅要对离线指标负责,还要对场景回归测试和实车问题负责。
难点有两个:
- 稳定不是免费的。 模型侧认为只要结构不变,量化就应该稳定。实际上,权重或激活分布的任何变化(新数据、训练更久)都会改变量化结果。
- 平均值会掩盖单个 case。 自动紧急制动(AEB)目标哪怕比浮点模型晚一帧检出,也是失败;浮点模型修好的问题,INT8 模型也必须修好。平均指标好,这两点都保证不了。
所以需求变成了:量化模型要逐 case 地表现得和浮点模型一样,并且稳定到一键执行、无需调参。
四代方案一览
整体流程
每个模型都走同一套分阶段流程。每个阶段都有退出条件,只有便宜的阶段不达标,才进入更贵的阶段。
- 把浮点模型适配到量化框架,并确认适配本身不掉点。算子替换、conv–BN 融合、芯片的输入通路(YUV 而不是 RGB),都会在量化之前就改变数值。
- 用挑选过的数据校准。 校准集要尽可能覆盖各类场景,并加入历史版本中出过量化问题的 case。
- 评估 PTQ。 达标就直接导出。PTQ 成本低,而且不改权重,与浮点模型最接近。
- 找出敏感层。 两种工具:累积误差(每层输出相对浮点端到端偏离了多少)和单层误差(一次只量化一层)。要更精确的排序,可以从全 INT16(W16A16)模型出发,逐层降到 INT8。敏感层保留 INT16。
- 需要时再训练:QAT 或 QAD,同时使用任务损失和对浮点模型的蒸馏损失,迭代到达标,然后导出中间表示(IR)并为芯片编译。
第一代:scale search PTQ(2023)
最早的量产模型(BEV 检测、单目 3D、多任务感知)用 PTQ 量化。手工调 PTQ 慢且脆弱:每次模型更新都要重新调截断范围,而基于 min/max 或百分位的统计对长尾激活常常选出不好的 scale。
我开发了自动量化参数搜索:在校准数据上自动搜索一组好的量化参数,而不是由激活统计推导再手工调整。它去掉了常规发版中的大部分手工工作,并已申请专利。
它的局限在精度:复杂多任务模型上 PTQ 仍然会掉约 2 个点。
搜索是分级进行的:便宜的级别不达标,才进入更贵的级别。目标始终是量化输出与浮点输出尽量一致(cosine 相似度),而不是激活分布的某个统计量。
在这个模型上,默认校准掉 5.3 个点;整体调整 scale 没有带来改善,逐层前向加后向搜索仍然掉约 3 个点;逐层量化则基本无损(mAP 0.803,浮点 0.800)。
第二代:基于 LSQ 的 AutoQuant(2024)
地图模型和时序跟踪模型同时包含卷积和 Transformer 模块。Transformer 激活有明显的离群值,基于统计的均匀 PTQ 处理不好;完整 QAT 能恢复精度,但会改写权重,模型在罕见输入上会偏离浮点。
AutoQuant 介于两者之间。设计目标是:
- 任务精度优于 PTQ;
- 中间特征(而不只是输出)与浮点模型保持接近;
- 尽量少改权重;
- 直接学习量化参数(scale);
- 适用于 CNN + Transformer 的混合结构。
方法是在少量无标注数据上用 LSQ(learned step-size quantization)学习步长,同时限制权重变化(例如用 AdaRound 式的取整选择代替自由更新),并用浮点模型的中间特征做监督。我也评估过另一种方案:只对最敏感的层做 QAT。成本更低,但效果完全取决于敏感层识别是否准确。
训练之前,图层面的改写也有帮助。跨层均衡(Cross-Layer Equalization)平衡相邻线性层的权重范围。LayerNorm–Linear 融合能少一个量化张量:在芯片上 LayerNorm 被拆成多个算子,最后一步(逐通道的缩放和偏移)可以合并进下一个线性层。
LayerNorm: y1 = (x − mean(x)) / std(x)
y2 = γ ⊙ y1 + β
Linear: y3 = W·y2 + b
融合后: y3 = (W·diag(γ))·y1 + (W·β + b)
第三代:带蒸馏的 QAT(2025)
在 5 个量产感知模型上,QAT 把量化掉点从约 2 个点(PTQ)降到约 0.5 个点。但只用任务损失的 QAT 有一个结构性问题:
带蒸馏的 QAT 保留任务损失,同时把浮点模型作为教师。训练从 PTQ 模型开始,在相同输入下把中间特征拉向浮点模型的特征。这样,对浮点模型的改进就能传递到实车。
围绕它的工程工作和损失函数同样重要:
- 可复现: 去掉可避免的随机性,让两次 QAT 结果可以比较。
- 数据管理: 专用的校准集和 QAT 数据集。浮点训练数据增删时,QAT 数据按相同比例增删。
- 代码流转路径: 浮点主分支 → 量化主分支 → 独立量化实验分支 → 量化主分支 → master。
- 成本意识: 一次 QAT 需要几十张 GPU 训练 12–24 小时,所以先走便宜的阶段。
第四代:面向端到端模型的量化感知蒸馏 QAD(2026)
规划和端到端驾驶模型输出轨迹,微小的数值差异会随时间累积。我们在一个规划模型和一个端到端模型上,用相同数据对比了 QAT 和 AutoQuant/蒸馏方案。两者的整体指标都很高,但蒸馏方案在一致性和长尾 case 上明显更好。
QAD 把蒸馏作为主要目标,并扩大数据规模。配套有两项改变:
- 数据: 训练片段追求多样性而不是数量,并收集、加入针对已知问题的片段。
- 对照实验: 对 World2Action 端到端模型,每个候选方案只改一个因素,并按方案族分组。每个候选都报告同样的 25 项关键指标和 388 个公共标量,失败的候选也保留作为证据。
这些实验得出的结论:
| 改变的因素 | 结论 |
|---|---|
| 蒸馏方式(无、特征、完整、仅 QAD) | 只用任务损失或只用特征蒸馏都不够;任务监督不能去掉。 |
| 时序状态(场景重置、独立的教师历史) | 在场景边界重置状态、给教师模型独立的历史,是必要前提。 |
| 训练后期权重漂移 | 在训练后期锚定权重,解决了某个候选中出现的数值发散。 |
| horizon 平衡、路线门控、课程学习 | 部分方案离线有局部收益,但没有带来稳定的实车改善,因此没有晋级。 |
晋级的候选进入了实车测试;尚未实车验证的,一律标注为离线候选。
案例:预测规划模型的误差累积
2025 年底,一个预测规划模型量化之后轨迹输出异常,PTQ 和常规 QAT 都救不回来,量产交付受阻。
关键是把两种误差放在一起看。单层误差(一次只量化一层)在每一层都不大;累积误差(相对浮点模型的端到端偏离)却沿着深层网络逐级放大,到轨迹输出时已经不可接受。当时有一个更省事的方案:冻结大部分层,只微调一小部分。实验否定了它,因为冻结只能压住局部误差,压不住累积。最终采用两段式量化加全量 QAT,敏感层与鲁棒层分开处理,并把全链路换成 INT16,为累积误差留出数值余量。
轨迹异常消除,方案合入主线并完成发版验证。它也成了团队的一条方法论:中融合模型的量化必须全量训练。
经验
- PTQ 更接近浮点,QAT 分数更高。 量产两者都要,这正是 QAD 的价值。
- 浮点模型就是规格说明。 用逐 case 复现浮点行为的程度来衡量量化。
- 按需升级成本。 先适配、校准、做敏感度分析,再投入 GPU 天去训练。
- 保留负面结果。 它们界定了每种方法的适用范围,也避免同一个实验做两遍。