从 PTQ 到 QAD:与浮点模型一致的量化

量产驾驶模型的量化方案如何经历四代演进,以及为什么量产需要的是逐 case 与浮点模型一致,而不是一个好看的平均指标。

轻舟智航 2023 – 2026 量化方向负责人;算法设计与团队推广

2 → 0.5个点的量化掉点(PTQ → QAT,5 个感知模型)
4代量化方案,每一代由新的模型类型驱动
25 / 388每个端到端候选方案跟踪的关键指标 / 公共标量
  • PTQ
  • QAT
  • QAD
  • LSQ
  • 蒸馏
  • 敏感度分析
  • 地平线 J6M
本页目录

问题

轻舟的驾驶模型大约每两周发一次版,量化是上芯片前的最后一步。项目早期,量化只看一个数字:离线指标掉点不超过某个阈值。到了量产后期,这已经不够了。下游对回退几乎零容忍,量化不仅要对离线指标负责,还要对场景回归测试和实车问题负责。

难点有两个:

  • 稳定不是免费的。 模型侧认为只要结构不变,量化就应该稳定。实际上,权重或激活分布的任何变化(新数据、训练更久)都会改变量化结果。
  • 平均值会掩盖单个 case。 自动紧急制动(AEB)目标哪怕比浮点模型晚一帧检出,也是失败;浮点模型修好的问题,INT8 模型也必须修好。平均指标好,这两点都保证不了。

所以需求变成了:量化模型要逐 case 地表现得和浮点模型一样,并且稳定到一键执行、无需调参。

四代方案一览

four generations of quantization method每一代由新的模型类型驱动2023Scale-search PTQ驱动BEV 检测 · 单目 3D多任务感知机制以与浮点输出的相似度为目标,自动搜索每层量化参数;权重不动去掉手工调参;已申请专利2024LSQ AutoQuant驱动矢量地图 · 时序跟踪机制学习量化步长,约束权重漂移,并用浮点中间特征监督;训练前做CLE 与 LN–Linear 融合适配 CNN + Transformer 混合结构2025蒸馏 QAT驱动回退零容忍的量产发版机制浮点模型做教师,从 PTQ 模型出发;任务损失 + 中间特征蒸馏掉点 ≈2 → ≈0.5(5 个感知模型)2026大规模 QAD驱动预测规划 · 端到端轨迹输出机制蒸馏成为主目标;数据求多样而非求量;每个候选只改一个变量量化版本进入实车测试目标:平均指标不掉点目标:逐 case 与浮点模型一致
每一代都由新的模型类型驱动;真正变化的是目标。

整体流程

每个模型都走同一套分阶段流程。每个阶段都有退出条件,只有便宜的阶段不达标,才进入更贵的阶段。

浮点模型
适配量化框架确认零损失
PTQ校准
敏感度分析逐层
QAT / QAD任务 + 蒸馏
导出 IR编译上芯片
  1. 把浮点模型适配到量化框架,并确认适配本身不掉点。算子替换、conv–BN 融合、芯片的输入通路(YUV 而不是 RGB),都会在量化之前就改变数值。
  2. 用挑选过的数据校准。 校准集要尽可能覆盖各类场景,并加入历史版本中出过量化问题的 case。
  3. 评估 PTQ。 达标就直接导出。PTQ 成本低,而且不改权重,与浮点模型最接近。
  4. 找出敏感层。 两种工具:累积误差(每层输出相对浮点端到端偏离了多少)和单层误差(一次只量化一层)。要更精确的排序,可以从全 INT16(W16A16)模型出发,逐层降到 INT8。敏感层保留 INT16。
  5. 需要时再训练:QAT 或 QAD,同时使用任务损失和对浮点模型的蒸馏损失,迭代到达标,然后导出中间表示(IR)并为芯片编译。

第一代:scale search PTQ(2023)

最早的量产模型(BEV 检测、单目 3D、多任务感知)用 PTQ 量化。手工调 PTQ 慢且脆弱:每次模型更新都要重新调截断范围,而基于 min/max 或百分位的统计对长尾激活常常选出不好的 scale。

我开发了自动量化参数搜索:在校准数据上自动搜索一组好的量化参数,而不是由激活统计推导再手工调整。它去掉了常规发版中的大部分手工工作,并已申请专利。

它的局限在精度:复杂多任务模型上 PTQ 仍然会掉约 2 个点。

搜索是分级进行的:便宜的级别不达标,才进入更贵的级别。目标始终是量化输出与浮点输出尽量一致(cosine 相似度),而不是激活分布的某个统计量。

scale-search PTQ: staged searchScale-search PTQ:便宜的级别不达标,才进入更贵的级别L0默认校准参数L1校准方式 × 参数组合,取与浮点输出 cosine 相似度最高的一组L2逐层后向搜索 + 逐层前向搜索L3逐层量化 + 逐层搜索L4规划中:逐层量化 + 束搜索,避免贪心带来的次优解收尾规划中:贝叶斯搜索,对全部 scale 做联合优化搜索目标始终是“量化输出与浮点输出尽量一致”,而不是某个统计量。红绿灯检测模型 · mAP浮点模型0.800默认校准的 PTQ0.747逐层量化(L3)0.803默认校准掉 5.3 个点;逐层前后向搜索仍掉约 3 个点;逐层量化回到浮点水平。
分级搜索(后两级还在规划中),以及一个红绿灯检测模型上的结果。

在这个模型上,默认校准掉 5.3 个点;整体调整 scale 没有带来改善,逐层前向加后向搜索仍然掉约 3 个点;逐层量化则基本无损(mAP 0.803,浮点 0.800)。

第二代:基于 LSQ 的 AutoQuant(2024)

地图模型和时序跟踪模型同时包含卷积和 Transformer 模块。Transformer 激活有明显的离群值,基于统计的均匀 PTQ 处理不好;完整 QAT 能恢复精度,但会改写权重,模型在罕见输入上会偏离浮点。

AutoQuant 介于两者之间。设计目标是:

  • 任务精度优于 PTQ;
  • 中间特征(而不只是输出)与浮点模型保持接近;
  • 尽量少改权重;
  • 直接学习量化参数(scale);
  • 适用于 CNN + Transformer 的混合结构。

方法是在少量无标注数据上用 LSQ(learned step-size quantization)学习步长,同时限制权重变化(例如用 AdaRound 式的取整选择代替自由更新),并用浮点模型的中间特征做监督。我也评估过另一种方案:只对最敏感的层做 QAT。成本更低,但效果完全取决于敏感层识别是否准确。

训练之前,图层面的改写也有帮助。跨层均衡(Cross-Layer Equalization)平衡相邻线性层的权重范围。LayerNorm–Linear 融合能少一个量化张量:在芯片上 LayerNorm 被拆成多个算子,最后一步(逐通道的缩放和偏移)可以合并进下一个线性层。

LayerNorm:   y1 = (x − mean(x)) / std(x)
             y2 = γ ⊙ y1 + β
Linear:      y3 = W·y2 + b
融合后:      y3 = (W·diag(γ))·y1 + (W·β + b)

第三代:带蒸馏的 QAT(2025)

在 5 个量产感知模型上,QAT 把量化掉点从约 2 个点(PTQ)降到约 0.5 个点。但只用任务损失的 QAT 有一个结构性问题:

带蒸馏的 QAT 保留任务损失,同时把浮点模型作为教师。训练从 PTQ 模型开始,在相同输入下把中间特征拉向浮点模型的特征。这样,对浮点模型的改进就能传递到实车。

围绕它的工程工作和损失函数同样重要:

  • 可复现: 去掉可避免的随机性,让两次 QAT 结果可以比较。
  • 数据管理: 专用的校准集和 QAT 数据集。浮点训练数据增删时,QAT 数据按相同比例增删。
  • 代码流转路径: 浮点主分支 → 量化主分支 → 独立量化实验分支 → 量化主分支 → master。
  • 成本意识: 一次 QAT 需要几十张 GPU 训练 12–24 小时,所以先走便宜的阶段。
distillation QAT: float teacher, INT8 student训练结构教师浮点 · 冻结学生INT8 · 从 PTQ 出发主干主干融合融合解码解码输出头输出头特征蒸馏输出蒸馏同一输入任务损失不能去掉对照实验确认的必要条件场景边界重置时序状态教师模型使用独立历史训练后期锚定权重端到端规划模型:每个候选统一报告 25 项关键指标、388 个公共标量为什么只用任务损失不够recall →precision ↑浮点模型只用任务损失的 QAT工作点漂移蒸馏 QAT / QAD漂移后的模型可能少一些误检、多一些漏检:它已经不是浮点模型的低精度版本,而是另一个模型。
左:浮点模型做教师、INT8 模型做学生的训练结构。右:只用任务损失时,工作点会沿 precision–recall 曲线漂移。

第四代:面向端到端模型的量化感知蒸馏 QAD(2026)

规划和端到端驾驶模型输出轨迹,微小的数值差异会随时间累积。我们在一个规划模型和一个端到端模型上,用相同数据对比了 QAT 和 AutoQuant/蒸馏方案。两者的整体指标都很高,但蒸馏方案在一致性和长尾 case 上明显更好。

QAD 把蒸馏作为主要目标,并扩大数据规模。配套有两项改变:

  • 数据: 训练片段追求多样性而不是数量,并收集、加入针对已知问题的片段。
  • 对照实验: 对 World2Action 端到端模型,每个候选方案只改一个因素,并按方案族分组。每个候选都报告同样的 25 项关键指标和 388 个公共标量,失败的候选也保留作为证据。

这些实验得出的结论:

改变的因素 结论
蒸馏方式(无、特征、完整、仅 QAD) 只用任务损失或只用特征蒸馏都不够;任务监督不能去掉。
时序状态(场景重置、独立的教师历史) 在场景边界重置状态、给教师模型独立的历史,是必要前提。
训练后期权重漂移 在训练后期锚定权重,解决了某个候选中出现的数值发散。
horizon 平衡、路线门控、课程学习 部分方案离线有局部收益,但没有带来稳定的实车改善,因此没有晋级。

晋级的候选进入了实车测试;尚未实车验证的,一律标注为离线候选。

案例:预测规划模型的误差累积

2025 年底,一个预测规划模型量化之后轨迹输出异常,PTQ 和常规 QAT 都救不回来,量产交付受阻。

case: quantization error accumulating in a prediction-planning model案例:预测规划模型量化后轨迹异常,从现象到方法论现象量化后轨迹输出异常PTQ 与常规 QAT 都救不回来量产交付受阻定位逐层误差:单层都不大累积误差:沿深层网络逐级放大到轨迹输出时已不可接受决策否定“冻结部分层再微调”两段式量化 + 全量 QAT敏感层 / 鲁棒层差异化;全链路INT16结果轨迹异常消除合入主线并完成发版验证方法论:中融合模型量化必须全量训练示意:为什么只看单层误差会漏掉问题浅层深层 → 轨迹输出单层误差(一次只量化一层)累积误差(相对浮点端到端偏离)冻结部分层只能压住局部误差,压不住累积;所以必须让全部权重一起适应量化。

关键是把两种误差放在一起看。单层误差(一次只量化一层)在每一层都不大;累积误差(相对浮点模型的端到端偏离)却沿着深层网络逐级放大,到轨迹输出时已经不可接受。当时有一个更省事的方案:冻结大部分层,只微调一小部分。实验否定了它,因为冻结只能压住局部误差,压不住累积。最终采用两段式量化加全量 QAT,敏感层与鲁棒层分开处理,并把全链路换成 INT16,为累积误差留出数值余量。

轨迹异常消除,方案合入主线并完成发版验证。它也成了团队的一条方法论:中融合模型的量化必须全量训练。

经验

  • PTQ 更接近浮点,QAT 分数更高。 量产两者都要,这正是 QAD 的价值。
  • 浮点模型就是规格说明。 用逐 case 复现浮点行为的程度来衡量量化。
  • 按需升级成本。 先适配、校准、做敏感度分析,再投入 GPU 天去训练。
  • 保留负面结果。 它们界定了每种方法的适用范围,也避免同一个实验做两遍。