平台化量化部署框架:一个真值、一份契约、默认阻断

量化框架搭好之后,剩下的难点是精度靠手调、误差难定位、训练与部署对不齐。这是我牵头的目标架构设计:以定点模型为唯一真值,用带版本的契约连接训练、转换和车端,每一跳默认阻断。目前是设计稿。

轻舟智航 2026.11 起 架构设计牵头人

6个环节组成一条主链路,身份清单贯穿始终
7份带版本的契约,连接三个代码库
10个门禁,从训练图一直到车端
  • 架构设计
  • 量化框架
  • 数值对齐
  • 混合精度
  • 多平台部署
本页目录

为什么要重新设计

到 2026 年,量化框架已经能让模型 owner 自己完成新模型的量化和部署,不再需要量化团队逐个支持。但有三个难点,流程本身解决不了:

  1. 精度选择靠手调。 哪些层用 INT16,写在模型代码里,靠经验,也没有留下依据。
  2. 误差来源难定位。 出现一次不一致,要人工沿着链路逐段比对。
  3. 训练和部署对不齐。 训练时看到的指标来自 fake-quant,车上跑的是定点运算。

这些问题有一个共同的根源:同一件事在训练、转换和车端各写了一遍,靠约定保持一致。每一处单独看都能工作;合在一起,改一处就很难知道会影响哪里。

目标架构:一条主链路

target architecture of the quantization-deployment platform设计稿 · 路线图至 2027 Q2目标架构:一条主链路,身份贯穿始终,三条回路把部署侧的事实送回训练侧路测问题帧 → 加入真实 IO 包时延代价表 → 精度规划首个分歧点 → 修图或修导出1浮点训练模型组训练与评测交付权重、配置、提交号2量化PTQ 与 QAT 共用一套图构建逐层精度来自精度方案3导出 IR冻结量化状态附真实 IO 包与 IO 契约4编译IR 只重建一次按平台能力下沉并编译5验证真实 IO 逐跳对齐门禁定点真值上评测发版指标6部署模型包入库同源校验后上车带版本的契约产物权重配置 + 提交号量化状态指纹精度方案IR + 元信息真实 IO 包IO 契约各平台引擎定点模型对齐报告时延代价表模型包平台参数(生成)身份清单 manifest来源 · 环境 · 量化状态 · 图指纹 · 工具链 · 产物哈希 · 对齐与性能:逐环节续写,前段不可改六条设计原则一个真值定点语义是评测、门禁、仿真的唯一依据一份契约仓库之间只交接带版本的产物一个内核模型、平台、精度的差异写成数据一次实现IR 的导出与重建只写一遍默认阻断超限即失败,并给出首个分歧点环境即代码工具链版本入库并写进产物身份
六个环节各有明确的输入、产物和归属;身份清单贯穿始终;三条虚线回路把部署侧的事实送回训练侧。

六条设计原则,每一条都对应上图的一部分:

  • 一个真值。 定点语义是评测、门禁、仿真的唯一依据。fake-quant 只是训练时的代理,它的指标不作为发版指标。
  • 一份契约。 代码库之间只交接带版本的契约产物,不靠文件名和口头约定。
  • 一个内核,差异外置。 流程只有一份:模型差异进适配器,平台差异进平台能力文件,精度进精度方案。能写成数据的,不写成分支。
  • 一次实现。 中间表示的导出与重建只写一遍,训练、转换、仿真共用。
  • 默认阻断。 每一跳都有门禁,超限即失败,并给出首个分歧点;放行必须写进门限文件并带到期日。
  • 环境即代码。 工具链版本、镜像、配置全部入库,并写进每个产物的身份信息。

七份契约

契约把“约定俗成”变成可以校验的文件,每一份都带 schema 版本。

契约 内容 谁写 谁读
身份清单(manifest) 来源、环境、量化状态、图指纹、工具链、产物哈希、对齐与性能 训练写前段,转换续写,发版封存 所有环节
IR 元信息 schema 版本、量化方式、取整规则、目标平台、图哈希 导出 每个消费端;版本不符即拒绝
IO 契约 每个输入输出的名字、顺序、shape、dtype、scale、语义和前后处理 模型适配器 转换、车端参数生成
真实 IO 包 若干帧部署域的真实输入,加各跳的参考输出 导出 对齐引擎、板端抽检、车端一致性测试
精度方案 默认精度,加按模块名的覆盖项;每个覆盖项带证据 精度规划 量化内核
平台能力 支持的 dtype、取整规则、不支持的算子、INT16 回退规则 平台负责人 精度合法化、编译路由
门限 每一跳、每个输出的误差门限,以及带到期日的豁免 模型负责人与量化负责人 对齐引擎

逐跳门禁:一个真值,两个区

one truth, two zones, a gate at every hop目标设计:现状多数比对只记录、不阻断以定点模型为真值:左侧每一跳有误差预算,右侧必须逐字节一致容差区:超出预算即阻断逐字节区:任何差异都是缺陷训练图fake-quantIR带元信息重建模型一份实现QAT HBIR芯片工具链定点模型★ 真值HBM编译产物板端真机G1状态指纹不变G2scale 全等G3整数码误差 ≤ 门限G4定点化预算G5逐字节G6逐字节抽检G7定点仿真 = 定点模型x86 回放与评测用的仿真后端,输出必须与定点模型逐字节一致。M发版指标看定点真值fake-quant 指标只是训练时的代理;发版报告同时列出两个数,差值受预算约束。G8车端整链路同帧一致同一帧原始输入,从 C++ 前处理到后处理整体比对,把量化边界也纳入。↩首个分歧点任何门禁失败时,沿图从输入向输出逐个量化边界比对,报告第一个超限节点及其训练模块名。豁免要留痕:确需放行时写入门限文件,注明模型、哪一跳、原因、负责人和到期日;到期自动失效,发版报告列出所有生效中的豁免。
定点模型是真值:它左边的每一跳有误差预算,右边必须逐字节一致。
门禁 比什么 判据
G1 训练图 → IR 导出前后的量化状态指纹 完全一致
G2 IR → 重建模型 全部 scale 与 dtype;固定计算顺序下的输出 scale 全等
G3 重建模型 → QAT HBIR 各输出的整数码误差 不超过门限
G4 QAT HBIR → 定点模型 定点化带来的误差 逐输出的预算
G5 定点模型 → HBM 输出字节 逐字节
G6 HBM → 板端 输出字节 逐字节,发版时抽检
G7 定点模型 → 定点仿真 输出字节 逐字节
G8 定点仿真 ↔ 车端 同一帧原始输入下的最终输出 一致
M 发版指标 fake-quant 指标与定点真值指标 差值不超过预算

多数比对工具今天已经存在。设计要做的,是把“记录”变成“阻断”,并在失败时自动沿图给出第一个超限的节点。

精度规划闭环

precision planning loop设计稿把“在模型代码里手调逐层精度”换成一个有输入、有证据、可重跑的流程1合法化用平台能力筛掉目标芯片不支持的精度组合,在构图之前就报错。2敏感度按模块组做两种试验:只量化这一组;只把这一组升到 INT16。3代价从转换服务取板端时延代价表:模块 → 位宽 →耗时、是否回退 CPU。4选择在时延预算内,按“每毫秒换来的指标”贪心选择,输出权衡曲线。5验证用方案跑 PTQ 或QAT,过逐跳门禁,看定点真值指标与板端实测耗时。6入库方案、证据、结果写进身份清单,人审后合入;任何人都能重跑。不达标:收紧或放宽候选后重选输入浮点模型 · 校准集 · 小评测集 · 平台能力 · 时延预算输出一份精度方案,外加每个覆盖项的依据:为什么升精度、多花了多少时延

今天的逐层精度是写在模型代码里手调的。设计把它换成一个有输入、有证据、可以重跑的流程:先用平台能力筛掉目标芯片不支持的组合,再按模块组做敏感度试验,结合板端的时延代价表,在时延预算内按“每毫秒换来的指标”做贪心选择。产出是一份精度方案,加上每个覆盖项的依据:为什么升精度,多花了多少时延。模型代码不再包含精度配置。

一次量化,多平台派生

one quantization result, derived for every chip设计稿量化训练的成果只做一次,各平台从它派生;平台差异只允许出现在三处,而且都是数据共享资产只做一次浮点权重模型适配器精度意图QAT 主干权重平台合法化后的精度方案迁移级别编译与验证J6MINT8 + INT16 白名单L0基准平台 · 逐跳门禁J6P同一方案,取整规则不同L0 / L1同一套编译代码高通非对称 uint8 / uint16L1 / L2重校准或短微调爱芯可量化子图 + FP16按需先出误差报告TensorRTINT8 + 浮点层表L0 / L1FP32 图检查L0直出:共享权重,合法化后直接导出L1重校准:只重算激活 scaleL2短微调:在共享权重上少量 QATL3独立 QAT:兜底,等于现状

量化训练的成果只做一次,各平台从共享的权重和精度意图派生。平台差异只允许出现在三处,而且都是数据:平台能力、合法化之后的精度方案、声明式的图改写配置。迁移分四级,从直接导出到独立 QAT;先量出“直接导出”和“独立 QAT”之间的差距,再决定每个平台默认用哪一级。接入一个新平台的工作量,变成一份平台能力文件、一个编译后端和一个车端运行时后端。

让规则不靠自觉

  • 每条依赖规则都对应一个会失败的检查。 量化内核不引用具体模型;只有一个目录可以引用芯片厂商的量化库;平台名只出现在平台目录和平台能力文件里;逐层精度只来自精度方案。
  • 测试分七层,越往上越慢、越接近真机。 单元测试(秒级,不需要 GPU)→ 契约测试(每次合入)→ GPU 冒烟 → 跨环境对齐 → 编译与仿真回归(每日)→ 板端抽检 → 发版门禁。
  • 存量只减不增。 手写精度、平台分支、环境变量开关各有一份白名单,CI 只允许条目减少。

迁移思路

先建立度量和门禁,再迁移代码:先能量、能拦,再能选,最后才是用新流水线发版。试点模型先行,试点之外的模型在整个过程中保持现有流程;每一步都以“行为不变”为验收。

设计阶段的体会

  • 先量,再改。 把“感觉很乱”换成具体的数字之后,优先级自己就排出来了。
  • 从已有的东西出发。 每个门禁都先盘点今天已经有什么、缺什么,设计才不会变成另起炉灶。
  • 把约定变成文件。 只要一件事靠口头约定,它迟早会在某次工具链升级里悄悄失效。