平台化量化部署框架:一个真值、一份契约、默认阻断
量化框架搭好之后,剩下的难点是精度靠手调、误差难定位、训练与部署对不齐。这是我牵头的目标架构设计:以定点模型为唯一真值,用带版本的契约连接训练、转换和车端,每一跳默认阻断。目前是设计稿。
6个环节组成一条主链路,身份清单贯穿始终
7份带版本的契约,连接三个代码库
10个门禁,从训练图一直到车端
本页目录
为什么要重新设计
到 2026 年,量化框架已经能让模型 owner 自己完成新模型的量化和部署,不再需要量化团队逐个支持。但有三个难点,流程本身解决不了:
- 精度选择靠手调。 哪些层用 INT16,写在模型代码里,靠经验,也没有留下依据。
- 误差来源难定位。 出现一次不一致,要人工沿着链路逐段比对。
- 训练和部署对不齐。 训练时看到的指标来自 fake-quant,车上跑的是定点运算。
这些问题有一个共同的根源:同一件事在训练、转换和车端各写了一遍,靠约定保持一致。每一处单独看都能工作;合在一起,改一处就很难知道会影响哪里。
目标架构:一条主链路
六条设计原则,每一条都对应上图的一部分:
- 一个真值。 定点语义是评测、门禁、仿真的唯一依据。fake-quant 只是训练时的代理,它的指标不作为发版指标。
- 一份契约。 代码库之间只交接带版本的契约产物,不靠文件名和口头约定。
- 一个内核,差异外置。 流程只有一份:模型差异进适配器,平台差异进平台能力文件,精度进精度方案。能写成数据的,不写成分支。
- 一次实现。 中间表示的导出与重建只写一遍,训练、转换、仿真共用。
- 默认阻断。 每一跳都有门禁,超限即失败,并给出首个分歧点;放行必须写进门限文件并带到期日。
- 环境即代码。 工具链版本、镜像、配置全部入库,并写进每个产物的身份信息。
七份契约
契约把“约定俗成”变成可以校验的文件,每一份都带 schema 版本。
| 契约 | 内容 | 谁写 | 谁读 |
|---|---|---|---|
| 身份清单(manifest) | 来源、环境、量化状态、图指纹、工具链、产物哈希、对齐与性能 | 训练写前段,转换续写,发版封存 | 所有环节 |
| IR 元信息 | schema 版本、量化方式、取整规则、目标平台、图哈希 | 导出 | 每个消费端;版本不符即拒绝 |
| IO 契约 | 每个输入输出的名字、顺序、shape、dtype、scale、语义和前后处理 | 模型适配器 | 转换、车端参数生成 |
| 真实 IO 包 | 若干帧部署域的真实输入,加各跳的参考输出 | 导出 | 对齐引擎、板端抽检、车端一致性测试 |
| 精度方案 | 默认精度,加按模块名的覆盖项;每个覆盖项带证据 | 精度规划 | 量化内核 |
| 平台能力 | 支持的 dtype、取整规则、不支持的算子、INT16 回退规则 | 平台负责人 | 精度合法化、编译路由 |
| 门限 | 每一跳、每个输出的误差门限,以及带到期日的豁免 | 模型负责人与量化负责人 | 对齐引擎 |
逐跳门禁:一个真值,两个区
| 门禁 | 比什么 | 判据 |
|---|---|---|
| G1 训练图 → IR | 导出前后的量化状态指纹 | 完全一致 |
| G2 IR → 重建模型 | 全部 scale 与 dtype;固定计算顺序下的输出 | scale 全等 |
| G3 重建模型 → QAT HBIR | 各输出的整数码误差 | 不超过门限 |
| G4 QAT HBIR → 定点模型 | 定点化带来的误差 | 逐输出的预算 |
| G5 定点模型 → HBM | 输出字节 | 逐字节 |
| G6 HBM → 板端 | 输出字节 | 逐字节,发版时抽检 |
| G7 定点模型 → 定点仿真 | 输出字节 | 逐字节 |
| G8 定点仿真 ↔ 车端 | 同一帧原始输入下的最终输出 | 一致 |
| M 发版指标 | fake-quant 指标与定点真值指标 | 差值不超过预算 |
多数比对工具今天已经存在。设计要做的,是把“记录”变成“阻断”,并在失败时自动沿图给出第一个超限的节点。
精度规划闭环
今天的逐层精度是写在模型代码里手调的。设计把它换成一个有输入、有证据、可以重跑的流程:先用平台能力筛掉目标芯片不支持的组合,再按模块组做敏感度试验,结合板端的时延代价表,在时延预算内按“每毫秒换来的指标”做贪心选择。产出是一份精度方案,加上每个覆盖项的依据:为什么升精度,多花了多少时延。模型代码不再包含精度配置。
一次量化,多平台派生
量化训练的成果只做一次,各平台从共享的权重和精度意图派生。平台差异只允许出现在三处,而且都是数据:平台能力、合法化之后的精度方案、声明式的图改写配置。迁移分四级,从直接导出到独立 QAT;先量出“直接导出”和“独立 QAT”之间的差距,再决定每个平台默认用哪一级。接入一个新平台的工作量,变成一份平台能力文件、一个编译后端和一个车端运行时后端。
让规则不靠自觉
- 每条依赖规则都对应一个会失败的检查。 量化内核不引用具体模型;只有一个目录可以引用芯片厂商的量化库;平台名只出现在平台目录和平台能力文件里;逐层精度只来自精度方案。
- 测试分七层,越往上越慢、越接近真机。 单元测试(秒级,不需要 GPU)→ 契约测试(每次合入)→ GPU 冒烟 → 跨环境对齐 → 编译与仿真回归(每日)→ 板端抽检 → 发版门禁。
- 存量只减不增。 手写精度、平台分支、环境变量开关各有一份白名单,CI 只允许条目减少。
迁移思路
先建立度量和门禁,再迁移代码:先能量、能拦,再能选,最后才是用新流水线发版。试点模型先行,试点之外的模型在整个过程中保持现有流程;每一步都以“行为不变”为验收。
设计阶段的体会
- 先量,再改。 把“感觉很乱”换成具体的数字之后,优先级自己就排出来了。
- 从已有的东西出发。 每个门禁都先盘点今天已经有什么、缺什么,设计才不会变成另起炉灶。
- 把约定变成文件。 只要一件事靠口头约定,它迟早会在某次工具链升级里悄悄失效。