从 PTQ 到 QAD:与浮点模型一致的量化
轻舟智航 · 2023 – 2026
量产驾驶模型的量化方案如何经历四代演进,以及为什么量产需要的是逐 case 与浮点模型一致,而不是一个好看的平均指标。
每个页面介绍一个项目:要解决的问题、分步的方法、结果和经验。数字来自内部实测;如果某个结果只适用于特定模型或配置,页面中会注明。
轻舟智航 · 2023 – 2026
量产驾驶模型的量化方案如何经历四代演进,以及为什么量产需要的是逐 case 与浮点模型一致,而不是一个好看的平均指标。
轻舟智航 · 2026
一种由误差驱动的定点查表分段算法。它只在真实定点误差高的地方细分,每个算子用 12–30 张表即可保证最大误差不超过 2 LSB,而不是统一的 126 张表。
轻舟智航 · 2024 – 2026
从实车数据到板端后处理,把部署链路的每个阶段都与前一阶段在相同输入下比对,让每个不一致只可能来自一个地方;再配合分级发版门禁,把未经验证的结果挡在车外。
轻舟智航 · 2026.11 起
量化框架搭好之后,剩下的难点是精度靠手调、误差难定位、训练与部署对不齐。这是我牵头的目标架构设计:以定点模型为唯一真值,用带版本的契约连接训练、转换和车端,每一跳默认阻断。目前是设计稿。
轻舟智航 · 2025 – 2026
一个用板端数据校准的分模块耗时模型,对扩大后的 Occupancy 模型预测误差仅 0.7%。它在写代码之前就对六种部署方案排了序,并促成五个感知模型共享 backbone。
轻舟智航 · 2026
把五个感知模型的图像 backbone 和 neck 合成一个:耗时账怎么算,新 backbone 的规模怎么定,预训练权重怎么从已发版模型合成,以及再往前一步的端到端架构设计。项目进行中。
轻舟智航 · 2022 – 2026
一个内部服务:上传一个模型,就得到所有目标芯片的 engine。2022–2023 年为消除手工、易错的转换而开发;2026 年为可靠性重构,并增加 MCP 接口,让 AI Agent 也能使用。
轻舟智航 · 2026
担任把轻舟城市 NOA 方案迁移到新芯片平台的技术负责人:从 700 TOPS 开发板到 350 TOPS 的 M95 分阶段适配,负责模型适配与量化和路测问题聚类。v4 方案已在测试车上运行。
腾讯地图 · 2021 – 2022
为腾讯地图云端 GPU 模型搭建的 INT8 量化部署流程:与浮点 cosine 相似度高于 0.999,耗时降低 20%,GPU 占用和显存各降低 10%,节省约 300 万元算力成本。其中的校准工具开源为 onnx2trt。
腾讯地图 · 2021 – 2022
面向手机和车机的 AR 导航感知 SDK:多流程并行框架加自动 profile。四个月完成 12 项功能,CPU 占用低于 70%,在江铃 CX743 量产车型上线。