照片: 杨豪

杨豪 Yang Hao

模型量化与部署负责人

轻舟智航 · 感知 ML-Infra

我专注于把深度学习模型从训练落地到量产车规芯片。在轻舟智航,我负责约 19 个量产行车、泊车模型的量化与端侧部署,覆盖 BEV 感知、Occupancy、矢量地图、时序跟踪和端到端规划,运行平台包括地平线 J5/J6M、英伟达 Orin、高通和爱芯。

我的工作涵盖量化算法(PTQ、QAT、量化感知蒸馏)、跨工具链的逐 bit 数值一致性、耗时建模,以及让这些工作可复制的平台与发版门禁。我带领 6 人团队,并担任城市 NOA 方案迁移到新芯片的技术负责人。此前就职于腾讯地图和依图科技,硕士毕业于北京航空航天大学模式识别专业。

  • 模型量化(PTQ / QAT / QAD)
  • 高效端侧推理
  • 端到端自动驾驶
  • 机器学习基础设施与工具链

蓝线是浮点输出,橙线是量化后的输出。我的工作,就是让橙线在芯片上尽量贴住蓝线。

≈19个量产模型的量化与部署行车 + 泊车
2 → 0.5个点的量化掉点PTQ → QAT · 5 个感知模型
≤ 2 LSB查表算子最大误差600 个模块 · 表数 −85%
0.7%板端耗时预测误差预测 19.38 · 实测 19.25 ms
4,273次量产模型转换单次编译 30–60 → 5 分钟
2 周 → 3–5 天单模型量化适配周期三层解耦 + AI 自动适配

我负责的体系

从训练到上车的一条链路,以及我在上面搭的四层。下面的每个项目,都能在这张图上找到位置。

pipeline and the four layers I own部署链路浮点训练提速 · 共享主干量化PTQ · QAT · QAD导出 IR定点算子 · 查表多芯片编译一键转换服务逐跳对齐每一跳都可定位板端 · 实车耗时 · 回归 · 路测我负责的四层体系算法层在硬件预算内恢复精度scale-search PTQ · LSQ AutoQuant · 蒸馏 QAT大规模 QAD · 自适应查表一致性层每个不一致都可复现、可定位Float → QAT → 内部 IR → LibTorch → HBIR → HBM → 板端,逐阶段比对平台层统一入口,稳定转换QNN Web · 地平线 J5 / J6M / J6P · 英伟达 Orin · 高通 · 爱芯 M95 /M97治理层未经验证的结果不上车证据分级门禁 · feature flag · 历史问题回归集 · 每个模型 owner + backup

近期动态

工作经历

轻舟智航 QCraft

2022.10 – 至今

模型量化与部署负责人(感知 ML-Infra)

入职时为机器学习基础架构工程师;2024 年晋升 L5;2025 年起负责团队。

与浮点模型逐 case 一致的量化:四代算法演进

  • 问题:量产对回退近乎零容忍,AEB 目标晚一帧检出即失败;而只用任务损失的 QAT 会改变 precision/recall 工作点,交付的实际上是一个“重训模型”。
  • Scale-search PTQ(2023,已申请专利):以与浮点输出的 cosine 相似度为目标,分级搜索量化参数:校准方式 × 参数组合 → 逐层前/后向搜索 → 逐层量化。红绿灯检测模型上,默认校准的 mAP 为 0.747,逐层量化恢复到 0.803(浮点 0.800)。
  • LSQ AutoQuant(2024):面向 CNN + Transformer 混合结构(矢量地图、时序跟踪),学习量化步长,用 AdaRound 式取整约束权重漂移,并以浮点中间特征监督;训练前做跨层均衡(CLE)与 LayerNorm–Linear 融合。
  • 蒸馏 QAT → 大规模 QAD(2025–2026):浮点模型做教师、PTQ 模型为起点,任务损失 + 特征/输出蒸馏。在端到端规划模型上以单变量对照实验(25 项关键指标、388 个公共标量)确认:场景边界重置时序状态、教师独立历史、训练后期权重锚定是必要条件。
  • 结果:5 个量产感知模型量化掉点由约 2 个点降至约 0.5 个点;端到端规划模型的量化版本进入实车测试;模型 owner 已开始自助完成 auto-QAT 发版。

预测规划模型的量化误差累积攻坚(QuestNet v3)

  • 问题:模型量化后轨迹输出异常,PTQ 与常规 QAT 均失效,量产交付受阻。
  • 用逐层误差与累积误差分析定位出误差在深层网络逐级累积的机制,对敏感层与鲁棒层做差异化处理;用实验否定“冻结部分层再微调”的折中方案,改为两段式量化 + 全量 QAT。
  • 基于对芯片算子特性的理解,推动全链路 INT16 量化,为误差累积留出数值余量。
  • 结果:轨迹异常消除,方案合入主线并完成发版验证;“中融合模型量化必须全量训练”成为团队方法论。

定点数值一致性:自适应查表与分层对齐

  • 自适应查表:rsqrt、reciprocal、exp、sigmoid 等非线性算子在 NPU 上以定点分段查表实现。算法以芯片真实定点输出码(而非浮点近似)度量误差,保留原始 6 表边界,对误差最大的段递归二分,预算用尽仍超限则阻断导出。4 个量产计算图共 600 个查表模块:平均 0.217 LSB、最大 2 LSB(均匀 126 表方案最大 11,381 LSB),表数量减少 85%。
  • 分层对齐:Float → QAT → 内部 IR → LibTorch → HBIR → HBM → 板端后处理,每个阶段只与前一阶段在相同输入下比对,让每个不一致只可能来自一处;定位了归一化层 rsqrt 查表分段点、upsample align_corners 不一致、位姿精度等问题。
  • 发版门禁:结论按证据分级(源码 / 编译 / 仿真 / 板端 / 实车),新特性默认关闭(feature flag),历史量化问题回归集每次发版前重跑;在 3 个车企项目中把量化问题拦截在发版之前。

工具链与平台:从一键转换到平台化量化部署

  • QNN Web 一键多芯片模型转换服务(gRPC 前后端分离、按 ONNX 计算图自动生成配置、TensorRT timing cache;后续加入任务数据库、队列和面向 AI Agent 的 MCP 接口):累计 4,273 次量产转换,单次编译 30–60 分钟 → 约 5 分钟,人工耗时减少约 80%。
  • 把多平台量化拆为通用量化层 / AI 自动适配层 / 平台适配层:单模型量化适配周期由约 2 周缩短到 3–5 天。带领团队打通高通(模型拆分与耗时优化,推理耗时降低 50% 以上)、TensorRT QDQ INT8 和地平线 J6P 上的 VLM 量化链路。
  • 2026.11 起牵头平台化量化部署框架的目标架构(设计稿,路线图至 2027 Q2):以定点仿真结果为唯一真值,用七份带版本的契约(产物身份、IR 元信息、IO 契约、真实 IO 包、精度方案、平台能力、门限)连接训练、转换、车端三个代码库,逐跳门禁默认阻断,并以“敏感度 × 板端时延代价”的闭环自动规划混合精度。

耗时建模、模型架构与训练效率

  • 结构级耗时模型:按模块结构预测板端耗时,Occupancy 模型预测 19.38 ms、实测 19.25 ms(误差 0.7%);在写代码之前就否定了“扩大范围 + 10 Hz”直接上线的方案,并验证 MapFormer query 合并可节省 2.1–3.3 ms。
  • OneModel 二期(进行中):5 个感知任务、9 路相机共享图像 backbone 与 neck,按帧率折算预计每帧节省 5–9 ms;对 5 个任务 checkpoint 的特征做 PCA 冗余分析确定 backbone 结构,并以通道对齐 + 闭式线性求解合成预训练权重;采用 ReLU6 + 代理梯度的量化友好激活,修复 backbone 感受野中心偏移。
  • BEV Occupancy 训练迁移到 PyTorch 2.x:单 iter 1.56 s → 0.71 s(−54%,V100、batch 16、AMP),显存降低 9%,完成 1–112 卡扩展性压测。
  • 端到端驾驶模型架构设计(提案阶段,尚未训练):camera-first 的 token 化方案,9 路相机经共享编码器 token 化,流式 Transformer + 位姿感知记忆,以曲率/加速度节点表示的多模态规划头,并从设计之初给出蒸馏 + INT8 量化的落地路径。

团队管理与项目交付

  • 带领 6 人量化部署团队(2025 年起虚线、2026 年起实线):约 19 个量产模型各设 owner 与 backup,季度目标 + P0/P1 优先级,按“紧急度 × 技术难度”分配任务。2026 年 Q2 四个量产项目并行、约两周一版的节奏下,未发生因量化导致的发版延期。
  • 2026.06 起任爱芯芯片项目技术负责人(先在 M97 700 TOPS 开发板验证,目标芯片 M95 350 TOPS):分阶段适配计划、模型适配与量化、路测问题聚类分发;城市 NOA v4 方案已在测试车上运行,关键模型无掉帧。
  • AI 提效:飞书机器人 + 编程 Agent Skill 自动完成新模型特性的量化适配(60 人天项目);维护 33 篇文档的知识库,组织月度量化分享会,培养成员独立负责模型。

腾讯地图 Tencent Maps

2021.07 – 2022.10

算法工程师(CSIG 地图平台部)

  • 搭建云端 GPU 模型的 TensorRT INT8 量化部署流程及量化转换工具:与浮点模型 cosine 相似度高于 0.999,推理耗时降低 20%,GPU 占用和显存各降低 10%,节省约 300 万元算力成本。
  • 设计 AR 导航感知 SDK:多流程并行框架加自动 profile。四个月完成 12 项功能,CPU 占用低于 70%;在量产车型上线,回传数据辅助腾讯地图更新。
  • 开发 NBT 评测平台:支持模型与数据管理、算法评测和结果共享,并预留 badcase 分析和建图可视化接口。
  • 优化车端建图与数据采集流程,以及 ARM 板端 CPU 占用。

依图科技 Yitu Technology

2019.04 – 2021.07

算法工程师

  • 开发 C++ 人脸识别引擎,组合多个模型并优化组合策略,兼顾吞吐和识别率;应用于地铁刷脸通行等项目。
  • 负责机器翻译模型训练。
  • 在依图“求索”AI 芯片上进行模型量化与部署,开发量化工具、精度评测和 model zoo。

代表项目

每个项目都有详情页,介绍问题、分步方法和结果。 全部项目 →

≤ 2 LSB最大误差,表数减少 85%

非线性算子的自适应查表

轻舟智航 · 2026

一种由误差驱动的定点查表分段算法(rsqrt、reciprocal、exp、sigmoid):只在真实定点误差高的地方细分,每个算子用 12–30 张表即可保证最大误差不超过 2 LSB,而不是 126 张。

方法与细节 →

12个检查点,从相机数据到板端

分层数值一致性与发版门禁

轻舟智航 · 2024–2026

从实车数据到板端后处理,每个阶段都在相同输入下与前一阶段比对,让每个不一致只可能来自一个地方。结论标注验证级别,历史问题在每次发版前重跑。

方法与细节 →

7份带版本的契约,10 个门禁

平台化量化部署框架(设计稿)

轻舟智航 · 2026.11 起

目标架构:以定点模型为唯一真值,用带版本的契约连接训练、转换和车端,每一跳默认阻断,并用敏感度和板端时延代价自动规划混合精度。附门禁设计与迁移思路。

方法与细节 →

0.7%板端预测误差

写代码之前,先预测板端耗时

轻舟智航 · 2025–2026

分模块耗时模型预测 19.38 ms,实测 19.25 ms。它提前否定了 Occupancy 扩大范围加 10 Hz 的直接上线方案,对六种部署方案排序,并促成五个感知模型共享 backbone。

方法与细节 →

5 → 1套图像编码器,预计每帧省 5–9 ms

OneModel:五个感知任务共享一个视觉编码器

轻舟智航 · 2026 · 进行中

用已发版模型的 PCA 冗余分析确定 backbone 规模,用闭式线性求解合成预训练权重;附多任务训练的组织方式,以及再往前一步的端到端驾驶模型架构设计(提案)。

方法与细节 →

350TOPS 目标芯片

新芯片上的城市 NOA(爱芯 M95)

轻舟智航 · 2026

城市 NOA 方案迁移的技术负责人:从 700 TOPS 开发板到 M95 的分阶段适配、模型适配与量化、路测问题聚类。v4 方案已在测试车上运行,关键模型无掉帧。

方法与细节 →

AR 导航感知 SDK

腾讯地图 · 2021–2022

面向手机和车机的多流程并行感知框架,带自动 profile:道路场景检测、车位检测和 AR 引导。四个月完成 12 项功能,CPU 低于 70%,在量产车型上线。

方法与细节 →

NBT 评测平台

NBT 评测平台

腾讯地图 · 2021–2022

内部评测网站:模型与数据管理、算法评测、结果管理和数据共享,并预留 badcase 分析、回流数据管理和建图结果展示接口。

方法与细节 →

专利、分享与交流

专业技能

量化
PTQ、QAT、QAD 与蒸馏、LSQ / AutoQuant、AdaRound、scale search、INT8/INT16 混合精度、查表非线性算子、敏感度分析、逐层误差定位
部署平台
地平线 J5 / J6M / J6P(Horizon plugin、HBIR/HBM、BPU)、英伟达 Orin(TensorRT、自定义 plugin、QDQ)、高通(QNN)、爱芯 M95 / M97、TNN、MNN
模型类型
BEV 检测、Occupancy、矢量地图、稀疏时序检测与跟踪、端到端规划、多任务感知、VLM
训练
PyTorch 1.x / 2.x、DDP、AMP / BF16,英伟达 V100 / H20 与阿里 PPU 多机训练
工程
Python、C++、ONNX、TorchScript / LibTorch、gRPC 服务、Flask、MCP 工具服务、AI 编程 Agent、Git、CMake
语言
中文(母语),英文(可用于技术汇报和文档)

教育背景

北京航空航天大学 Beihang University
硕士 · 模式识别
2016.09 – 2019.01
北京航空航天大学 Beihang University
本科 · 自动化
2012.09 – 2016.07

文章

全部文章 →

最后更新于 2026 年 11 月