QNN Web:面向所有芯片的一键模型转换
一个内部服务:上传一个模型,就得到所有目标芯片的 engine。2022–2023 年为消除手工、易错的转换而开发;2026 年为可靠性重构,并增加 MCP 接口,让 AI Agent 也能使用。
4,273次量产模型转换
30–60 → 5 分钟使用 timing cache 后的编译时间
≈ −80%每次转换的人工耗时
本页目录
问题
智驾项目覆盖多个价位的芯片,每个模型都要为每个芯片单独编译。有 QNN Web 之前,工程师需要:
- 逐台登录硬件;
- 手写转换器的 JSON 配置(一个笔误就要重新上传、重新提交);
- 每个 TensorRT engine 等 30–60 分钟编译。
而量产发版大约两周一次,涉及很多模型。
第一版:上传一次,覆盖所有平台
- 前后端分离,通过 gRPC 通信,包括文件传输。用户上传一次,就能得到所有目标平台的 engine。
- 根据 ONNX 计算图生成配置:输入名称、形状和类型直接从模型读取,不再手工填写。
- TensorRT timing cache:在相似模型的编译之间复用 kernel 选择结果,把典型编译时间从 30–60 分钟降到约 5 分钟。
- 接入新硬件几乎零成本:后来接入 Orin 和 J6,只需增加一台转换服务器,不需要改变每个用户的使用方式。
第二版:为可靠性重构(2026)
随着量产工作增加,出现了三个问题:转换偶发失败;用户不知道任务处于什么状态;同时提交多个任务会阻塞服务。
| 问题 | 改动 |
|---|---|
| 任务状态未知 | 每个任务的状态都记录在数据库中并随进度更新,包括新增的“传输中”状态。页面显示状态栏和重新启动按钮。 |
| 前端频繁请求 | 只在刷新页面时查询状态,而不是持续轮询。 |
| 并发提交会阻塞 | 增加任务队列;已在队列中或已完成转换的任务不再重复提交。 |
| 重复转换浪费 | LibTorch 转换按类型拆分,只编译请求的类型。 |
| 磁盘被占满 | 产物保存在转换机器上,不放前端机器。定期清理前先备份 IR 文件,并把已清理的任务标记出来。数据库只保存路径,不保存模型文件。 |
| 前后端通信脆弱 | 前端把请求交给某台转换服务器,并返回该服务器的地址;每台服务器独立记录已完成的任务。增加了心跳、状态查询和文件传输服务。 |
这次重构同时增加了高通和 Orin 的转换通路。
面向 AI Agent 的 MCP 层
2026 年,我为服务封装了一个 Model Context Protocol(MCP)服务器,让 Cursor 等编程 Agent 能以工具的方式执行转换,而不必通过网页。
AgentCursor 或脚本
MCP 服务器只做协议层
任务调度器
转换服务器
结果直链或数据流
MCP 层本身不做任何转换计算,只提供四个工具:
- 上传 IR:校验并上传本地模型文件。
- 提交任务:选择目标类型和精度。
- 查询状态:查询任务进度。
- 获取结果:返回下载链接,或以数据流返回文件。
真正的工作仍由原有的调度器和转换服务器完成,所以 Agent 和网页走的是同一套实现。工程师现在可以让 Agent 把某个文件转换为指定目标,并返回结果的本地路径;也可以在流水线中用 Python 客户端调用同样的工具。
经验
- 去掉步骤,而不只是防止笔误。 根据计算图生成配置,好过校验手写的配置。
- 状态应该放在数据库里。 大多数可靠性问题,都来自只存在于内存或浏览器标签页里的任务状态。
- 协议层要薄。 MCP 服务器只做转换翻译;只有一条转换通路,修 bug 也只需修一处。