写代码之前,先预测板端耗时
一个用板端数据校准的分模块耗时模型,对扩大后的 Occupancy 模型预测误差仅 0.7%。它在写代码之前就对六种部署方案排了序,并促成五个感知模型共享 backbone。
本页目录
问题
产品同时提出了 Occupancy 网络的两项升级:大幅扩大输出范围(从 28.8 m × 86.4 m 扩大到约 48 m × 136 m),以及帧率从 5 Hz 提升到 10 Hz。任何一项单独上线,Occupancy 模型的开销都大约翻倍。芯片上同时还跑着检测跟踪和地图模型,所以真正的问题是:
两项升级能一起上线吗?如果不能,其他地方要做什么改变来腾出空间?
把每个方案都实现一遍再测,需要几周。我用一个模型来回答这个问题。
第一步:在板端分模块 profile
把网络拆成若干模块,每个模块的耗时都在板端实测,而不只是读编译器给出的估计。板端耗时和编译器 profile 并不一致(整模型约 8.8 ms profile 对 10.0 ms 实测),而且各模块的差异也不均匀。
第二步:判断每个模块如何缩放
保持 0.3 m 的输出分辨率,输出网格从 96 × 288 增大到 160 × 448,约 2.6 倍。再按开销是否依赖这个网格,对每个模块分类:
| 模块 | 是否依赖输出网格? | 板端实测 | 扩大范围后的估计 |
|---|---|---|---|
| 图像 backbone + neck(5 路相机) | 否:在图像空间计算 | 3.92 ms | 3.92 ms |
| View transform(图像 → BEV) | 是,按比例 | 0.92 ms | 2.39 ms |
| 点云分支 | 部分(neck 会缩放) | 0.48 ms | 1.33 ms |
| 时序融合 | 是 | 0.69 ms | 1.79 ms |
| BEV encoder(backbone + neck) | 是 | 1.88 ms | 4.90 ms |
| 近处高分辨率 head | 否:区域固定 | 0.45 ms | 0.45 ms |
| 主 Occupancy head | 是 | 1.77 ms | 4.61 ms |
| 整模型 | ≈ 10.0 ms | 19.38 ms |
第三步:给部署方案排序
有了各模块的开销,不需要实现任何方案,就能把模型、帧率和共享方式的组合换算成 10 Hz 下的帧预算占比:
| 方案 | 变化 | 占 10 Hz 帧预算 |
|---|---|---|
| 1 | 现状:三个模型分别部署 | 40.1% |
| 2 | + Occupancy 扩大范围 | 44.8% |
| 3 | + Occupancy 提升到 10 Hz | 54.5% |
| 4 | + Occupancy 复用图像 backbone 和 neck | 50.6% |
| 5 | + 地图模型也复用 | 46.2% |
| 6 | + 地图模型降到 3.3 Hz | 42.3% |
结论在写代码之前就很清楚:扩大范围加 10 Hz,只有在共享图像 backbone 和 neck 时才放得下。部署改为两阶段:一个 backbone 模型输出特征图,检测、地图和 Occupancy 的 head 读取这些特征。如有需要,降低地图模型帧率还能再腾出空间。
第四步:OneModel,五个感知模型共用一个 backbone
由此我写了 OneModel 二期方案:五个感知模型、9 路 512 × 1024 相机共享一个图像 backbone 和 neck。目标是现在省出耗时,以后换来容量。
完整的方案(backbone 规模怎么定、预训练权重怎么合成、多任务训练怎么组织)见 OneModel 页面。
- 耗时预算。 共享预计每帧节省 5–9 ms。这部分节省就是更大 backbone 的预算,所以方案先评估了容量约为两倍的 backbone。
- 用已有模型确定 backbone 规模。 用各任务已发版的浮点 checkpoint 提取特征,用 PCA 衡量每个阶段通道的冗余度:冗余的维度可以缩减,信息密集的维度必须保留。
- 不从零训练也能得到初始权重。 先对齐各 checkpoint 的通道,再用 PCA 选出保留的维度,用闭式线性求解得到 neck 和各任务的投影层,并在独立片段上检查重建误差。
- 训练方式。 每个 step 所有 GPU 都训练同一个任务的数据,按计划的训练曝光量在任务间轮转。这样可以复用各任务的数据加载,也让分布式训练保持一致。
- 上线路径。 先把每个模型改成共享架构并单独发版;再两两合并,从跟踪 + Occupancy 开始;最后五个一起合并。只有所有任务都不回退,合并才能发版。
经验
- 先建模,再动手。 一个分模块的耗时模型,回答了一个原本需要几周实现才能回答的问题。
- 在设备上测量。 编译器 profile 和板端耗时恰恰在关键的地方不一致。
- 找到不变的部分。 开销不随需求变化的部分(图像编码器),正是值得共享的部分。