写代码之前,先预测板端耗时

一个用板端数据校准的分模块耗时模型,对扩大后的 Occupancy 模型预测误差仅 0.7%。它在写代码之前就对六种部署方案排了序,并促成五个感知模型共享 backbone。

轻舟智航 2025 – 2026 耗时建模、部署规划与 OneModel 二期方案设计

0.7%误差,预测 19.38 ms,实测 19.25 ms
6种部署方案,按帧预算占比排序
5–9 ms共享 backbone 预计节省的耗时
  • 耗时建模
  • Profiling
  • BEV Occupancy
  • 多任务 backbone
  • 部署规划
本页目录

问题

产品同时提出了 Occupancy 网络的两项升级:大幅扩大输出范围(从 28.8 m × 86.4 m 扩大到约 48 m × 136 m),以及帧率从 5 Hz 提升到 10 Hz。任何一项单独上线,Occupancy 模型的开销都大约翻倍。芯片上同时还跑着检测跟踪和地图模型,所以真正的问题是:

两项升级能一起上线吗?如果不能,其他地方要做什么改变来腾出空间?

把每个方案都实现一遍再测,需要几周。我用一个模型来回答这个问题。

第一步:在板端分模块 profile

把网络拆成若干模块,每个模块的耗时都在板端实测,而不只是读编译器给出的估计。板端耗时和编译器 profile 并不一致(整模型约 8.8 ms profile 对 10.0 ms 实测),而且各模块的差异也不均匀。

第二步:判断每个模块如何缩放

保持 0.3 m 的输出分辨率,输出网格从 96 × 288 增大到 160 × 448,约 2.6 倍。再按开销是否依赖这个网格,对每个模块分类:

模块 是否依赖输出网格? 板端实测 扩大范围后的估计
图像 backbone + neck(5 路相机) 否:在图像空间计算 3.92 ms 3.92 ms
View transform(图像 → BEV) 是,按比例 0.92 ms 2.39 ms
点云分支 部分(neck 会缩放) 0.48 ms 1.33 ms
时序融合 是 0.69 ms 1.79 ms
BEV encoder(backbone + neck) 是 1.88 ms 4.90 ms
近处高分辨率 head 否:区域固定 0.45 ms 0.45 ms
主 Occupancy head 是 1.77 ms 4.61 ms
整模型 ≈ 10.0 ms 19.38 ms
structural latency model: predicted vs measured输出网格扩大 2.6 倍后,每个模块的板端耗时如何变化(毫秒)图像 backbone + neck3.923.92不随网格变化View transform0.922.39点云分支0.481.33时序融合0.691.79BEV encoder1.884.90近处高分辨率 head0.450.45不随网格变化主 Occupancy head1.774.61板端实测(96×288 网格)模型预测(160×448 网格)两个标注的模块不随输出网格变化,预测值等于实测值。整模型19.38 ms预测19.25 ms实现后板端实测误差 0.7%它支撑的决策扩大范围再加 10 Hz,在写代码之前就知道放不下。图像编码器是唯一不随范围变化的大模块,所以它就是该共享的部分。六种部署方案按帧预算占比排序:40.1% → 54.5%→ 共享后 42.3%。
浅色是板端实测,深色是模型预测;标出的两个模块不随输出网格变化。

第三步:给部署方案排序

有了各模块的开销,不需要实现任何方案,就能把模型、帧率和共享方式的组合换算成 10 Hz 下的帧预算占比:

方案 变化 占 10 Hz 帧预算
1 现状:三个模型分别部署 40.1%
2 + Occupancy 扩大范围 44.8%
3 + Occupancy 提升到 10 Hz 54.5%
4 + Occupancy 复用图像 backbone 和 neck 50.6%
5 + 地图模型也复用 46.2%
6 + 地图模型降到 3.3 Hz 42.3%

结论在写代码之前就很清楚:扩大范围加 10 Hz,只有在共享图像 backbone 和 neck 时才放得下。部署改为两阶段:一个 backbone 模型输出特征图,检测、地图和 Occupancy 的 head 读取这些特征。如有需要,降低地图模型帧率还能再腾出空间。

第四步:OneModel,五个感知模型共用一个 backbone

由此我写了 OneModel 二期方案:五个感知模型、9 路 512 × 1024 相机共享一个图像 backbone 和 neck。目标是现在省出耗时,以后换来容量。

OneModel: one shared image encoder for five perception tasks进行中:联合训练已跑通,指标尚低于发版模型五个感知任务、9 路相机共享一个图像 backbone 与 neck现状:每个任务各自编码backbone + neck检测与跟踪backbone + neck矢量地图backbone + neckOccupancybackbone + neck前视感知backbone + neck红绿灯OneModel:共享到 neck,任务头各自读取9 路相机512×1024共享backbone+ neck检测与跟踪矢量地图Occupancy前视感知红绿灯5–9 ms预计每帧节省(按帧率折算的估计)不从零开始:用已发版模型确定 backbone 规模并合成初始权重1提特征用 5 个任务的浮点 checkpoint分别提取各阶段特征2PCA 冗余分析冗余的维度缩减,信息密集的维度保留3通道对齐把各 checkpoint 的通道对齐到同一组基4闭式求解线性求解得到 neck 与各任务的投影层5检查重建误差在独立片段上验证合成权重的重建误差同时做两项量化友好的修正:ReLU6 + 代理梯度(前向用 ReLU6,反向用平滑代理函数的导数);修正 backbone 感受野中心偏移。

完整的方案(backbone 规模怎么定、预训练权重怎么合成、多任务训练怎么组织)见 OneModel 页面。

  • 耗时预算。 共享预计每帧节省 5–9 ms。这部分节省就是更大 backbone 的预算,所以方案先评估了容量约为两倍的 backbone。
  • 用已有模型确定 backbone 规模。 用各任务已发版的浮点 checkpoint 提取特征,用 PCA 衡量每个阶段通道的冗余度:冗余的维度可以缩减,信息密集的维度必须保留。
  • 不从零训练也能得到初始权重。 先对齐各 checkpoint 的通道,再用 PCA 选出保留的维度,用闭式线性求解得到 neck 和各任务的投影层,并在独立片段上检查重建误差。
  • 训练方式。 每个 step 所有 GPU 都训练同一个任务的数据,按计划的训练曝光量在任务间轮转。这样可以复用各任务的数据加载,也让分布式训练保持一致。
  • 上线路径。 先把每个模型改成共享架构并单独发版;再两两合并,从跟踪 + Occupancy 开始;最后五个一起合并。只有所有任务都不回退,合并才能发版。

经验

  • 先建模,再动手。 一个分模块的耗时模型,回答了一个原本需要几周实现才能回答的问题。
  • 在设备上测量。 编译器 profile 和板端耗时恰恰在关键的地方不一致。
  • 找到不变的部分。 开销不随需求变化的部分(图像编码器),正是值得共享的部分。