OneModel:五个感知任务共享一个视觉编码器
把五个感知模型的图像 backbone 和 neck 合成一个:耗时账怎么算,新 backbone 的规模怎么定,预训练权重怎么从已发版模型合成,以及再往前一步的端到端架构设计。项目进行中。
5 → 1套图像编码器(backbone + neck)
5–9 ms预计每帧节省,按帧率折算的估计值
9路相机统一为 512 × 1024 输入
本页目录
问题
车端耗时限制了模型的容量和帧率。耗时模型的结论是:图像编码器是唯一不随感知范围变化的大模块,所以它就是应该共享的部分。
一期直接复用检测模型的 backbone,其他任务出现了不同程度的掉点,Occupancy 最明显。二期要解决的就是“合并之后指标不及预期”。
结构
- 共享到 image neck 为止,暂不延伸到 BEV 空间。 各任务的 BEV 范围和分辨率不同;要共享 BEV 特征,就得统一范围和分辨率,算力会成倍增长。
- 9 路相机统一为 512 × 1024 输入,不再区分主 backbone 和辅助 backbone。鱼眼和两路后视相机暂不共享。
- 耗时账按帧率折算。 以 10 Hz 的一帧为单位,5 Hz 的任务算一半:只共享 backbone,每帧节省约 5 ms;neck 也全部共享,约 9 ms。前视的两个任务是否共享 neck,决定其中约 4 ms。这部分节省,就是给更大 backbone 的预算。
用已发版的模型确定 backbone 规模
新 backbone 的宽度不是凭感觉定的。
- 用五个任务已发版的浮点 checkpoint,分别提取各阶段的特征。
- 对特征做 PCA,衡量每个阶段通道的冗余度:冗余的维度可以缩减,信息密集的维度必须保留。
- 先把各 checkpoint 的通道对齐,再用 PCA 选出保留的维度。
- 用闭式线性求解得到 neck 和各任务的投影层,合成一份预训练权重。
- 在独立的片段上检查重建误差。
这样得到的初始权重,已经包含五个任务学到的大部分特征,联合训练不必从零开始。
两个量化友好的修正
- ReLU6 加代理梯度。 从量化的角度,激活函数应该尽量用 ReLU6;但直接换会影响训练的平滑度。做法是前向用正常的 ReLU6,反向不用它在饱和区为零的导数,而是用一个平滑代理函数的导数。
- 感受野中心偏移。 原 backbone 的下采样方式会让感受野中心发生偏移。改为步长 2 加 2 × 2 卷积的常见结构,并保证 FPN 不加重偏移;视角变换里的采样网格也做同样的修正。
多任务训练怎么组织
五个任务的数据并不同源,标注也不在同一批帧上。我比较了四种组织方式:
| 组织方式 | 数据与梯度的行为 | 判断 |
|---|---|---|
| 按任务轮转 batch,所有 GPU 同步任务 | 每个 step 所有 GPU 选同一个任务的数据;共享编码器和对应任务头反传 | 首版采用。 复用各任务的数据加载和采样;按计划的训练曝光量配比 |
| 同源样本,多任务监督 | 同一组相机有多个任务标签时,公共特征只前向一次,多个 loss 求和 | 作为增强;前提是不同任务的标注对齐到同一帧、同一坐标和同一增强结果 |
| 一个 batch 混合不同任务的样本 | 每个样本带任务有效位,按样本选择 loss | 后续扩展;需要同时改任务启用条件和跨卡归一化,只加 mask 不算支持 |
| 按 GPU 固定任务 | 不同任务占用固定的卡组,共享参数跨组同步 | 暂不作为主线;通信、优化器和恢复训练都更复杂 |
一条贯穿始终的规则:缺标不得视为负样本。 任务 mask 只表示监督是否有效。
上线路径
- 单任务架构调整。 每个任务先改成联合训练时的模型结构,各自发版。
- 部分任务合并。 跟踪加 Occupancy;前视感知加红绿灯(这两个是图像级特征,不涉及 BEV 转换,合并难度较小)。
- 五任务合并。 联合训练 backbone,各任务基于冻结的共享编码器单独发版;如果更新了共享参数、归一化统计或量化边界,就必须生成新的共享版本,并回归所有使用它的任务。
- 感知与规划联合训练。
主要风险在发版:量产对指标回退的容忍度很低。如果部分合并时指标做到了 90,五个任务联合只有 85,发版就会卡住。所以每一步都以“所有任务都不回退”为合并条件。
再往前:端到端驾驶模型的架构设计
在共享编码器之上,我写了一份端到端驾驶模型的架构设计。几个关键取舍:
- 共享编码器原样复用。 它的权重、导出流程和已经测过的耗时都继续有效。
- 主路径用 token,而不是 BEV 栅格。 去掉每个任务私有的视角变换,让包括规划在内的每个 loss,都有一条路径回到编码器。
- 纯视觉输入。 LiDAR 只用来生成标签和监督深度,不作为模型输入。
- 规划头输出控制量。 路径用按弧长排列的曲率节点表示,速度用按时间排列的加速度节点表示,再可微地 rollout 成轨迹,所以位置损失可以直接训练这些节点。
- 导航以 token 进入,由 SD 路网和路线构造,不使用未来的自车轨迹,避免标签泄漏。
- 从设计之初就考虑落地。 固定形状的计算图;先蒸馏到车端模型,再做 INT8 量化感知训练;是否接受量化后的模型,由闭环指标决定,而不只看开环损失。
经验
- 共享不变的部分。 开销不随需求变化的模块,才值得共享。
- 用已有的模型回答新模型的问题。 已发版的 checkpoint 里,已经有“该留多宽”的答案。
- 合并的条件是不回退。 多任务的平均分没有意义,每个任务都要守住自己的指标。