OneModel:五个感知任务共享一个视觉编码器

把五个感知模型的图像 backbone 和 neck 合成一个:耗时账怎么算,新 backbone 的规模怎么定,预训练权重怎么从已发版模型合成,以及再往前一步的端到端架构设计。项目进行中。

轻舟智航 2026 方案设计与训练框架设计

5 → 1套图像编码器(backbone + neck)
5–9 ms预计每帧节省,按帧率折算的估计值
9路相机统一为 512 × 1024 输入
  • 多任务学习
  • 共享 backbone
  • PCA
  • 模型架构
  • 端到端
本页目录

问题

车端耗时限制了模型的容量和帧率。耗时模型的结论是:图像编码器是唯一不随感知范围变化的大模块,所以它就是应该共享的部分。

一期直接复用检测模型的 backbone,其他任务出现了不同程度的掉点,Occupancy 最明显。二期要解决的就是“合并之后指标不及预期”。

结构

OneModel: one shared image encoder for five perception tasks进行中:联合训练已跑通,指标尚低于发版模型五个感知任务、9 路相机共享一个图像 backbone 与 neck现状:每个任务各自编码backbone + neck检测与跟踪backbone + neck矢量地图backbone + neckOccupancybackbone + neck前视感知backbone + neck红绿灯OneModel:共享到 neck,任务头各自读取9 路相机512×1024共享backbone+ neck检测与跟踪矢量地图Occupancy前视感知红绿灯5–9 ms预计每帧节省(按帧率折算的估计)不从零开始:用已发版模型确定 backbone 规模并合成初始权重1提特征用 5 个任务的浮点 checkpoint分别提取各阶段特征2PCA 冗余分析冗余的维度缩减,信息密集的维度保留3通道对齐把各 checkpoint 的通道对齐到同一组基4闭式求解线性求解得到 neck 与各任务的投影层5检查重建误差在独立片段上验证合成权重的重建误差同时做两项量化友好的修正:ReLU6 + 代理梯度(前向用 ReLU6,反向用平滑代理函数的导数);修正 backbone 感受野中心偏移。
  • 共享到 image neck 为止,暂不延伸到 BEV 空间。 各任务的 BEV 范围和分辨率不同;要共享 BEV 特征,就得统一范围和分辨率,算力会成倍增长。
  • 9 路相机统一为 512 × 1024 输入,不再区分主 backbone 和辅助 backbone。鱼眼和两路后视相机暂不共享。
  • 耗时账按帧率折算。 以 10 Hz 的一帧为单位,5 Hz 的任务算一半:只共享 backbone,每帧节省约 5 ms;neck 也全部共享,约 9 ms。前视的两个任务是否共享 neck,决定其中约 4 ms。这部分节省,就是给更大 backbone 的预算。

用已发版的模型确定 backbone 规模

新 backbone 的宽度不是凭感觉定的。

  1. 用五个任务已发版的浮点 checkpoint,分别提取各阶段的特征。
  2. 对特征做 PCA,衡量每个阶段通道的冗余度:冗余的维度可以缩减,信息密集的维度必须保留。
  3. 先把各 checkpoint 的通道对齐,再用 PCA 选出保留的维度。
  4. 用闭式线性求解得到 neck 和各任务的投影层,合成一份预训练权重。
  5. 在独立的片段上检查重建误差。

这样得到的初始权重,已经包含五个任务学到的大部分特征,联合训练不必从零开始。

两个量化友好的修正

  • ReLU6 加代理梯度。 从量化的角度,激活函数应该尽量用 ReLU6;但直接换会影响训练的平滑度。做法是前向用正常的 ReLU6,反向不用它在饱和区为零的导数,而是用一个平滑代理函数的导数。
  • 感受野中心偏移。 原 backbone 的下采样方式会让感受野中心发生偏移。改为步长 2 加 2 × 2 卷积的常见结构,并保证 FPN 不加重偏移;视角变换里的采样网格也做同样的修正。

多任务训练怎么组织

五个任务的数据并不同源,标注也不在同一批帧上。我比较了四种组织方式:

组织方式 数据与梯度的行为 判断
按任务轮转 batch,所有 GPU 同步任务 每个 step 所有 GPU 选同一个任务的数据;共享编码器和对应任务头反传 首版采用。 复用各任务的数据加载和采样;按计划的训练曝光量配比
同源样本,多任务监督 同一组相机有多个任务标签时,公共特征只前向一次,多个 loss 求和 作为增强;前提是不同任务的标注对齐到同一帧、同一坐标和同一增强结果
一个 batch 混合不同任务的样本 每个样本带任务有效位,按样本选择 loss 后续扩展;需要同时改任务启用条件和跨卡归一化,只加 mask 不算支持
按 GPU 固定任务 不同任务占用固定的卡组,共享参数跨组同步 暂不作为主线;通信、优化器和恢复训练都更复杂

一条贯穿始终的规则:缺标不得视为负样本。 任务 mask 只表示监督是否有效。

上线路径

  1. 单任务架构调整。 每个任务先改成联合训练时的模型结构,各自发版。
  2. 部分任务合并。 跟踪加 Occupancy;前视感知加红绿灯(这两个是图像级特征,不涉及 BEV 转换,合并难度较小)。
  3. 五任务合并。 联合训练 backbone,各任务基于冻结的共享编码器单独发版;如果更新了共享参数、归一化统计或量化边界,就必须生成新的共享版本,并回归所有使用它的任务。
  4. 感知与规划联合训练。

主要风险在发版:量产对指标回退的容忍度很低。如果部分合并时指标做到了 90,五个任务联合只有 85,发版就会卡住。所以每一步都以“所有任务都不回退”为合并条件。

再往前:端到端驾驶模型的架构设计

end-to-end driving model: design proposal设计提案 · 尚未训练 · 约 1.4 亿参数(估计)端到端驾驶模型架构设计:从像素到规划的一条可微路径9 路相机512×1024运动学1 s 窗口导航SD 路网 + 路线共享图像编码器复用,不改动场景 token射线 + 相机 ID · 672运动学 token8导航前缀64 · 可缓存流式 Transformer12 层 · d = 768位姿感知记忆8 槽 × 48 token ≈ 3.2 s每个 tick 读缓存的记忆;键按相对位姿与时间调制,不做特征 warp规划头16 个整体方案模态;路径用曲率节点(按弧长)、速度用加速度节点(按时间)表示,可微 rollout 到 8 s辅助头占据与未来占据目标与预测车道图红绿灯深度 · 仅训练世界模型 · 仅训练从设计之初就给出落地路径感知预训练时序与未来预测模仿学习闭环评测蒸馏到车端模型INT8 QAT 与导出
从像素到规划只有一条可微路径;共享图像编码器原样复用。

在共享编码器之上,我写了一份端到端驾驶模型的架构设计。几个关键取舍:

  • 共享编码器原样复用。 它的权重、导出流程和已经测过的耗时都继续有效。
  • 主路径用 token,而不是 BEV 栅格。 去掉每个任务私有的视角变换,让包括规划在内的每个 loss,都有一条路径回到编码器。
  • 纯视觉输入。 LiDAR 只用来生成标签和监督深度,不作为模型输入。
  • 规划头输出控制量。 路径用按弧长排列的曲率节点表示,速度用按时间排列的加速度节点表示,再可微地 rollout 成轨迹,所以位置损失可以直接训练这些节点。
  • 导航以 token 进入,由 SD 路网和路线构造,不使用未来的自车轨迹,避免标签泄漏。
  • 从设计之初就考虑落地。 固定形状的计算图;先蒸馏到车端模型,再做 INT8 量化感知训练;是否接受量化后的模型,由闭环指标决定,而不只看开环损失。

经验

  • 共享不变的部分。 开销不随需求变化的模块,才值得共享。
  • 用已有的模型回答新模型的问题。 已发版的 checkpoint 里,已经有“该留多宽”的答案。
  • 合并的条件是不回退。 多任务的平均分没有意义,每个任务都要守住自己的指标。