AR 导航感知 SDK

面向手机和车机的 AR 导航感知 SDK:多流程并行框架加自动 profile。四个月完成 12 项功能,CPU 占用低于 70%,在江铃 CX743 量产车型上线。

腾讯地图 2021 – 2022 SDK 设计与端侧模型部署

12项感知功能,四个月完成
< 70%车机 CPU 占用
1款量产车型上线(江铃 CX743)
  • 手机 / 车机 SDK
  • 并行流水线
  • Profiling
  • 端侧部署
本页目录

问题

AR 导航把引导信息叠加在实时相机画面上,所以感知必须在硬件上实时运行,而同一硬件还在运行导航、地图和车辆自身的软件。手机或车机的 CPU 余量很小。准确但延迟高的功能没有用,挤占系统其他部分资源的 SDK 也不可能上线。

设计

相机帧
并行感知流程道路、车位……
结果送导航
AR 引导
  • 多流程并行框架。 各感知任务作为并行的流程运行,慢任务不会拖住其他任务,新增任务也不需要重写流水线。
  • 内置自动 profile。 每个流程持续上报耗时和 CPU 开销,性能回退在开发阶段就能发现,而不是等到上车。
  • 端侧模型针对目标硬件部署和调优。

结果

道路场景感知
车位检测
AR 导航

视觉定位 SDK

我的工作还包括与 AR 导航配套使用的视觉定位系统 SDK。

视觉定位 SDK 架构
视觉定位 SDK 设计

经验

  • 先定 CPU 预算,再定功能。 在共享硬件上做实时,既是模型问题,也是调度问题。
  • 让性能始终可见。 内置 profile 让性能回退在集成之前很久就被发现。