云端 GPU 模型的 TensorRT INT8 与 onnx2trt

为腾讯地图云端 GPU 模型搭建的 INT8 量化部署流程:与浮点 cosine 相似度高于 0.999,耗时降低 20%,GPU 占用和显存各降低 10%,节省约 300 万元算力成本。其中的校准工具开源为 onnx2trt。

腾讯地图 2021 – 2022 负责云端模型的量化、部署与测试

> 0.999INT8 与浮点输出的 cosine 相似度
−20%推理耗时
≈ 300 万元节省的算力成本
  • TensorRT
  • ONNX
  • INT8 校准
  • 云端 GPU
  • 开源
本页目录

问题

腾讯地图的云端模型消耗的 GPU 资源超出了预算。INT8 推理是显而易见的手段,难点在精度:量化模型会掉精度,而每个模型都手工转换、手工测试,没法规模化。

流程

PyTorch 模型
导出 ONNX
校准多种算法
精度检查与浮点比 cosine
TensorRT INT8 engine
部署 + 测试
  1. 导出 ONNX,作为统一的输入格式。
  2. 多种算法校准:在同一接口下集成 ONNX Runtime 的量化校准和 TensorRT 自带的校准算法。
  3. 用输出相似度评估。 用 cosine 相似度比较量化模型和浮点模型的输出。另外增加了一种直接优化这一相似度的校准方法,与标准方法并列使用。
  4. 自动编译并测试 engine:耗时、GPU 占用、显存和精度,每个模型都经过同一道关卡。

结果

onnx2trt

我把校准工具开源为 onnx2trt,一个用于 ONNX → TensorRT INT8 量化的开源工具:

  • 集成 ONNX 量化与 TensorRT 自带的校准算法;
  • 开放自定义校准算法的接口;
  • 包含基于 cosine 相似度的校准方法。

经验

  • 用与浮点模型的输出相似度来评判量化,而不是校准器自己的统计量。
  • 自动化测试,而不只是自动化转换。 测量方式不统一的转换结果没法相互比较。