非线性算子的自适应查表

一种由误差驱动的定点查表分段算法。它只在真实定点误差高的地方细分,每个算子用 12–30 张表即可保证最大误差不超过 2 LSB,而不是统一的 126 张表。

轻舟智航 2026 算法设计、评测及接入转换流程

0.217 LSB600 个查表模块的加权平均误差
2 LSB保证的最大误差(均匀 126 表:11,381 LSB)
−85%表数量,相比均匀 126 表方案(平均 18.6 张)
  • 定点运算
  • 查表算子
  • rsqrt
  • Softmax
  • 地平线 J6M
本页目录

问题

在车载 NPU 上,rsqrt、reciprocal、Softmax 中的 exp、sigmoid 等非线性算子是用定点查表实现的,而不是浮点运算。一张不好的表,就能让一个其他地方都正常的模型出问题。在一个量产模型中,精度差距的根因就是归一化层里一个 rsqrt 查表的分段点(见分层数值一致性)。

硬件的分段查表并不是全局最近邻查表:

  1. 分段点(dividing points)决定输入落在哪一段。
  2. 段内读取定点表并插值。
  3. 有效区间之外由左右两侧的线性拟合接管。

所以误差由四部分共同决定:输入有效域、分段点位置、段内采样密度,以及左右线性区的处理。

按芯片的实际计算来衡量误差

参考值是 IR 的 fake quant 输出,也就是模型训练和验证时所对齐的量化值;候选值是转换器实际生成的定点查表输出码。对每个有效整数输入码 xi:

e(x_i)  = | q_LUT(x_i) − q_FQ( f(x_i) ) |          以输出 LSB 计的误差
E_mean  = Σ_i e(x_i) / N                            按样本数加权
E_max   = max_i e(x_i)                              所有算子、所有输入码中的最大值
  • 平均 LSB 按所有表的所有有效输入码加权,而不是对每个算子的平均误差再简单平均。
  • 最大 LSB 用来暴露少量但可能致命的局部失真,这类问题在整体指标里看不出来。
  • 有效域来自校准:rsqrt 和 reciprocal 使用 IR 的校准范围;Softmax 的 exp 在减去最大值后输入不会为正,没有记录范围时默认取 [−12, 0]。

三种策略对比

策略 分段点 左右线性区 每个算子的表数 保证
A. 原始 6 表 各算子原生策略:大多按曲率,少数等距 原始线性拟合 6 仅为基线,没有最大误差目标
B. 均匀 126 表 有效区间等宽切成 126 段 不优化 126 只保证表数
C. 自适应(本工作) 保留 6 表边界,再递归二分 只有实测收益足够时才提升 每个算子 12–30 张 边界保留、不回退、最大 2 LSB

按曲率放置(A)会在函数弯曲处放更多分段点,比等距好,但对近奇异函数来说 6 张表太少。均匀 126 表(B)实现简单、平均误差低,但它不感知曲率、输出 scale 和真实定点误差。对 rsqrt,它把大量表浪费在平坦区域,同时在极端输入码附近留下很大的误差。

自适应算法

原始 6 表布局是下限:算法只增加分段点,从不移动或删除。反馈信号是真实的定点输出误差,而不是浮点近似。

6 表基线保留全部边界
实测误差每个输入码
二分最差的段取中点
检查线性区值得才提升
最大误差 ≤ 2 LSB?否则继续
向上取整为 6 的倍数硬件导出
对每个查表算子 f 及其有效域 D:
    S ← 原始 6 表布局的分段                                  # 从不删除
    循环:
        E ← f 在 D 内每个输入码上的真实定点误差,按段统计
        若 max(E) ≤ 2 LSB:结束
        s* ← 误差最大的段
        在 s* 的中点切分                                     # 嵌套细分
        若左/右线性区主导了误差:
            仅当实测收益足够时才提升该区域
        若表数预算用尽且 max(E) > 2 LSB:
            硬失败并报告该算子                               # 绝不静默发布
    把表数向上取整为 6 的倍数                                # 导出约束

由于新增分段点都是已有段的中点,细分是嵌套的。所有原始边界都保留下来,所以结果在任何一段上都不会比基线差。多数算子最终使用 12、18、24 或 30 张表。

adaptive piecewise lookup tables示意:同一个 rsqrt 算子,两种分段方式输入码 →rsqrt(x)曲率集中在左端均匀 126 表:等宽切分,不看曲率126自适应:保留 6 表边界,只在误差大的段继续二分18红色区域:均匀方案在极端输入码附近留下很大的定点误差误差驱动的细分循环1从 6 表基线出发,边界全部保留2按芯片真实定点输出码实测每个输入码的误差3在误差最大的段取中点二分4最大误差 ≤ 2 LSB 才导出;预算用尽则硬失败600 个查表模块上的结果0.217 LSB加权平均误差(均匀 126 表:0.270)2 LSB最大误差(均匀 126 表:11,381LSB)−85%表数量:平均 18.6 张,而不是126 张
示意:同一个 rsqrt 算子,均匀切分与自适应切分的分段点对比;右侧是细分循环和 600 个模块上的结果。

在浏览器里试一试

表数
–
最大误差
–
平均误差
–
结论
–

这是在浏览器里运行的简化仿真(12 位输出、每段线性插值、1024 个输入码),只用来说明机制:表数相同的预算,放在误差大的地方比均匀摊开更有效。数字与量产转换器不同,量产结果见下方表格。

结果

在一个时序跟踪模型的 4 个量产计算图上评测,每个图有 150 个查表模块(共 600 个):

策略 加权平均误差 最大误差 每个算子的表数
均匀 126 表 0.270 LSB 11,381 LSB 126
自适应 0.217 LSB 2 LSB 12–30(平均 18.6)

经验

  • 按硬件实际计算的方式测量。 浮点近似恰恰会掩盖最关键的误差。
  • 约束最坏情况,而不只是平均值。 一个坏的输入码就可能决定路上的一个极端场景。
  • 在误差所在之处细分。 按曲率和实测误差分配预算,胜过更大的均匀预算。
  • 失败要大声。 无法满足误差上限的算子应该阻止导出,而不是悄悄发布。