非线性算子的自适应查表
一种由误差驱动的定点查表分段算法。它只在真实定点误差高的地方细分,每个算子用 12–30 张表即可保证最大误差不超过 2 LSB,而不是统一的 126 张表。
本页目录
问题
在车载 NPU 上,rsqrt、reciprocal、Softmax 中的 exp、sigmoid 等非线性算子是用定点查表实现的,而不是浮点运算。一张不好的表,就能让一个其他地方都正常的模型出问题。在一个量产模型中,精度差距的根因就是归一化层里一个 rsqrt 查表的分段点(见分层数值一致性)。
硬件的分段查表并不是全局最近邻查表:
- 分段点(dividing points)决定输入落在哪一段。
- 段内读取定点表并插值。
- 有效区间之外由左右两侧的线性拟合接管。
所以误差由四部分共同决定:输入有效域、分段点位置、段内采样密度,以及左右线性区的处理。
按芯片的实际计算来衡量误差
参考值是 IR 的 fake quant 输出,也就是模型训练和验证时所对齐的量化值;候选值是转换器实际生成的定点查表输出码。对每个有效整数输入码 xi:
e(x_i) = | q_LUT(x_i) − q_FQ( f(x_i) ) | 以输出 LSB 计的误差
E_mean = Σ_i e(x_i) / N 按样本数加权
E_max = max_i e(x_i) 所有算子、所有输入码中的最大值
- 平均 LSB 按所有表的所有有效输入码加权,而不是对每个算子的平均误差再简单平均。
- 最大 LSB 用来暴露少量但可能致命的局部失真,这类问题在整体指标里看不出来。
- 有效域来自校准:
rsqrt和reciprocal使用 IR 的校准范围;Softmax 的exp在减去最大值后输入不会为正,没有记录范围时默认取 [−12, 0]。
三种策略对比
| 策略 | 分段点 | 左右线性区 | 每个算子的表数 | 保证 |
|---|---|---|---|---|
| A. 原始 6 表 | 各算子原生策略:大多按曲率,少数等距 | 原始线性拟合 | 6 | 仅为基线,没有最大误差目标 |
| B. 均匀 126 表 | 有效区间等宽切成 126 段 | 不优化 | 126 | 只保证表数 |
| C. 自适应(本工作) | 保留 6 表边界,再递归二分 | 只有实测收益足够时才提升 | 每个算子 12–30 张 | 边界保留、不回退、最大 2 LSB |
按曲率放置(A)会在函数弯曲处放更多分段点,比等距好,但对近奇异函数来说 6 张表太少。均匀 126 表(B)实现简单、平均误差低,但它不感知曲率、输出 scale 和真实定点误差。对 rsqrt,它把大量表浪费在平坦区域,同时在极端输入码附近留下很大的误差。
自适应算法
原始 6 表布局是下限:算法只增加分段点,从不移动或删除。反馈信号是真实的定点输出误差,而不是浮点近似。
对每个查表算子 f 及其有效域 D:
S ← 原始 6 表布局的分段 # 从不删除
循环:
E ← f 在 D 内每个输入码上的真实定点误差,按段统计
若 max(E) ≤ 2 LSB:结束
s* ← 误差最大的段
在 s* 的中点切分 # 嵌套细分
若左/右线性区主导了误差:
仅当实测收益足够时才提升该区域
若表数预算用尽且 max(E) > 2 LSB:
硬失败并报告该算子 # 绝不静默发布
把表数向上取整为 6 的倍数 # 导出约束
由于新增分段点都是已有段的中点,细分是嵌套的。所有原始边界都保留下来,所以结果在任何一段上都不会比基线差。多数算子最终使用 12、18、24 或 30 张表。
在浏览器里试一试
- 表数
- –
- 最大误差
- –
- 平均误差
- –
- 结论
- –
这是在浏览器里运行的简化仿真(12 位输出、每段线性插值、1024 个输入码),只用来说明机制:表数相同的预算,放在误差大的地方比均匀摊开更有效。数字与量产转换器不同,量产结果见下方表格。
结果
在一个时序跟踪模型的 4 个量产计算图上评测,每个图有 150 个查表模块(共 600 个):
| 策略 | 加权平均误差 | 最大误差 | 每个算子的表数 |
|---|---|---|---|
| 均匀 126 表 | 0.270 LSB | 11,381 LSB | 126 |
| 自适应 | 0.217 LSB | 2 LSB | 12–30(平均 18.6) |
经验
- 按硬件实际计算的方式测量。 浮点近似恰恰会掩盖最关键的误差。
- 约束最坏情况,而不只是平均值。 一个坏的输入码就可能决定路上的一个极端场景。
- 在误差所在之处细分。 按曲率和实测误差分配预算,胜过更大的均匀预算。
- 失败要大声。 无法满足误差上限的算子应该阻止导出,而不是悄悄发布。