01 INT8、FP8 与 Microscaling (MXFP) 硬件数据格式¶
1. 主流 AI 数据格式硬件位域对比¶
| 数据类型 | 符号位 (Sign) | 指数位 (Exponent) | 尾数位 (Mantissa) | 动态范围 | 适用场景 |
|---|---|---|---|---|---|
| INT8 | 1-bit | 无 | 7-bit 定点 | \([-128, 127]\) | 传统 CNN 与端侧极致低功耗推理 |
| FP8 (E4M3) | 1-bit | 4-bit | 3-bit | \([-448, 448]\) | LLM 推理与前向传播 (高精度尾数) |
| FP8 (E5M2) | 1-bit | 5-bit | 2-bit | \([-57344, 57344]\) | LLM 反向传播梯度计算 (大动态范围) |
| BF16 | 1-bit | 8-bit | 7-bit | 与 FP32 完全相同 | LLM 基础训练与混合精度推理 |
| MXFP6 / MXFP4 | 共享 8-bit Scale 因子 + 2~4-bit 细粒度尾数 | 极高动态范围 | OCP 最新微缩量化标准 |