04 量化精度工程问题排查与规避

1. 常见量化精度故障排查表

故障现象	根因诊断	排查手段
LLM 量化后回答胡言乱语 (Perplexity 爆炸)	激活值存在巨型异常值（Outliers），INT8 对称量化导致正常数值分辨率丢失	采用 SmoothQuant 或引入 FP8 E4M3 非对称量化
模型推理出现全 0 输出	Scale 因子配置过小，硬件截断电路直接将小数值全部 Round 归零	校准 PTQ 校准集（Calibration Dataset），调整 Scale 因子