04 端云架构选型工程问题与规避

1. 选型常见工程误区与规避

• 误区 1：将云端大模型直接下发至端侧 NPU \(\rightarrow\) 必然引发 LPDDR 带宽被吸干与严重发热。应先通过蒸馏（Distillation）、量化（INT4 AWQ）与结构剪枝对模型进行轻量化。
• 误区 2：在端侧设计过大的脉动阵列 \(\rightarrow\) 算力利用率（MFU）极低，因为小 batch 推理下填充气泡过大。