跳转至

Domain-Specific Architecture / AI Accelerator Atlas

NPU System Atlas

从 AI 芯片原厂视角出发，系统梳理 NPU 从专用领域架构（DSA）定义、2D 脉动阵列微架构与片上 Scratchpad SRAM，到多维 Tensor DMA、AI 编译器离线 Tiling 切分与双缓冲、底层驱动、端云分化，再到万卡集群互联与极致算力利用率（MFU）调优的全栈知识地图。

11核心模块 99篇文档 56张架构图 3个实验

Hardware Flow / 01

看一个张量数据如何流过脉动阵列与向量流水线。

Task Queue→ Tensor DMA→ Ping-Pong SRAM→ 2D Systolic Array→ VPU Engine→ External DDR/HBM

这是显式 SRAM 与脉动阵列方案的阅读示例，不代表所有 NPU。编译器、固件或硬件调度器安排数据与依赖；能否重叠搬运和计算取决于容量、带宽、端口及同步条件，不保证 100% 重叠。

Reading Routes / 02

按研发分工与工程场景，选择最适合的学习路线。

Route 01

AI 编译器与算子切分

脉动阵列微架构 → Scratchpad SRAM → 算子融合 → Tiling 策略 → MLIR Codegen

 Route 02

底层驱动与任务调度

Host-Device 接口 → Tensor DMA → VLIW 指令流 → 硬件 Barrier → 故障定位

 Route 03

芯片架构与集群互联

DSA 架构设计 → 2D Mesh NoC → 端云架构分化 → HCCL 集合通信 → 万卡集群

Core Modules / 03

十一个模块，拼合现代专用 AI 加速芯片的完整硅片画像。

01NPU 总体架构与范式DSA · Spatial · Bring-up 02张量与矩阵计算核心Systolic · WS/OS/IS · VPU 03片上存储与双缓冲SRAM · Ping-Pong · Bank 04混合精度与量化计算INT8 · FP8 · Microscaling 05专用张量 DMA 引擎Tensor DMA · Stride · NC4HW4 06片上互联与多核 NoC2D Mesh · XY Routing · Multicast 07指令流调度与同步VLIW · Task Queue · Barrier 08端侧与云端架构分化Edge ISP · Cloud HBM · Tradeoffs 09AI 编译器与软硬件映射Graph IR · Tiling · MLIR 10性能评测与利用率分析MFU/HFU · Roofline · MLPerf 11分布式集群与大规模扩展Chip-to-Chip · HCCL · ScaleOut

Practice / 04

把专用架构理论放回全链路端到端案例与可复现实战实验。

Case Studies跨模块工程案例

Transformer 块硬件映射、LLM Prefill/Decode 硬件流与相机 ISP-NPU 零拷贝流水。

 Labs可复现代码实验

手写时钟级 2D 脉动阵列模拟器、TVM 自定义 NPU Tiling 调度与端侧量化部署。

 Glossary专业术语与缩写

涵盖 DSA、Systolic Array、PE、SPM、WS/OS/IS、MLIR、MFU、HCCL 等 90+ 词条。

文档约定与原厂工程“七问”

先从 知识体系与面试复习 检查掌握标准，再用 量化 GEMM 映射案例 串联章节。文档计数包含首页、模块索引与实验说明，不代表全部都是独立深度文章。

本知识库以以下 7 个问题作为持续完善标准，不代表每篇现有笔记都已经完成全部工程验证：

  1. 硬件解决什么问题：该模块在张量算力吞吐、SRAM 带宽、专用量化或编译调度中的根本职责。
  2. 硬件微架构与组成：数字电路模块如何划分，与片上 NoC/AXI/SRAM 总线如何连接。
  3. 软件可见接口：编译器/驱动/固件能看到的 Task 描述符、SRAM 编址、VLIW 指令格式与 Event 寄存器。
  4. 四流全链路分析：张量数据流、权重流、指令流、硬件 Barrier/DMA 事件流如何在流水线中流转。
  5. 软硬件设计约束：SRAM 面积容量上限、多维搬运对齐、量化动态范围与脉动流水气泡限制。
  6. 现场排错与调试清单：面对计算结果 Mismatch、量化精度断崖、DMA 握手死锁时的系统化排查步骤。
  7. 实验与验证推演：如何通过 C-Model / 周期级模拟器或实卡进行功能与性能验证。

阅读说明与免责声明

文档中的地址、寄存器偏移和微架构参数若无特别说明，均用于解释工业界通用 NPU / DSA 架构机制，不对应特定商业芯片私密设计。实际工程项目应以目标 AI 芯片的 TRM、官方数据手册、架构规范和编译器白皮书为准。