跳转至

Domain-Specific Architecture / AI Accelerator Atlas

NPU System Atlas

这里记录我对 NPU 的学习，重点关注计算阵列、片上 SRAM、Tensor DMA 与编译器之间的配合，再延伸到驱动、端云架构和集群通信。通过张量映射与性能推演，理解各环节的约束。

11核心模块 99篇文档 56张架构图 3个实验

Hardware Flow / 01

看一个张量数据如何流过脉动阵列与向量流水线。

Task Queue→ Tensor DMA→ Ping-Pong SRAM→ 2D Systolic Array→ VPU Engine→ External DDR/HBM

这是显式 SRAM 与脉动阵列方案的阅读示例，不代表所有 NPU。编译器、固件或硬件调度器安排数据与依赖；能否重叠搬运和计算取决于容量、带宽、端口及同步条件，不保证 100% 重叠。

Reading Routes / 02

按研发分工与工程场景，选择最适合的学习路线。

Route 01

AI 编译器与算子切分

脉动阵列微架构 → Scratchpad SRAM → 算子融合 → Tiling 策略 → MLIR Codegen

 Route 02

底层驱动与任务调度

Host-Device 接口 → Tensor DMA → VLIW 指令流 → 硬件 Barrier → 故障定位

 Route 03

芯片架构与集群互联

DSA 架构设计 → 2D Mesh NoC → 端云架构分化 → HCCL 集合通信 → 万卡集群

Core Modules / 03

从张量计算和数据搬运，读到编译器与集群通信。

01NPU 总体架构与范式DSA · Spatial · Bring-up 02张量与矩阵计算核心Systolic · WS/OS/IS · VPU 03片上存储与双缓冲SRAM · Ping-Pong · Bank 04混合精度与量化计算INT8 · FP8 · Microscaling 05专用张量 DMA 引擎Tensor DMA · Stride · NC4HW4 06片上互联与多核 NoC2D Mesh · XY Routing · Multicast 07指令流调度与同步VLIW · Task Queue · Barrier 08端侧与云端架构分化Edge ISP · Cloud HBM · Tradeoffs 09AI 编译器与软硬件映射Graph IR · Tiling · MLIR 10性能评测与利用率分析MFU/HFU · Roofline · MLPerf 11分布式集群与大规模扩展Chip-to-Chip · HCCL · ScaleOut

Practice / 04

通过张量映射案例和实验，检查容量、数值与同步条件。

Case Studies跨模块工程案例

Transformer 块硬件映射、LLM Prefill/Decode 硬件流与相机 ISP-NPU 零拷贝流水。

 Labs可复现代码实验

手写时钟级 2D 脉动阵列模拟器、TVM 自定义 NPU Tiling 调度与端侧量化部署。

 Glossary专业术语与缩写

涵盖 DSA、Systolic Array、PE、SPM、WS/OS/IS、MLIR、MFU、HCCL 等 90+ 词条。

文档约定与原厂工程“七问”

先从 知识体系与掌握标准 检查掌握程度，再用 量化 GEMM 映射案例 串联章节。文档计数包含首页、模块索引与实验说明，不代表全部都是独立深度文章。

本知识库以以下 7 个问题作为持续完善标准，不代表每篇现有笔记都已经完成全部工程验证：

  1. 硬件解决什么问题：该模块在张量算力吞吐、SRAM 带宽、专用量化或编译调度中的根本职责。
  2. 硬件微架构与组成：数字电路模块如何划分，与片上 NoC/AXI/SRAM 总线如何连接。
  3. 软件可见接口：编译器/驱动/固件能看到的 Task 描述符、SRAM 编址、VLIW 指令格式与 Event 寄存器。
  4. 四流全链路分析：张量数据流、权重流、指令流、硬件 Barrier/DMA 事件流如何在流水线中流转。
  5. 软硬件设计约束：SRAM 面积容量上限、多维搬运对齐、量化动态范围与脉动流水气泡限制。
  6. 现场排错与调试清单：面对计算结果 Mismatch、量化精度断崖、DMA 握手死锁时的系统化排查步骤。
  7. 实验与验证推演：如何通过 C-Model / 周期级模拟器或实卡进行功能与性能验证。

阅读说明与免责声明

文档中的地址、寄存器偏移和微架构参数若无特别说明，均用于解释工业界通用 NPU / DSA 架构机制，不对应特定商业芯片私密设计。实际工程项目应以目标 AI 芯片的 TRM、官方数据手册、架构规范和编译器白皮书为准。