Silicon Architecture / GPGPU System Atlas

GPU System Atlas

这里记录我对 GPU 硬件与软件的学习：从 SIMT、Warp 调度与 Tensor Core，到显存、互联、驱动和编译器，再结合 GEMM 与多卡通信分析性能问题。

11核心模块 100篇文档 52张架构图 3个实验

Hardware Flow / 01

看一个 Kernel 指令与张量数据如何流过整颗 GPU。

Host / Queue→ Warp Issue→ Tensor Core→ Shared/L1→ L2 Cache→ HBM3e PHY

这是以 NVIDIA 术语为例的阅读路径，不是全部数据必经的串行通路。Copy Engine 的并发能力、MMU/UVM 的地址与驻留管理、跨卡互联及功耗控制，需要按目标设备分别确认。

Reading Routes / 02

按工程角色与研发场景，选择最适合的学习路线。

Route 01

算子开发与性能调优

SIMT 调度 → Shared Mem 冲突 → Tensor Core → Roofline 模型 → FlashAttention

Route 02

底层驱动与系统软件

GPU MMU/UVM → PCIe/NVLink → Linux DRM/KMD → UMD Doorbell → Xid 故障诊断

Route 03

芯片架构与系统互联

GPC/SM 拓扑 → HBM3e/CoWoS → NVLink/NVSwitch → DVFS/PMU → 3D 并行集群

Core Modules / 03

从计算核心、存储层次读到驱动与多卡互联。

01GPU 总体架构GPC · BAR · Bring-up 02计算核心与 SIMTWarp · Scoreboard · TensorCore 03显存系统与存储层次HBM3e · Bank Conflict · Coalescing 04地址空间与统一内存GPU MMU · Page Fault · ATS 05片上与片间高速互联PCIe 6 · NVLink · NVSwitch 06异步数据搬运与 DMACopy Engine · GPUDirect · Graph 07频率功耗与电源管理DVFS · PMU · Throttling 08图形视频与专用引擎Raster · RT Core · NVENC 09驱动与软件运行时体系DRM/KMS · UMD · PTX/SASS 10调试性能与故障分析Roofline · NSight · Xid Hang 11多卡集群与分布式并行NCCL · 3D 并行 · RoCEv2

Practice / 04

结合案例和实验，检查对执行过程的理解。

Case Studies跨模块工程案例

FlashAttention 硬件路径、PCIe P2P 事务流与 8 卡 AllReduce 数据流推演。

Labs可复现代码实验

CUDA GEMM 调优、NSight Roofline 分析与开源 GPU 驱动任务提交跟踪。

Glossary专业术语与缩写

涵盖 GPC、SIMT、Warp、HBM3e、NVLink、PTX、SASS、Xid 等 90+ 词条。

文档约定与原厂工程“七问”

先从 知识体系与掌握标准 检查掌握程度，再用 GEMM 完整证据链 串联章节。文档计数包含首页、模块索引与实验说明，不代表全部都是独立深度文章。

本知识库以以下 7 个问题作为持续完善标准，不代表每篇现有笔记都已经完成全部工程验证：

1. 硬件解决什么问题：该模块在算力吞吐、访存带宽、功耗控制或互联扩展中的根本职责。
2. 硬件微架构与组成：数字电路模块如何划分，与 NoC/Crossbar/总线如何连接。
3. 软件可见接口：KMD/UMD/编译器能看到的寄存器、BAR 空间、指令格式与描述符结构。
4. 四流全链路分析：地址流、数据流、控制流、事件/中断/DMA 流如何在硬件管道中流转。
5. 软硬件设计约束：面积（PPA）、时序收敛、功耗上限、Bank 冲突与一致性限制。
6. 现场排错与调试清单：面对硬件 Hang 死、数据踩踏（Mismatch）、性能断崖时的系统化排查步骤。
7. 实验与验证推演：如何通过 C-Model / 周期精确仿真器（GPGPU-Sim / Accel-Sim）或实卡验证。

阅读说明与免责声明

文档中的地址、寄存器偏移和微架构参数若无特别说明，均用于解释工业界通用 GPU 架构机制，不对应特定商业芯片私密设计。实际工程项目应以目标 GPU 芯片的 TRM、官方数据手册、架构白皮书和勘误表（Errata）为准。