DMA 与缓存一致性工程陷阱与实战避坑指南
1. 非一致性 DMA 核心工程陷阱与规避
陷阱 1：DMA 缓冲区未独占 Cacheline 引发脏行回写覆写
- 现象：网络收发包偶发校验和失败，或小文件写入存储后数据错乱，且问题在小内存压力下不复现、多核重负载下高频复现。
- 根因：DMA 接收缓冲区与频繁写入的 CPU 变量（如计数器、自旋锁）共享同一条 64 字节 Cacheline。CPU 修改变量导致该行在 D-Cache 变脏；当 DMA 写入 DDR 后，D-Cache 触发替换写回，将旧数据覆写到 DDR 中。
- 规范规避：驱动应依赖标准 DMA 分配接口（内核在非一致性架构下依据
ARCH_DMA_MINALIGN 保证安全边界）；核心原则是同一个 Cacheline 内不能混合 CPU 与设备的不同所有权区域，避免驱动自行假定 Cacheline 大小硬编码。
陷阱 2：错误的 Cache Invalidation 时机与推测读污染
- 现象：网卡接收数据前 CPU 执行了
DC IVAC，但在网卡 DMA 传输期间，CPU 预测执行逻辑对该缓冲区进行了投机性读取（Speculative Read），重新将 DDR 旧数据预取进 Cache；网卡 DMA 传输完成后，CPU 正式读取该 Buffer 时直接命中 Cache 中的陈旧预取数据。
- 规范规避：严格遵循 Linux DMA 状态机——在数据传输完成后、CPU 正式读取前，必须通过
dma_unmap_single() 或 dma_sync_single_for_cpu() 再次执行一次 Invalidate 操作。
2. 硬件一致性与内存屏障陷阱与规避
陷阱 1：误以为 dma-coherent 系统不需要任何内存屏障
- 现象：系统支持硬件一致性总线（CCI），设备树中配置了
dma-coherent，但驱动偶尔向设备提交未填充完毕的垃圾描述符。
- 根因：硬件一致性仅保证 CPU Cache 与外设 DMA 看到同一份物理内存数据，它完全无法保证 CPU 乱序执行流水线的写入先后顺序。CPU 可能在描述符 Payload 写入内存前，先将
OWN=1 的标志位刷新到内存。
- 规范规避：即便在硬件一致性平台上，向外设交接所有权前必须执行
dma_wmb() 内存屏障，读取外设状态后必须执行 dma_rmb() 内存屏障。
3. IOMMU 与生命周期管理陷阱与规避
陷阱 1：DMA 进行中提前释放内存页（Use-After-Free DMA）
- 现象：进程退出后内核报内存被破坏，或 SMMU 触发严重的 Unhandled Context Fault 中断。
- 根因：应用程序关闭文件描述符，驱动在清理资源时直接调用了
kfree() 或释放了物理页，但未向硬件外设下发停止 DMA 命令，外设继续向已释放并重新分配给其他进程的物理页执行写操作。
- 规范规避：在释放任何物理内存或解除 IOMMU 映射之前，必须先停止外设控制器（
DMA_STOP / HALT），并轮询等待外设确认 IDLE 状态。
4. DMA 一致性排查速查清单
- [ ] 缓冲区是否已与 CPU 频繁写入的常规变量进行 Cacheline 隔离，保证未在同一 Cacheline 混合不同所有权？
- [ ] 缓冲区前后是否存在由 CPU 频繁写入的常规变量？
- [ ] 数据搬运前后是否严格成对调用了
dma_map_* 与 dma_unmap_*？