http://xilyfeAAAA.github.io/tags/gpu/ Recent content in GPU on 多辣加香菜 Hugo zh-CN Sat, 14 Mar 2026 11:44:21 +0800 http://xilyfeAAAA.github.io/posts/flash-attention/ Sat, 14 Mar 2026 10:59:39 +0800 http://xilyfeAAAA.github.io/posts/flash-attention/ <h2 id="前情提要" class="headerLink"> <a href="#%e5%89%8d%e6%83%85%e6%8f%90%e8%a6%81" class="header-mark"></a>前情提要</h2><p> <div class="post-img-view"> <a data-fancybox="gallery" href="http://img.xilyfe.top/img/20260314111856134.png"> <img src="http://img.xilyfe.top/img/20260314111856134.png" alt="image.png" /> </a> </div> </p> <p>GPU 存储分为芯片内和芯片外，芯片内的 SRAM 用于储存需要计算的临时数据，显存 HBM 在芯片外：</p> <ul> <li>HBM：位于 GPU 芯片外，就是我们所说的显存，类似于 CPU 的 DRAM，储存模型训练和推理时的参数，容量大，例如 A100 一般为 40G 或 80G。</li> <li>SRAM：位于 GPU 芯片上，仅用于存储 CUDA Kernel 计算时所需的临时数据，容量极限一般在 20MB</li> <li>CUDA Kernel：GPU 上执行并行的计算函数，是实现并行计算任务的基本单元</li> </ul> <p> <div class="post-img-view"> <a data-fancybox="gallery" href="http://img.xilyfe.top/img/20260314112212450.png"> <img src="http://img.xilyfe.top/img/20260314112212450.png" alt="image.png" /> </a> </div> </p>