http://xilyfeAAAA.github.io/tags/%E5%88%86%E5%B8%83%E5%BC%8F/ Recent content in 分布式 on 多辣加香菜 Hugo zh-CN Thu, 19 Mar 2026 02:17:32 +0800 http://xilyfeAAAA.github.io/posts/distributed_parallel_tensor/ Thu, 05 Feb 2026 19:50:43 +0800 http://xilyfeAAAA.github.io/posts/distributed_parallel_tensor/ <blockquote> <p>上一篇文章我们学的是 DP 和 DDP，它们的思路是 <strong>用显存冗余换吞吐量</strong>。每张 GPU<strong>都有完整模型</strong>，但是只<strong>处理不同的数据</strong>，它的本质是<strong>复制模型 → 并行处理数据 → 最后通过 AllReduce 同步梯度</strong>，代价是模型被复制 N 份，占用 <strong>N 倍显存</strong>。张量并行 Tensor Parallel 的思路正好相反是 <strong>用通信换显存</strong>。现在的大模型参数量巨大一张卡很可能放不下，所以把模型拆到多卡，每张 GPU <strong>只有部分模型</strong>，但是<strong>处理完整的数据</strong>，最后进行合并。</p> http://xilyfeAAAA.github.io/posts/distributed_parallel_data/ Mon, 02 Feb 2026 19:50:43 +0800 http://xilyfeAAAA.github.io/posts/distributed_parallel_data/ <p>我们先回忆一下传统的单机单卡训练模式：</p> <p> <div class="post-img-view"> <a data-fancybox="gallery" href="http://img.xilyfe.top/img/20260202195324965.png"> <img src="http://img.xilyfe.top/img/20260202195324965.png" alt="" /> </a> </div> </p> <p>首先硬盘读取数据，CPU 处理数据，将数据组成一个 batch，再传入 GPU，网络前向传播算出 loss，再反向传播计算梯度，用梯度更新参数完成一次训练。这种传统模式在大参数量或者大数据量的情况下就容易陷入显存的瓶颈，于是就引出了多卡并行训练。</p>