http://xilyfeAAAA.github.io/tags/%E6%95%B0%E6%8D%AE%E9%9B%86/ Recent content in 数据集 on 多辣加香菜 Hugo zh-CN Sun, 29 Mar 2026 12:36:14 +0800 http://xilyfeAAAA.github.io/posts/data_clean/ Sun, 29 Mar 2026 12:35:46 +0800 http://xilyfeAAAA.github.io/posts/data_clean/ http://xilyfeAAAA.github.io/posts/dataset_preprocess/ Wed, 25 Mar 2026 23:13:25 +0800 http://xilyfeAAAA.github.io/posts/dataset_preprocess/ <div class="details admonition info open"> <div class="details-summary admonition-title"> <span class="icon"><svg class="icon" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 512 512"><!-- Font Awesome Free 5.15.4 by @fontawesome - https://fontawesome.com License - https://fontawesome.com/license/free (Icons: CC BY 4.0, Fonts: SIL OFL 1.1, Code: MIT License) --><path d="M256 8C119.043 8 8 119.083 8 256c0 136.997 111.043 248 248 248s248-111.003 248-248C504 119.083 392.957 8 256 8zm0 110c23.196 0 42 18.804 42 42s-18.804 42-42 42-42-18.804-42-42 18.804-42 42-42zm56 254c0 6.627-5.373 12-12 12h-88c-6.627 0-12-5.373-12-12v-24c0-6.627 5.373-12 12-12h12v-64h-12c-6.627 0-12-5.373-12-12v-24c0-6.627 5.373-12 12-12h64c6.627 0 12 5.373 12 12v100h12c6.627 0 12 5.373 12 12v24z"/></svg></span>Summary<span class="details-icon"><svg class="icon" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 256 512"><!-- Font Awesome Free 5.15.4 by @fontawesome - https://fontawesome.com License - https://fontawesome.com/license/free (Icons: CC BY 4.0, Fonts: SIL OFL 1.1, Code: MIT License) --><path d="M224.3 273l-136 136c-9.4 9.4-24.6 9.4-33.9 0l-22.6-22.6c-9.4-9.4-9.4-24.6 0-33.9l96.4-96.4-96.4-96.4c-9.4-9.4-9.4-24.6 0-33.9L54.3 103c9.4-9.4 24.6-9.4 33.9 0l136 136c9.5 9.4 9.5 24.6.1 34z"/></svg></span> </div> <div class="details-content"> <div class="admonition-content">这一篇笔记主要记录一下 Huggingface 库提供的 Trainer 接受的数据集格式，以及 Packing 和 Padding 两种对其策略。</div></div></div> <h2 id="对其策略" class="headerLink"> <a href="#%e5%af%b9%e5%85%b6%e7%ad%96%e7%95%a5" class="header-mark"></a>对其策略</h2><table> <thead> <tr> <th><strong>Padding</strong></th> <th><strong>Packing</strong></th> <th></th> </tr> </thead> <tbody> <tr> <td>思路</td> <td>每条样本补齐到固定长度</td> <td>多条样本拼接填满 block</td> </tr> <tr> <td>计算效率</td> <td>低（大量无效 token）</td> <td>高（几乎无浪费）</td> </tr> <tr> <td>实现复杂度</td> <td>简单</td> <td>较复杂</td> </tr> <tr> <td>适用场景</td> <td>样本长度均匀 / finetune</td> <td>Pretrain 主流做法</td> </tr> </tbody> </table> <h3 id="padding" class="headerLink"> <a href="#padding" class="header-mark"></a>Padding</h3><p>Pretrain 几乎不用纯 padding，但有时在 eval 或 SFT 阶段使用。它的思路就是用 pad_token 把每一个 sample 都补齐到相同的长度，因为不同长度的 sample 无法组成一个张量。但它存在的问题就是：为了补齐到相同长度，我们不得已加入无意义的 pad_token，可能导致某些 sample 的长度 10 → 512 的情况，浪费大量算力。</p>