强化学习 on 多辣加香菜

LLM 中的强化学习：DAPO

Wed, 11 Mar 2026 11:26:32 +0800

Summary

DAPO 全称为 Decoupled Clip and Dynamic Sampling Policy Optimization，解耦裁剪与动态采样策略优化。该算法在 GRPO 基础上进行了重大改进。GRPO 是 PPO 的简化版，但在长 CoT 场景下容易出现熵崩塌、奖励噪声、训练不稳定等问题，DAPO 通过四个核心技术解决了这些问题。

J_{\text{DAPO}}(\theta) = \mathbb{E} \left[ \frac{1}{\sum |o_i|} \sum_i \sum_t \min \left( r_{i,t}(\theta) \hat{A}_{i,t},\ \text{clip}(r_{i,t}(\theta), 1-\epsilon_{\text{low}}, 1+\epsilon_{\text{high}}) \hat{A}_{i,t} \right) \right]

GRPO 存在的问题

熵坍塌

LLM 中的强化学习：GRPO

Mon, 02 Mar 2026 20:07:09 +0800

公式推导

GRPO 可以看做 PPO 的变体，我们回顾一下 PPO 这个算法：

\mathcal{L}_{PPO} = -\mathbb{E} \left[ \min\left( r(\theta) \hat{A}, \ \text{clip}(r(\theta), 1-\epsilon, 1+\epsilon) \hat{A} \right) \right]

PPO 需要同时加载 actor、ref、reward 和 critic 模型，reward 和 critic 模型得到 rewards 和 values 通过 GAE 计算得到 advantage，然后 actor 和 ref 模型得到新旧两个 log_probs 计算 KL 散度来约束模型变化。PPO 存在的问题就是，它需要 额外训练一个 critic model 显存翻倍了，其次 PPO 用的是 绝对优势，对 reward model 的噪声很敏感。所以 GRPO 的解决思路就是去掉 critic model 同时用相对优势来代替。

LLM 中的强化学习：DPO

Thu, 26 Feb 2026 15:38:09 +0800

公式推导

PPO 算法我们之前聊过，它需要同时加载四个模型（Actor、Critic、Reward Model、Ref Model），显存需求极大，还需要单独训练 Reward Model 和 Critic Model。而 DPO 只需 2 个模型：待优化的 Actor Model ($π_θ$) 和冻结的 Reference Model ($π_{ref}$)。DPO 不对 prompt+response 打分，而是直接让模型学习区分 good answer ($y_w$) 和 bad answer ($y_l$)。DPO 的本质就是把 reward model 隐式地参数化进了 policy 本身，从而一步到位完成对齐。

LLM 中的强化学习：PPO

Thu, 19 Feb 2026 15:38:09 +0800

前置知识

近端策略优化

PPO 算法可以看成 A2C 的优化版。A2C的训练策略是 “采样一次，更新一次，然后扔掉数据”，这就导致效率很低，每批数据只能用一次。PPO 采用 近端策略优化，它会对一批数据先进行采样得到 logprob，ref_logprob，rewards，advantages 等数据，然后进行 ppo_epochs 次循环。每次循环内，变化的只有概率分布 logprob 和 ref_logprob 和 values，优势奖励这些都固定采用第一次得到的数据。

LLM 中的强化学习：基础知识

Thu, 19 Feb 2026 15:38:09 +0800

在 CS224N 中已经学习了一部分的 RLHF 但是感觉都忘掉了而且学习的一知半解，这次 minimind 正好也需要用到 RL 的知识，涉及到 PPO、DPO 啥的，所以来完整学习一遍。这次学习的目标就是搞懂 LLM 中强化学习的基本概念，学会目前常用的 PPO、DPO、GRPO 这几个算法，然后能调库进行 RLHF。