Diffusion은 신이고 GPT는 무적이다

ICLR 2026. [Paper] [Github]
Yuzhong Zhao, Yue Liu, Junpeng Liu, Jingye Chen, Xun Wu, Yaru Hao, Tengchao Lv, Shaohan Huang, Lei Cui, Qixiang Ye, Fang Wan, Furu Wei
UCAS | CUHK | HKUST | Microsoft Research
28 Jul 2025

Introduction

Group Relative Policy Optimization (GRPO)는 입력 프롬프트당 여러 개의 샘플링된 응답을 활용하여 상대적 reward와 advantage $\hat{A}$를 계산함으로써 추론 성능을 크게 향상시킨다. Token-level reward의 산술 평균을 최대화하는 GRPO는 수학, 코드 생성, 멀티모달 추론과 같은 복잡한 task에서 뛰어난 결과를 보여주었다.

GRPO 학습 동안 각 토큰에 대한 중요도로 가중된 reward는 \(\rho_t (\theta) \hat{A}\)로 주어지며, 중요도 샘플링 비율 \(\rho_t (\theta)\)는 다음과 같이 정의된다.

\[\begin{equation} \rho_t (\theta) = \frac{\pi_\theta (o_t \vert q, o_{<t})}{\pi_{\theta_\textrm{old}} (o_t \vert q, o_{<t})} \end{equation}\]

이 비율은 PPO와 GRPO에서 핵심적인 역할을 하며, policy 업데이트가 현재 policy \(\pi_\theta\)에서 나온 데이터에 기반하도록 보장한다. \(\rho_t (\theta)\)가 1에서 크게 벗어나면 과도한 policy 변화를 나타내어 지나치게 공격적인 업데이트와 불안정성을 초래한다. 따라서 이 비율을 적절한 범위 내로 제한하는 것은 안정적이고 신뢰할 수 있는 학습에 매우 중요하다.

본 논문은 GRPO의 불안정성을 완화하고 탐색 능력을 향상시키기 위해 Geometric-Mean Policy Optimization (GMPO)를 제안하였다. GMPO는 본질적으로 outlier에 덜 민감하고 분산이 낮은 중요도 샘플링 비율 분포를 생성하는 기하 평균의 장점을 최대한 활용한다. 학습 과정에서 GMPO의 \(\rho_t (\theta)\) 범위는 안정적으로 유지되며 GRPO보다 극단값이 적게 나타난다. GMPO를 사용하면 더 넓은 clipping 범위를 허용하여 탐색을 촉진하면서 안정적인 policy 최적화를 유지할 수 있다.


구체적으로 GMPO는 다음과 같은 장점이 있다.

  1. GMPO의 objective는 GRPO의 objective보다 더 좁은 값 범위를 생성하여 학습 분산을 줄이고 더욱 안정적인 policy 업데이트를 제공한다.
  2. Gradient 관점에서 GMPO는 더욱 균형 잡힌 업데이트 신호를 제공하며 중요도 샘플링 비율 \(\rho_t (\theta)\)의 outlier에 대해 더 robust하다.
  3. 학습이 진행됨에 따라 GMPO는 GRPO보다 사전 학습된 모델과의 KL divergence가 더 작고 토큰 엔트로피가 더 높게 유지되어 안정성 향상과 policy 탐색 확대를 보여준다.

Method

GRPO 학습 과정에서 극단적인 중요도 샘플링 비율을 가진 토큰들이 관찰되는데, 이는 모델 업데이트가 불안정함을 나타낸다. 이러한 불안정성은 GRPO의 objective가 \(\rho_t (\theta) \hat{A}\)의 outlier에 민감하기 때문에 발생하며, outlier는 공격적인 policy 업데이트를 유발하고 중요도 샘플링 비율의 분산을 더욱 증폭시킨다.

이를 해결하기 위해 본 논문에서는 GRPO의 안정화된 변형인 Geometric-Mean Policy Optimization (GMPO)를 제안하였다. GMPO는 token-level reward의 산술 평균을 최적화하는 대신, 기하평균을 최대화한다.

\[\begin{equation} \mathcal{J}_\textrm{GMPO}^\ast (\pi_\theta) = \mathbb{E}_{q \sim \mathcal{Q}, \{o_i\}_{i=1}^G \sim \pi_{\theta_\textrm{old}} (\cdot \vert q)} \left[ \frac{1}{G} \sum_{i=1}^G \left( \prod_{t=1}^{\vert o_i \vert} \vert \rho_{i,t} (\theta) \hat{A}_i \vert \right)^{\frac{1}{\vert o_i \vert}} \cdot \textrm{sgn} (\hat{A}_i) \right] \end{equation}\]

\(\textrm{sgn} (\hat{A}_i)\)는 \(\hat{A}_i\)가 양수일 때 1을, 그렇지 않을 때 -1을 반환하여 올바른 최적화 방향을 보장한다. \(\mathcal{J}_\textrm{GMPO}^\ast (\pi_\theta)\)는 \(\mathcal{J}_\textrm{GRPO}^\ast (\pi_\theta)\)보다 값 범위가 좁으며, 이는 다음과 같이 유도할 수 있다.

\[\begin{aligned} \vert \mathcal{J}_\textrm{GMPO}^\ast (\pi_\theta) \vert &= \mathbb{E}_{q \sim \mathcal{Q}, \{o_i\}_{i=1}^G \sim \pi_{\theta_\textrm{old}} (\cdot \vert q)} \left[ \frac{1}{G} \sum_{i=1}^G \left( \prod_{t=1}^{\vert o_i \vert} \vert \rho_{i,t} (\theta) \hat{A}_i \vert \right)^{\frac{1}{\vert o_i \vert}} \right] \\ &\le \mathbb{E}_{q \sim \mathcal{Q}, \{o_i\}_{i=1}^G \sim \pi_{\theta_\textrm{old}} (\cdot \vert q)} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{\vert o_i \vert} \sum_{t=1}^{\vert o_i \vert} \vert \rho_{i,t} (\theta) \hat{A}_i \vert \right] = \vert \mathcal{J}_\textrm{GRPO}^\ast (\pi_\theta) \vert \end{aligned}\]

이처럼 범위가 좁아진다는 것은 GMPO의 학습 과정에서 최적화 objective의 분산이 더 낮다는 것을 의미하며, 이는 보다 안정적인 policy 업데이트의 증거로 볼 수 있다. \(\mathcal{J}_\textrm{GRPO} (\pi_\theta)\)와 비교했을 때, \(\mathcal{J}_\textrm{GMPO} (\pi_\theta)\)는 기하 평균이 산술 평균보다 outlier에 대해 본질적으로 더 robust하기 때문에 outlier에 덜 민감하다. 결과적으로 \(\mathcal{J}_\textrm{GMPO} (\pi_\theta)\)는 보다 신뢰할 수 있는 policy 업데이트를 제공하고 중요도 샘플링 비율의 보다 안정적인 범위를 유지한다. \(\mathcal{J}_\textrm{GMPO}^\ast (\pi_\theta)\) 식을 확장하고 token-level에서 PPO의 clipping 항을 통합하면 GMPO의 완전한 objective를 다음과 같이 도출할 수 있다.

\[\begin{aligned} & \mathcal{J}_\textrm{GMPO} (\pi_\theta) = \mathbb{E}_{q \sim \mathcal{Q}, \{o_i\}_{i=1}^G \sim \pi_{\theta_\textrm{old}} (\cdot \vert q)} \\ & \qquad \frac{1}{G} \sum_{i=1}^G \left\{ \prod_{t=1}^{\vert o_i \vert} \left\vert \min [\rho_{i,t} (\theta) \hat{A}_i, \textrm{clip} (\rho_{i,t} (\theta), \epsilon_\textrm{low}, \epsilon_\textrm{high}) \hat{A}_i] \right\vert \right\}^{\frac{1}{\vert o_i \vert}} \cdot \textrm{sgn} (\hat{A}_i) \end{aligned}\]

GMPO는 구현이 간단하며, pseudo-code는 Algorithm 1에 나와 있다. 수치적 안정성을 위해 위 식의 곱셈 연산과 clipping 연산은 모두 log space에서 수행된다.


Gradient 관점에서 GMPO가 극단적인 중요도 샘플링 비율을 가진 토큰에 대해 더 robust하다는 것을 확인할 수 있다. 구체적으로, 질문 $q$와 rollout $o_i$가 주어졌을 때, 모델 파라미터 $\theta$에 대한 \(\mathcal{J}_\textrm{GRPO}^\ast (\pi_\theta)\)와 \(\mathcal{J}_\textrm{GMPO}^\ast (\pi_\theta)\)의 gradient는 다음과 같다.

\[\begin{aligned} \nabla_\theta \mathcal{J}_\textrm{GRPO}^\ast (\pi_\theta) \vert_{q, o_i} &= \frac{1}{G \cdot \vert o_i \vert} \sum_{t=1}^{\vert o_i \vert} \rho_{i,t} \theta \cdot \hat{A}_i \cdot \nabla_\theta \log (\pi_\theta (o_{i,t} \vert q, o_{i,<t})) \\ \nabla_\theta \mathcal{J}_\textrm{GMPO}^\ast (\pi_\theta) \vert_{q, o_i} &= \frac{1}{G \cdot \vert o_i \vert} \sum_{t=1}^{\vert o_i \vert} \left( \prod_{k=1}^{\vert o_i \vert} \rho_{i,k} (\theta) \right)^{\frac{1}{\vert o_i \vert}} \cdot \hat{A}_i \cdot \nabla_\theta \log (\pi_\theta (o_{i,t} \vert q, o_{i,<t})) \end{aligned}\]

\(\hat{A}_i \cdot \nabla_\theta \log (\pi_\theta (o_{i,t} \vert q, o_{i,<t}))\)는 생성된 토큰 $o_{i,t}$가 파라미터 $\theta$에 미치는 영향을 정량화하며, 이는 policy gradient에 해당한다. 두 objective의 gradient는 생성된 토큰의 policy gradient의 가중 합이지만, 가중치는 서로 다르다. GRPO의 경우, 토큰 $o_{i,t}$의 가중치에는 개별 중요도 샘플링 비율 \(\rho_{i,t} (\theta)\)가 포함된다. 극단적인 \(\rho_{i,t} (\theta)\) 값은 토큰 gradient를 너무 크거나 작게 만들어 공격적인 policy 업데이트를 초래할 수 있다. GMPO의 경우, 토큰 $o_{i,t}$의 가중치에는 동일한 시퀀스의 모든 중요도 샘플링 비율의 기하 평균이 포함되어 보다 균형 잡힌 업데이트 신호를 제공하고 outlier에 더 robust하다.

제안된 objective 외에도, GMPO에서 다음과 같은 핵심 설계의 효과를 입증하였다.

토큰 레벨에서의 clipping

GRPO와 달리 DeepSeek-R1은 sequence-level reward를 최대화하고 시퀀스 레벨에서 outlier를 clipping한다.

\[\begin{equation} \textrm{clip}(\prod_{t=1}^{\vert o_i \vert} \rho_{i,t} (\theta), \epsilon_\textrm{low}, \epsilon_\textrm{high}) \hat{A}_i \end{equation}\]

그러나 DeepSeek-R1에서처럼 시퀀스 레벨에서 clipping을 적용하는 대신, GMPO와 같이 토큰 레벨에서 clipping을 수행하는 것이 더 효과적이다. 그 이유는 다음과 같다.

  1. 토큰 레벨에서의 clipping은 시퀀스 레벨에서의 clipping보다 더 안정적이다. 시퀀스 레벨에서의 clipping은 토큰 레벨에서의 clipping보다 더 큰 중요도 샘플링 범위를 가지므로 최적화 중에 극단적인 기울기를 생성할 가능성이 더 높다.
  2. 시퀀스 레벨에서의 clipping은 토큰 레벨에서의 clipping에 비해 너무 공격적이다. 한 번 트리거되면 시퀀스의 모든 토큰의 gradient를 0으로 설정하여 rollout의 유용한 부분에서 나오는 귀중한 업데이트 신호를 잠재적으로 버린다.
Clipping 범위 확장

Clipping 연산은 탐색을 제한하고 조기에 deterministic policy를 유발하여 scaling을 저해할 수 있다. 안정성을 희생하지 않고 탐색을 장려하기 위해 DAPO는 clipping 범위 \((\epsilon_\textrm{low}, \epsilon_\textrm{high})\)를 $(0.8, 1.2)$에서 $(0.8, 1.28)$로 약간 확장하는 clip-higher 전략을 사용하였다. GRPO에 비해 GMPO는 중요도 샘플링 비율의 범위가 더 좁게 유지되어 더욱 업데이트가 안정적이다. 따라서 저자들은 clipping 범위를 $(e^{-0.4}, e^{0.4}) \approx (0.67, 1.49)$로 설정하여 학습 안정성과 탐색 사이의 균형을 맞추었다. 이 범위는 GRPO와 DAPO보다 훨씬 넓어 탐색을 촉진하고 성능을 향상시킨다.

Experiments

1. Performance

다음은 5가지 수학 추론 벤치마크에서 GRPO와 비교한 결과이다.


다음은 (왼쪽) 멀티모달 모델과 (오른쪽) Mixture-of-Experts 모델에 대하여 GRPO와 비교한 결과이다.


다음은 수학 추론 벤치마크에서 SOTA 방법들과 비교한 결과이다.

2. Ablation Studies

다음은 학습 objective에 따른 성능 비교 결과이다.


다음은 다양한 clipping threshold에 대한 성능 비교 결과이다.


다음은 entropy, KL divergence, gradient norm, validation score를 비교한 결과이다.

You may also enjoy