Retaining by Doing

LM post-training에서 target task를 배우는 두 방법, supervised fine-tuning(SFT)과 reinforcement learning(RL)의 catastrophic forgetting 패턴을 체계적으로 비교한다. 결론은 세 층으로 쌓인다.

Post-training으로 새 task를 가르치면 기존 능력이 깎이는 catastrophic forgetting은 오래된 문제다. LM에서는 instruction tuning(SFT)에서도, preference alignment(RL)에서도 보고됐지만, 두 방법이 forgetting 측면에서 어떻게 다른지는 체계적으로 비교된 적이 없었다.

직관은 오히려 반대를 예측한다. SFT는 cross-entropy 최소화이므로 최적 정책에 대한 forward KL 최소화이고, RL은 KL-regularized reward 최대화이므로 reverse KL 최소화다.

여기서 $\pi^*(y\mid x)=\frac{1}{Z(x)}\pi_{\theta_0}(y\mid x)\exp(r(x,y)/\beta)$는 KL-regularized RL의 최적 정책이다. 통념대로라면 mode-seeking인 reverse KL이 한 mode에서 다른 mode로 mass를 빠르게 옮겨 더 많이 잊어야 하고, mode-covering인 forward KL이 모든 mode를 유지해야 한다. 그런데 실험은 정반대를 보여준다. 이 불일치를 해소하는 것이 논문의 중심 질문이다.

초기 정책 $\pi_{\theta_0}$를 target task $\mathcal{T}$로 $T$ step 학습해 $\pi_{\theta_T}$를 얻는다. 정확도 $\mathcal{A}(\pi,\mathcal{T})$로 두 지표를 정의한다.

$\Delta_g$가 target task gain, $\Delta_d$가 non-target tasks drop이다. 목표는 높은 gain과 낮은 drop이다.

Self-SFT는 사람 레이블이 없을 때 post-training 첫 단계로 흔히 쓰이는 방식이라 baseline으로 넣었다.

두 SFT 변형 모두 성능과 forgetting 사이의 tradeoff를 벗어나지 못하는 반면, RL은 눈에 띄는 drop 없이 target 성능을 올린다.

왜 mode-seeking인 RL이 덜 잊는지 이해하기 위해 정책을 univariate Gaussian mixture로 단순화한다. 최적 정책은 old mode(기존 지식)와 new mode(target)의 혼합이다.

Gain과 drop은 학습 정책과 각 mode의 overlap area로 정의한다.

$\Delta_g:=S_{\mathrm{new}}(\theta_T)-S_{\mathrm{new}}(\theta_0)$, $\Delta_d:=S_{\mathrm{old}}(\theta_0)-S_{\mathrm{old}}(\theta_T)$이다. 학습 정책 $\pi_\theta$를 단일 Gaussian $\theta=(\mu,\sigma)$로 두고 old mode를 덮도록 초기화한 뒤, forward KL(데이터는 $p_{\mathrm{new}}$에서 sampling)과 reverse KL(데이터는 $\pi_\theta$에서 sampling)을 sample-based gradient로 최소화한다.

이 결과는 통념과 일치한다. mode-covering인 forward KL은 분포를 늘려 new mode를 덮으면서 old mode에 더 많은 mass를 남기고, mode-seeking인 reverse KL은 통째로 옮겨 간다. 즉 정책이 단일 mode라면 SFT가 덜 잊는다. 실제 LM 실험과 어긋나는 이 결과가 다음 섹션의 출발점이다.

실제 LM은 여러 능력을 동시에 갖고 있으므로 학습 정책도 bi-modal로 두는 것이 더 가깝다.

$q_{\mathrm{old}}$가 $p_{\mathrm{old}}$를 대략 덮도록 초기화하고, 앞과 같은 방식으로 두 objective를 비교한다.

GRPO와 SFT는 세 가지가 다르다. (i) RL은 현재 정책이 만든 on-policy data로 학습한다. (ii) RL objective에는 초기 정책에 대한 KL regularization이 있다. (iii) RL은 응답별 gradient에 advantage estimate를 곱한다. (ii)와 (iii)이 필요 없음을 보여 (i)이 원인임을 확정한다.

Advantage estimator가 없는 고전적 policy gradient인 REINFORCE를 GRPO와 비교했다.

매 step on-policy data를 만드는 것은 계산 비용이 크다. 그래서 forgetting을 막는 데 필요한 "on-policyness"의 최소 수준을 찾는다. Figure 2의 Self-SFT(초기 정책에서 1회 sampling)는 심하게 잊었고, GRPO(매 step sampling)는 거의 잊지 않았다. 그 사이에 Iterative-SFT를 둔다. epoch 시작마다 현재 정책으로 데이터를 다시 생성해 SFT를 반복하는 방식으로, STaR·RAFT 계열과 같다.

RL이 여전히 가장 효과적이지만, SFT를 더 on-policy로 만들거나 RL 데이터에 SFT를 적용하는 것만으로도 forgetting을 크게 줄일 수 있다. 데이터를 비동기로, 또는 epoch 시작에만 뽑아도 되므로 비용 면에서 실용적이다.

• Lai et al. (2025): RL이 덜 잊는 이유를 특정 advantage estimator의 implicit regularization으로 봤다. 이 논문은 REINFORCE 실험으로 반박한다.
• Shenfeld et al. (2025): on-policy data의 이점을 보완적 관점에서 다뤘다. 다만 초기 정책과의 KL divergence가 forgetting을 예측한다는 가설은 이 논문 설정에서 항상 성립하지 않는다(Appendix A.5). KL이 크다고 반드시 더 잊는 것은 아니다.
• Kotha et al. (2024): forgetting을 mixture of distributions에서 잘못된 mode를 고르는 현상으로 봤다. 이 논문의 Gaussian mixture 관점은 여기서 영감을 받았다.
• STaR, RAFT: 여러 round의 SFT를 approximately on-policy RL로 볼 수 있다. Iterative-SFT 결과는 이 계열이 forgetting 관점에서도 유리함을 보인다.

• 최대 8B 규모, 3개 target task. 모델과 데이터 규모를 더 키웠을 때의 패턴은 미확인.
• Mode-seeking 설명은 mixture-of-Gaussians 시뮬레이션에 기반한 직관이며, on-policy data의 역할에 대한 이론적 확립은 남아 있다.
• Countdown·MMLU 같은 verifiable reward task 중심이다. AlpacaEval(대화)에서도 같은 경향이 확인되지만(Appendix A.6) reward model 기반 RL은 다루지 않는다.