1 posts · 3 paper reviews (4 total)
고전 강화학습의 부품들이 LLM에서 어떻게 재조립되는지를 하나의 지도로 잇는다 — 보상을 인간 선호에서 배우는 RLHF(Christiano→InstructGPT)와 그것이 사실상 1-스텝 밴딧 문제라는 관찰, RL을 수식 변형으로 제거한 DPO와 미명세를 고친 APO, 추론을 행동 공간으로 만든 chain-of-thought, 보상·가치의 세 형태인 ORM/PRM/GRM, 그리고 o1-like 훈련의 두 노선 — 검증 가능한 보상 위의 순수 RL(GRPO→R1→DAPO)과 결정 시점 탐색(rStar-Math의 MCTS) — 까지. 각 단계마다 (1)~(9)의 어느 개념이 재등장하는지를 짚는다.
o1·R1급 추론 RL의 은폐된 훈련 세부를 재현 가능하게 공개한 시스템 논문 — GRPO를 그대로 쓰면 부딪히는 네 가지 실패(엔트로피 붕괴, 무효 그래디언트 집단, 긴 응답의 신용 희석, 잘린 응답의 보상 잡음)를 Clip-Higher, Dynamic Sampling, 토큰 수준 손실, Overlong Reward Shaping으로 하나씩 수술해, Qwen2.5-32B로 AIME 2024 50점을 절반의 스텝으로 달성하고 코드·데이터·알고리즘 전부를 공개했다.
Common Crawl에서 캐낸 120B 토큰의 수학 코퍼스로 7B 모델을 사전학습해 수학 특화 오픈 모델의 기준을 올리고, PPO의 가치망(critic)을 "같은 문제에 대한 G개 응답의 집단 내 상대 보상"으로 대체한 GRPO(Group Relative Policy Optimization)를 제안한다. critic 메모리를 통째로 없애면서 MATH 51.7%를 달성한 이 알고리즘이 이후 R1과 오픈소스 추론 RL 전체의 기본 최적화기가 된다.
베이스 모델에 SFT 없이 규칙 기반 정오·형식 보상만으로 GRPO를 돌린 R1-Zero에서, 긴 chain-of-thought와 자기 검증·반성이 학습 과정에서 저절로 자라나는 것(aha moment)을 보인다 — AIME pass@1 15.6%에서 71.0%까지. 가독성 문제를 고치기 위해 콜드스타트 SFT와 다단계 파이프라인을 얹은 R1은 o1급 성능에 도달했고, 그 추론을 소형 모델로 증류한 체크포인트까지 공개해 o1-like 훈련의 공개 레시피가 된 논문.