o1·R1급 추론 RL의 은폐된 훈련 세부를 재현 가능하게 공개한 시스템 논문 — GRPO를 그대로 쓰면 부딪히는 네 가지 실패(엔트로피 붕괴, 무효 그래디언트 집단, 긴 응답의 신용 희석, 잘린 응답의 보상 잡음)를 Clip-Higher, Dynamic Sampling, 토큰 수준 손실, Overlong Reward Shaping으로 하나씩 수술해, Qwen2.5-32B로 AIME 2024 50점을 절반의 스텝으로 달성하고 코드·데이터·알고리즘 전부를 공개했다.
베이스 모델에 SFT 없이 규칙 기반 정오·형식 보상만으로 GRPO를 돌린 R1-Zero에서, 긴 chain-of-thought와 자기 검증·반성이 학습 과정에서 저절로 자라나는 것(aha moment)을 보인다 — AIME pass@1 15.6%에서 71.0%까지. 가독성 문제를 고치기 위해 콜드스타트 SFT와 다단계 파이프라인을 얹은 R1은 o1급 성능에 도달했고, 그 추론을 소형 모델로 증류한 체크포인트까지 공개해 o1-like 훈련의 공개 레시피가 된 논문.