논리 추론, 문제 풀이, 계획, chain-of-thought 계열 모델. 1 articles · 8 analyses (9 au total)
고전 강화학습의 부품들이 LLM에서 어떻게 재조립되는지를 하나의 지도로 잇는다 — 보상을 인간 선호에서 배우는 RLHF(Christiano→InstructGPT)와 그것이 사실상 1-스텝 밴딧 문제라는 관찰, RL을 수식 변형으로 제거한 DPO와 미명세를 고친 APO, 추론을 행동 공간으로 만든 chain-of-thought, 보상·가치의 세 형태인 ORM/PRM/GRM, 그리고 o1-like 훈련의 두 노선 — 검증 가능한 보상 위의 순수 RL(GRPO→R1→DAPO)과 결정 시점 탐색(rStar-Math의 MCTS) — 까지. 각 단계마다 (1)~(9)의 어느 개념이 재등장하는지를 짚는다.
프롬프트의 few-shot 예시에 정답만이 아니라 정답에 이르는 중간 추론 단계를 함께 써 주면, 충분히 큰 언어 모델이 새 문제에서도 단계적 추론을 흉내 내며 산술·상식·기호 추론 성능이 뛰어오른다는 것을 보인 논문. 이 효과가 모델 규모에 대해 창발적으로 나타난다는 관찰과 함께, 이후 추론 모델 전체가 딛고 서는 "생각을 토큰으로 펼친다"는 기본 형식을 만들었다.
o1·R1급 추론 RL의 은폐된 훈련 세부를 재현 가능하게 공개한 시스템 논문 — GRPO를 그대로 쓰면 부딪히는 네 가지 실패(엔트로피 붕괴, 무효 그래디언트 집단, 긴 응답의 신용 희석, 잘린 응답의 보상 잡음)를 Clip-Higher, Dynamic Sampling, 토큰 수준 손실, Overlong Reward Shaping으로 하나씩 수술해, Qwen2.5-32B로 AIME 2024 50점을 절반의 스텝으로 달성하고 코드·데이터·알고리즘 전부를 공개했다.
Common Crawl에서 캐낸 120B 토큰의 수학 코퍼스로 7B 모델을 사전학습해 수학 특화 오픈 모델의 기준을 올리고, PPO의 가치망(critic)을 "같은 문제에 대한 G개 응답의 집단 내 상대 보상"으로 대체한 GRPO(Group Relative Policy Optimization)를 제안한다. critic 메모리를 통째로 없애면서 MATH 51.7%를 달성한 이 알고리즘이 이후 R1과 오픈소스 추론 RL 전체의 기본 최적화기가 된다.
베이스 모델에 SFT 없이 규칙 기반 정오·형식 보상만으로 GRPO를 돌린 R1-Zero에서, 긴 chain-of-thought와 자기 검증·반성이 학습 과정에서 저절로 자라나는 것(aha moment)을 보인다 — AIME pass@1 15.6%에서 71.0%까지. 가독성 문제를 고치기 위해 콜드스타트 SFT와 다단계 파이프라인을 얹은 R1은 o1급 성능에 도달했고, 그 추론을 소형 모델로 증류한 체크포인트까지 공개해 o1-like 훈련의 공개 레시피가 된 논문.
판별식 분류기로 학습되던 검증자를 "이 풀이가 맞는가? Yes/No"의 다음 토큰 예측으로 재정식화한다 — 그 순간 검증자가 LLM의 모든 능력을 상속한다. 지시 튜닝과의 결합, 검증 자체에 대한 chain-of-thought(GenRM-CoT), 여러 검증 추론에 대한 다수결로 추론 시점 컴퓨트를 검증에도 투입하는 것까지 — 판별식 RM·LLM-as-a-Judge·자기검증을 일관되게 넘어서며 생성형 보상 모델(GRM) 노선을 연 논문.
추론 풀이의 최종 답 정오만 감독하는 ORM과 각 추론 단계의 타당성을 감독하는 PRM을 MATH 벤치마크에서 정면 비교해, 과정 감독이 유의미하게 강력함을 보인다(best-of-1860 기준 PRM 78.2% vs ORM 72.4% vs 다수결 69.6%). 단계 라벨 80만 개의 PRM800K 공개, 라벨링 효율을 높이는 능동 학습, "정렬 관점에서도 과정 감독이 낫다"는 논증까지 — 추론에 대한 밀한 신용 할당의 기준점이 된 논문.
1.5B~7B급 소형 모델이 MCTS 기반 깊은 사고(deep thinking)로 o1급 수학 추론에 도달함을 보인다 — 각 추론 단계에 파이썬 코드를 붙여 실행 검증하는 code-augmented CoT로 MCTS 롤아웃의 단계별 품질을 보증하고, MCTS의 Q값을 점수 라벨이 아니라 선호쌍으로 바꿔 과정 선호 모델(PPM)을 학습하며, 정책과 PPM을 4라운드에 걸쳐 상호 진화시킨다. Qwen2.5-Math-7B가 MATH 58.8→90.0%, AIME 53.3%로 o1-preview를 넘어선, 탐색 노선의 대표 실증.
초등 수학 문장제 벤치마크 GSM8K를 공개하고, 생성기를 키우는 대신 생성된 풀이의 정답 여부를 판별하는 검증자(verifier)를 따로 학습해 테스트 시 다수의 후보 풀이 중 최고 점수를 고르는 방법을 제안한다. 검증 기반 선택이 파인튜닝만 한 30배 큰 모델과 맞먹는 효과를 낸다는 것 — 결과 기반 보상 모델(ORM)과 test-time compute 스케일링의 원점이 된 논문.