왜 언어 모델에 강화학습인가
시리즈의 고전 파트((1)~(9))는 에이전트가 미로를 걷고 게임을 두는 세계였다. 그 부품들이 지금 가장 크게 작동하는 곳은 언어 모델이다 — 그런데 “LLM에 RL을 쓴다”는 말은 실제로는 두 개의 전혀 다른 문제를 가리킨다. 하나는 정렬: 좋은 응답의 보상 함수를 쓸 수 없으니 사람의 판단에서 배워야 한다는 문제. 다른 하나는 추론: 정답이 기계적으로 채점되는 영역(수학·코드)에서 “오래, 잘 생각하는” 정책을 만드는 문제. 앞의 것은 보상이 없어서 문제고, 뒤의 것은 보상은 완벽한데 행동이 어렵다는 문제다 — 이 구분을 잡고 시작하면 이 판의 논문들이 전부 제자리를 찾는다.
정렬 — 보상이 없는 곳에 보상을
RLHF의 뼈대는 LLM 이전에 완성됐다. Christiano et al. 2017이 보인 것: 궤적 쌍에 대한 인간의 비교를 Bradley-Terry 모델로 적합하면 보상 함수가 나오고, 그 위에서 보통의 RL이 돈다. InstructGPT(2022)는 이것을 LLM에 이식한 3단계 — SFT로 초기 정책, 응답 비교로 보상 모델, 그리고 KL 페널티가 붙은 PPO:
KL 항은 (7)에서 배운 보폭 제어의 재등장이되 역할이 하나 더 있다 — 학습된 보상은 분포 밖에서 엉터리이므로(reward hacking), 정책을 보상 모델이 신뢰할 수 있는 영역에 묶어두는 것이다.
여기서 구조를 한 번 보자. 프롬프트가 상태, 응답 전체가 행동, 보상은 끝에 한 번 — 전이도 다음 상태도 사실상 없다. 즉 RLHF는 (거대한 행동 공간의) 1-스텝 문제, (5)에서 본 밴딧의 구도에 가깝다. 이 관찰이 중요한 이유: 문제에 순차 구조가 없다면 RL 기계 전체가 과잉일 수 있다는 뜻이고 —
DPO(2023)가 정확히 그 지점을 찔렀다. 위 KL 제약 목적의 최적 정책은 닫힌 형태로 알려져 있으므로, 뒤집으면 보상이 정책의 로그 확률비로 표현되고, 그것을 Bradley-Terry 손실에 대입하면 보상 모델도 샘플링도 PPO도 없는 분류 손실 하나가 남는다. RL이 수식 변형으로 증발한 것이다. 물론 공짜는 아니다 — on-policy 데이터 수집 루프가 없으므로 정책이 스스로 보상의 빈틈을 탐사하며 개선되는 동학도 없다. 그리고 DPO 손실 자체의 미명세(승자·패자 우도의 절대 방향이 지정되지 않아 둘 다 추락할 수 있다)를 진단하고, 데이터(CLAIR — 모델 출력의 최소 수정으로 대조쌍 생성)와 목적 함수(앵커로 방향을 고정한 APO-zero/APO-down) 양쪽에서 고친 것이 APO(2024)다.
정렬 노선의 요약: 선호 → 보상 → RL(RLHF)에서 선호 → 정책(DPO/APO)으로의 단축이 성립한 것은 문제가 밴딧 구조였기 때문이다. 진짜 순차성이 등장하는 다음 절에서는 이 단축이 통하지 않는다.
추론 — 행동 공간을 먼저 만들어야 했다
수학·코드에는 정렬과 정반대의 조건이 있다: 보상이 완벽하다 — 정답 키와 컴파일러는 학습되지 않았고, 해킹당하지 않으며, 공짜다. 문제는 행동 쪽이었다. “질문 → 답”의 1-스텝 구조에서는 강화할 중간 과정이 없다.
그 행동 공간을 만든 것이 chain-of-thought(2022)다 — 추론을 토큰으로 펼치게 하자 문제가 순차적 결정 과정으로 바뀌었다: 각 추론 단계가 행동이고, 지금까지의 사고가 상태이고, 끝의 정오가 보상이다. 이 시리즈의 언어로, CoT는 LLM 추론을 MDP로 만든 사건이다. 그러자 고전 파트의 질문들이 그대로 이식된다 — 이 MDP에서 가치는 어떻게 추정하고(검증자), 신용은 어떻게 할당하고(ORM vs PRM), 탐색은 어떻게 하는가(MCTS).
검증자 3형 — ORM, PRM, GRM
- ORM(결과 보상 모델) — Cobbe et al. 2021: 풀이 전체를 보고 최종 정오를 예측. 정답 키만으로 라벨이 자동 생성되고, best-of-N 선택만으로 “모델 30배”에 해당하는 이득 — test-time compute 스케일링의 원점이다. 약점은 신용 할당: 틀린 논리로 맞은 답을 구별하지 못한다.
- PRM(과정 보상 모델) — Lightman et al. 2023: 단계마다 사람이 라벨링(PRM800K). best-of-1860에서 PRM 78.2% vs ORM 72.4% — 감독이 밀할수록 “그럴듯한 오답”을 잘 걸러낸다. (4)의 MC vs TD가 그대로다: 에피소드 끝의 신호 하나(ORM≈MC)냐, 스텝별 신호(PRM≈TD)냐 — 그리고 밀한 쪽이 비싸다는 것까지 같다.
- GRM(생성형 보상 모델) — Zhang et al. 2024: 검증을 스칼라 헤드가 아니라 “맞는가? Yes/No”의 다음 토큰 예측으로. 검증자가 LLM의 능력을 상속해 검증에도 CoT를 쓰고(GenRM-CoT), 검증에도 다수결로 컴퓨트를 태운다. 가치 함수의 표현 형식을 바꾼 축이다.
o1-like 훈련, 노선 1 — 검증 가능한 보상 위의 순수 RL
o1이 보여준 것 — 응답이 길어질수록(더 생각할수록) 정확해지는 모델 — 의 훈련법은 비공개였고, 공개 레시피는 DeepSeek 계보가 만들었다.
먼저 도구: GRPO(DeepSeekMath, 2024)는 PPO에서 정책만큼 큰 critic을 제거하고, advantage를 같은 문제에 대한 개 응답의 집단 표준화 성적 로 대체했다 — (7)의 baseline을 학습된 대신 형제 응답들의 표본 평균으로 구현한 것이다. 같은 상태(프롬프트)의 표본이 공짜로 여러 개 나오는 LLM 구조가 이 치환을 가능케 한다.
그 도구로 DeepSeek-R1(2025)이 실험을 밀었다 — R1-Zero: SFT 없이, 학습된 보상 모델도 PRM도 없이, 규칙 기반 정오·형식 보상만으로 베이스 모델에 GRPO. 그러자 긴 사고, 자기 검증, “잠깐, 다시 보자”류의 반성이 저절로 자라났다(AIME 15.6→71.0%). 이것이 이 판의 가장 중요한 실증이다: 보상이 해킹 불가능하면, 감독의 밀도 없이 순수 정책 최적화만으로 복잡한 추론 행동이 창발한다. R1은 여기에 콜드스타트 SFT와 다단계 파이프라인을 얹어 가독성을 고치고 o1급에 도달했으며, 그 추론을 SFT만으로 소형 모델에 증류했다 — 탐색은 비싸고 모방은 싸다는 알파고 제로의 교훈 그대로.
훈련의 공학은 DAPO(2025)가 공개적으로 수술했다 — 클리핑 상한 분리로 엔트로피 붕괴 방지(탐험!), 전원 정답/오답 집단의 무효 그래디언트 제거, 샘플 평균을 토큰 평균으로 바꾼 신용 할당 수정, 잘린 응답의 보상 잡음 정리. 네 처방이 각각 (5)·(6)의 탐험, (4)의 분산, 신용 할당, 보상 설계로 소급된다는 점이 — 이 시리즈를 통과한 독자에게는 — 가장 재미있는 대목일 것이다.
o1-like 훈련, 노선 2 — 결정 시점 탐색과 self-evolution
같은 목표의 반대 접근이 rStar-Math(2025)다: 7B급 작은 정책을 추론 시점의 MCTS로 증폭한다 — 단계마다 파이썬 실행으로 검증하는 code-augmented CoT로 탐색의 단계 품질을 보증하고, MCTS의 Q값을 선호쌍으로 바꿔 과정 선호 모델(PPM)을 학습하고, “탐색이 만든 더 나은 궤적으로 정책과 PPM을 재학습”하는 라운드를 4번 돈다. Qwen2.5-Math-7B가 MATH 58.8→90.0%로 o1-preview를 넘었다. 구도는 문자 그대로 (8)에서 본 알파고 제로 — MCTS가 정책 개선 연산자, 재학습이 정책 평가인 GPI다.
두 노선의 대비가 이 글의 결론 격이다:
| R1 노선 (훈련 시점 RL) | rStar 노선 (결정 시점 탐색) | |
|---|---|---|
| 컴퓨트를 쓰는 곳 | 훈련 (대규모 GRPO) | 추론 (문제당 수십 회 MCTS 롤아웃) |
| 보상/가치 | 규칙 기반 결과 보상만 | 과정 선호 모델(PPM) + 코드 실행 검증 |
| 고전 시리즈의 대응 | model-free control ((6)) | 계획과 탐색 ((8)) |
| 강점 | 단일 롤아웃 추론, 규모의 창발 | 작은 모델로 도달, 밀한 검증 |
model-free vs model-based(계획)의 축이 “훈련 컴퓨트 vs 추론 컴퓨트”라는 예산 문제로 번역되어 돌아온 것 — 고전의 축은 사라지지 않고 이름만 바꾼다.
접기 — 대응표
이 판에서 새 이론은 놀랄 만큼 적다. LLM 시대의 RL은 근간의 재조립이다:
- 보상 학습(Bradley-Terry) ← (1)의 “보상은 어디서 오는가”에 대한 공학적 답
- RLHF의 밴딧 구조와 DPO의 성립 ← (5) 탐험의 이론에서 본 1-스텝 문제의 단순함
- KL 페널티·클리핑·앵커 ← (7) 보폭 제어 (natural gradient → TRPO → PPO의 유산)
- ORM vs PRM ← (4) MC vs TD의 신용 할당 해상도
- GRPO의 집단 baseline ← (7)의 분산 축소
- R1-Zero의 창발과 DAPO의 엔트로피 관리 ← (6) 탐험
- rStar-Math와 o1-like 탐색 ← (8) MCTS와 알파고 제로
남은 열린 문제들도 고전의 언어로 적을 수 있다 — 검증 불가능한 영역(글쓰기, 조언)으로 RLVR을 어떻게 넓히는가(보상 학습의 hacking 문제로 회귀), 밀한 과정 감독은 필요한가 규모가 대신하는가(신용 할당), 에이전트처럼 도구를 쓰며 여러 스텝을 밟는 진짜 순차 문제로 가면 무엇이 부러지는가(드디어 밴딧이 아니게 된다). 다음 세대의 답들도, 아마 이 시리즈 어딘가의 재조립일 것이다.