Training Verifiers (GSM8K): 생성이 못 미더우면 검증자를 세워라

한 줄 요약

수학 문장제에서 언어 모델의 실패는 치명적 특성이 있다 — 자기 확신에 찬 틀린 풀이를 유창하게 생성하고, 한 단계의 실수가 전체를 무너뜨린다. 이 논문의 전환: 생성기를 더 키우거나 더 파인튜닝하는 대신, “이 풀이가 맞는가”를 판별하는 검증자를 따로 학습하라. 테스트 시 풀이를 100개 샘플링해 검증자 점수 최고를 고르는 것만으로, 검증자 없는 파인튜닝 대비 모델을 30배 키운 것과 맞먹는 성능 향상을 얻는다. “생성은 어렵지만 검증은 쉽다”는 비대칭을 LLM 추론에 처음 체계적으로 동원한 결과다.

핵심 기여

GSM8K: 초등 수준 수학 문장제 8.5K개 — 개념적으로 쉽지만 다단계 산술 추론을 요구하고, 당시 최대 모델도 낮은 정확도에 머물러 “규모만으로는 안 되는” 영역임을 보여주는 벤치마크. 이후 수년간 추론 연구의 표준 시험대가 된다(같은 목적의 상위 난도 벤치마크가 MATH).
검증자 학습 루프: (1) 생성기를 풀이 데이터로 파인튜닝하고, (2) 학습 문제마다 생성기에서 풀이를 여러 개(100개) 샘플링해 최종 답의 정오로 자동 라벨링한 뒤, (3) 그 (풀이, 정오) 쌍으로 검증자를 학습한다 — 사람 주석 없이 정답 키만으로 라벨이 생기는 것이 수학의 이점이다. 테스트 시에는 후보 100개 중 검증자 점수 최고를 제출한다. 이 “풀이 전체를 보고 최종 정오를 예측하는 보상 모델”이 이후 ORM(Outcome Reward Model) 이라 불리게 되는 것의 원형이다 — 세부 설계로 풀이의 모든 토큰 위치에서 정오를 예측하게 하는 것(일종의 가치 함수 학습)이 마지막 토큰만 쓰는 것보다 나았다는 관찰도 남긴다.
스케일링의 발견: 핵심 그래프 — 데이터가 충분할 때 검증(작은 생성기 + 검증자 + 샘플 100개)이 파인튜닝(30배 큰 생성기)을 따라잡는다. 학습 컴퓨트가 아니라 추론 시점의 컴퓨트와 선택으로 성능을 사는 교환이 성립함을 보인 첫 정량화이고, “test-time compute scaling”이라는 이후 패러다임의 씨앗이다.
한계 — 결과만 보는 눈의 맹점: 검증자는 최종 답의 정오만 배우므로, 틀린 추론으로 맞은 답에 도달한 풀이를 높게 평가한다(잘못된 신용 할당). 답만 맞으면 과정의 오류가 강화되는 이 문제가 곧 과정 감독(process supervision)의 동기가 된다.

계보에서의 위치

강화학습의 눈으로 보면 이 논문은 LLM 추론에 보상 모델과 (한 스텝) 정책 개선을 처음 들여온 것이다 — best-of-N 선택은 “생성기라는 정책 위에 검증자라는 가치 추정을 얹은 greedy 개선”((3)의 GPI의 가장 앙상한 형태)으로 읽힌다. 남긴 맹점(결과 감독의 신용 할당 실패)을 단계별 감독으로 고친 것이 Let’s Verify Step by Step의 PRM이고, 판별기 대신 생성으로 검증하는 GenRM, 그리고 검증 가능한 정오 신호를 best-of-N 선택이 아니라 RL의 보상으로 직접 쓰는 GRPO·R1 노선까지 — 전부 이 논문이 연 “정답 키가 곧 보상”이라는 설정 위에 있다.