PAPER 강화학습 · Reasoning RL
Training Verifiers (GSM8K): 생성이 못 미더우면 검증자를 세워라 — ORM의 원점
초등 수학 문장제 벤치마크 GSM8K를 공개하고, 생성기를 키우는 대신 생성된 풀이의 정답 여부를 판별하는 검증자(verifier)를 따로 학습해 테스트 시 다수의 후보 풀이 중 최고 점수를 고르는 방법을 제안한다. 검증 기반 선택이 파인튜닝만 한 30배 큰 모델과 맞먹는 효과를 낸다는 것 — 결과 기반 보상 모델(ORM)과 test-time compute 스케일링의 원점이 된 논문.