#PRM

ブログ 0件 · 論文レビュー 2件 (全2件)

PAPER

論文レビュー

PAPER 강화학습 · Reasoning RL

Let's Verify Step by Step: 결과가 아니라 과정에 보상을 — PRM

2026년 7월 3일

추론 풀이의 최종 답 정오만 감독하는 ORM과 각 추론 단계의 타당성을 감독하는 PRM을 MATH 벤치마크에서 정면 비교해, 과정 감독이 유의미하게 강력함을 보인다(best-of-1860 기준 PRM 78.2% vs ORM 72.4% vs 다수결 69.6%). 단계 라벨 80만 개의 PRM800K 공개, 라벨링 효율을 높이는 능동 학습, "정렬 관점에서도 과정 감독이 낫다"는 논증까지 — 추론에 대한 밀한 신용 할당의 기준점이 된 논문.

강화학습 자연어 처리 추론 모델 ICLR OpenAI PRM 신용 할당

PAPER 강화학습 · Reasoning RL

rStar-Math: 작은 모델 + MCTS — 알파고 제로의 루프가 수학 추론으로

2026년 7월 3일

1.5B~7B급 소형 모델이 MCTS 기반 깊은 사고(deep thinking)로 o1급 수학 추론에 도달함을 보인다 — 각 추론 단계에 파이썬 코드를 붙여 실행 검증하는 code-augmented CoT로 MCTS 롤아웃의 단계별 품질을 보증하고, MCTS의 Q값을 점수 라벨이 아니라 선호쌍으로 바꿔 과정 선호 모델(PPM)을 학습하며, 정책과 PPM을 4라운드에 걸쳐 상호 진화시킨다. Qwen2.5-Math-7B가 MATH 58.8→90.0%, AIME 53.3%로 o1-preview를 넘어선, 탐색 노선의 대표 실증.

강화학습 자연어 처리 추론 모델 Microsoft Research MCTS PRM