#보상 모델

Записей: 0 · Разборов статей: 2 (всего 2)

PAPER

Разборы статей

PAPER 강화학습 · Reasoning RL

Generative Verifiers: 보상 모델링을 다음 토큰 예측으로 — GRM

2026년 7월 3일

판별식 분류기로 학습되던 검증자를 "이 풀이가 맞는가? Yes/No"의 다음 토큰 예측으로 재정식화한다 — 그 순간 검증자가 LLM의 모든 능력을 상속한다. 지시 튜닝과의 결합, 검증 자체에 대한 chain-of-thought(GenRM-CoT), 여러 검증 추론에 대한 다수결로 추론 시점 컴퓨트를 검증에도 투입하는 것까지 — 판별식 RM·LLM-as-a-Judge·자기검증을 일관되게 넘어서며 생성형 보상 모델(GRM) 노선을 연 논문.

강화학습 자연어 처리 추론 모델 Google DeepMind GenRM 보상 모델

PAPER 강화학습 · RLHF & Alignment

Deep RL from Human Preferences: 보상 함수를 사람의 선호에서 배우다

2026년 7월 3일

보상 함수를 설계하는 대신, 궤적 조각 쌍에 대한 인간의 선호 비교를 Bradley-Terry 모델로 학습해 보상 함수 자체를 추정하고, 그 학습된 보상으로 보통의 심층 강화학습을 돌리는 3자 루프(정책 학습–선호 수집–보상 학습)를 제안한다. 전체 스텝의 1% 미만에 대한 피드백만으로 Atari와 MuJoCo를 학습시키고, 보상 함수로는 쓸 수 없는 목표(백플립)를 900개 남짓의 비교만으로 가르쳐 RLHF의 원형이 된 논문.

강화학습 NeurIPS OpenAI Google DeepMind RLHF 보상 모델