1 entradas · 3 reseñas (4 en total)
가치를 거치지 않고 정책을 직접 최적화하는 갈래를 수식의 계보로 따라간다 — policy gradient 정리와 REINFORCE, baseline과 advantage로 분산을 깎는 과정, "파라미터 공간의 거리 ≠ 정책 공간의 거리"라는 문제의식에서 나온 natural policy gradient와 Fisher 정보 행렬(KL의 2차 근사), 그것을 제약 최적화로 실용화한 TRPO, 그리고 2차 계산을 클리핑 하나로 대체해 표준이 된 PPO까지.
Common Crawl에서 캐낸 120B 토큰의 수학 코퍼스로 7B 모델을 사전학습해 수학 특화 오픈 모델의 기준을 올리고, PPO의 가치망(critic)을 "같은 문제에 대한 G개 응답의 집단 내 상대 보상"으로 대체한 GRPO(Group Relative Policy Optimization)를 제안한다. critic 메모리를 통째로 없애면서 MATH 51.7%를 달성한 이 알고리즘이 이후 R1과 오픈소스 추론 RL 전체의 기본 최적화기가 된다.
SFT → 보상 모델 학습 → PPO라는 3단계 RLHF 파이프라인으로 GPT-3를 사용자 지시에 정렬한다. 인간 평가에서 1.3B InstructGPT의 출력이 100배 큰 175B GPT-3보다 선호되었고, 사전학습 그래디언트 혼합(PPO-ptx)으로 정렬세를 상쇄하는 방법까지 제시했다.
TRPO의 신뢰 영역 아이디어를 클리핑된 목적 함수로 단순화해, 구현 난이도를 크게 낮추면서도 안정적인 정책 학습을 달성한 알고리즘.