PAPER 자연어 처리 · 언어 모델
InstructGPT: RLHF로 언어 모델을 사용자 의도에 정렬하다
SFT → 보상 모델 학습 → PPO라는 3단계 RLHF 파이프라인으로 GPT-3를 사용자 지시에 정렬한다. 인간 평가에서 1.3B InstructGPT의 출력이 100배 큰 175B GPT-3보다 선호되었고, 사전학습 그래디언트 혼합(PPO-ptx)으로 정렬세를 상쇄하는 방법까지 제시했다.
#InstructGPT
0 posts · 1 paper reviews (1 total)
PAPER