PAPER 강화학습 · RLHF & Alignment
APO: 정렬 목적 함수의 미명세를 앵커로 고정하다
DPO류 대조 정렬의 두 가지 미명세를 진단한다 — 선호 쌍이 무엇이 다른지(데이터), 학습 중 우도가 어느 방향으로 움직여야 하는지(목적 함수)가 지정되지 않는다는 것. 데이터 쪽은 모델 출력을 최소한으로 고쳐 만든 대조 쌍(CLAIR)으로, 목적 함수 쪽은 승자/패자 우도의 절대 방향까지 명시하는 앵커드 목적 함수 가족(APO-zero/APO-down)으로 답하며, "내 모델보다 데이터가 나은가"에 따라 목적 함수를 골라야 함을 보인 논문.