DPO류 대조 정렬의 두 가지 미명세를 진단한다 — 선호 쌍이 무엇이 다른지(데이터), 학습 중 우도가 어느 방향으로 움직여야 하는지(목적 함수)가 지정되지 않는다는 것. 데이터 쪽은 모델 출력을 최소한으로 고쳐 만든 대조 쌍(CLAIR)으로, 목적 함수 쪽은 승자/패자 우도의 절대 방향까지 명시하는 앵커드 목적 함수 가족(APO-zero/APO-down)으로 답하며, "내 모델보다 데이터가 나은가"에 따라 목적 함수를 골라야 함을 보인 논문.
KL 제약 보상 최대화 문제의 최적 정책이 닫힌 형태로 풀린다는 사실을 역이용해, 보상을 정책의 로그 확률비로 재매개변수화하고 Bradley-Terry 선호 우도에 대입한다 — 그 결과 보상 모델 학습도, 샘플링도, PPO도 없이 선호 데이터에 대한 단일 분류 손실만으로 RLHF와 같은 최적해를 겨냥하는 Direct Preference Optimization. RLHF의 3단계 파이프라인을 지도학습 한 단계로 접은, 정렬 실무를 바꾼 논문.