APO: 정렬 목적 함수의 미명세를 앵커로 고정하다

한 줄 요약

DPO의 손실은 승자와 패자의 암묵적 보상 차이만 벌린다 — $\pi(y_w)$ 가 오르는지, $\pi(y_l)$ 과 같이 둘 다 내려가는지는 명세되지 않는다(실제로 둘 다 내려가는 현상이 흔히 관측된다). 데이터 쪽도 마찬가지다 — 선호 쌍이 스타일부터 사실성까지 온갖 차원에서 뒤엉켜 다르면, 그 차이 중 무엇을 배우라는 것인지가 미명세다. 이 논문은 정렬의 성패가 이 두 미명세와 “모델-데이터의 상대적 품질”의 상호작용으로 결정됨을 보이고, 각각에 도구를 하나씩 준다: CLAIR(대조적 수정 데이터)와 APO(앵커드 목적 함수).

핵심 기여

진단 — 정렬은 3자 상호작용이다: 모델, 선호 쌍 데이터, 목적 함수의 조합에 따라 같은 방법이 향상도 퇴보도 만든다. 두 축으로 정리된다 — (i) 선호 쌍의 응답들이 대조적(차이가 국소적·의미 있는 것)일수록 학습 신호가 좋고, (ii) 목적 함수가 학습 중 모델 거동을 더 세밀하게 통제할수록 성능이 좋다.
CLAIR(Contrastive Learning from AI Revisions): 무관한 두 응답을 순위 매기는 대신, 모델 자신의 출력을 더 강한 모델이 최소한으로 수정(revise)해 승자를 만든다. 그러면 쌍의 차이가 정확히 “고쳐진 결함”뿐이라 학습 신호가 목표 차원에 집중되고, 패자가 정책 분포 안에 있으므로(자기 출력이므로) off-policy 간극도 줄어든다. 판정 기반(RLAIF류) 쌍보다 일관되게 나은 결과를 보인다.
APO — 우도의 절대 방향을 명시하는 목적 함수 가족: DPO가 차이만 다루는 자리에서, 승자·패자 각각의 우도가 어느 방향으로 움직여야 하는지를 손실에 박아 넣는다. 핵심 두 변형 —
- APO-zero: $\pi(y_w)$ 는 올리고 $\pi(y_l)$ 은 내린다. 승자가 현재 모델 출력보다 나은 데이터일 때(예: CLAIR 수정 쌍) 맞는 선택.
- APO-down: $\pi(y_w)$ 조차 내리되 $\pi(y_l)$ 은 더 내린다. 승자마저 모델보다 못한 데이터일 때 — 그런 승자의 우도를 올리는 것은 모델을 후퇴시키므로, 상대 순서만 가르치고 절대 우도는 눌러야 한다.
즉 “이 선호 데이터가 내 모델보다 나은가?”라는 질문이 목적 함수 선택을 결정한다는 것 — 데이터를 모델 품질과 무관하게 밀어 넣던 관행에 대한 교정이다.
실증: Llama-3-8B-Instruct 기준, CLAIR 쌍 + APO-zero 조합이 비교한 데이터·목적 함수 조합 중 최고 성능을 냈고(MixEval-Hard에서 GPT-4와의 격차를 유의미하게 좁힘), 목적 함수와 데이터 품질의 궁합이 어긋난 조합(예: 저품질 쌍 + 우도 상승 목적)은 퇴보까지 보였다 — 진단이 처방을 정당화하는 구성이다.

계보에서의 위치

DPO가 연 “RL 없는 선호 최적화” 노선의 2세대 — IPO(과적합 방지 정규화), KTO(쌍 없는 학습), SimPO(참조 모델 제거)가 손실의 다른 결함을 각각 다뤘다면, APO는 미명세라는 진단 틀 자체를 기여로 남겼다. 강화학습의 관점에서 읽으면 흥미로운 대목이 둘 있다 — CLAIR의 “자기 출력을 수정해 쌍을 만든다”는 off-policy 간극을 데이터 생성 단계에서 줄이는 장치이고, APO의 앵커는 (7)에서 본 보폭 제어(참조 정책 대비 KL)가 우도 공간의 방향 제약으로 번역된 것이다. RL×LLM 지형에서의 자리는 시리즈 확장편 참고.