머신러닝, 신경망, 최적화, 강화학습을 아우르는 AI/ML 최상위 학회. 블로그 0편 · 논문 리뷰 12편 (총 12편)
프롬프트의 few-shot 예시에 정답만이 아니라 정답에 이르는 중간 추론 단계를 함께 써 주면, 충분히 큰 언어 모델이 새 문제에서도 단계적 추론을 흉내 내며 산술·상식·기호 추론 성능이 뛰어오른다는 것을 보인 논문. 이 효과가 모델 규모에 대해 창발적으로 나타난다는 관찰과 함께, 이후 추론 모델 전체가 딛고 서는 "생각을 토큰으로 펼친다"는 기본 형식을 만들었다.
KL 제약 보상 최대화 문제의 최적 정책이 닫힌 형태로 풀린다는 사실을 역이용해, 보상을 정책의 로그 확률비로 재매개변수화하고 Bradley-Terry 선호 우도에 대입한다 — 그 결과 보상 모델 학습도, 샘플링도, PPO도 없이 선호 데이터에 대한 단일 분류 손실만으로 RLHF와 같은 최적해를 겨냥하는 Direct Preference Optimization. RLHF의 3단계 파이프라인을 지도학습 한 단계로 접은, 정렬 실무를 바꾼 논문.
정책 그래디언트의 최급상승 방향을 유클리드 계량이 아니라 Fisher 정보 행렬이 정의하는 분포 공간의 계량으로 다시 정의한다. 자연 그래디언트가 compatible function approximation의 가중치와 정확히 일치한다는 정리, 그리고 그 방향이 "조금 나은 행동"이 아니라 "greedy 최적 행동" 쪽을 가리킨다는 분석으로, 이후 TRPO·PPO로 이어지는 신뢰 영역 계보의 이론적 출발점이 된 논문.
보상 함수를 설계하는 대신, 궤적 조각 쌍에 대한 인간의 선호 비교를 Bradley-Terry 모델로 학습해 보상 함수 자체를 추정하고, 그 학습된 보상으로 보통의 심층 강화학습을 돌리는 3자 루프(정책 학습–선호 수집–보상 학습)를 제안한다. 전체 스텝의 1% 미만에 대한 피드백만으로 Atari와 MuJoCo를 학습시키고, 보상 함수로는 쓸 수 없는 목표(백플립)를 900개 남짓의 비교만으로 가르쳐 RLHF의 원형이 된 논문.
5개 conv + 3개 FC, 60M 파라미터의 대형 CNN을 ReLU, dropout, 데이터 증강, 2-GPU 분산으로 ImageNet에서 학습해 ILSVRC-2012 top-5 오류 15.3%로 2위(26.2%)를 압도했다. 딥러닝 기반 컴퓨터 비전 시대를 연 논문.
175B 파라미터 자기회귀 언어 모델을 300B 토큰으로 학습하면, 그래디언트 업데이트 없이 프롬프트 안의 시연 몇 개만으로 새 태스크를 수행하는 few-shot 인컨텍스트 학습이 창발하며 그 효율이 모델 크기에 따라 부드럽게 상승함을 보인다.
SFT → 보상 모델 학습 → PPO라는 3단계 RLHF 파이프라인으로 GPT-3를 사용자 지시에 정렬한다. 인간 평가에서 1.3B InstructGPT의 출력이 100배 큰 175B GPT-3보다 선호되었고, 사전학습 그래디언트 혼합(PPO-ptx)으로 정렬세를 상쇄하는 방법까지 제시했다.
인코더 LSTM이 입력 문장을 고정 차원 벡터로 압축하고 디코더 LSTM이 그 벡터를 조건으로 출력 문장을 생성하는 end-to-end 번역 모델을 제시한다. 입력 문장을 뒤집는 트릭과 4층 deep LSTM으로 WMT14 En-Fr에서 순수 신경망 번역이 처음으로 구문 기반 SMT 베이스라인을 넘어섰다.
순환도 합성곱도 없이 어텐션만으로 구성한 인코더-디코더 아키텍처를 제안한다. Scaled dot-product attention과 multi-head attention으로 임의 위치 간 경로 길이를 O(1)로 줄이고 완전 병렬 학습을 가능하게 해, WMT14 En-De 28.4 BLEU를 훨씬 적은 학습 비용으로 달성했다.
raw waveform을 CNN으로 인코딩하고 잠재 표현의 span을 마스킹해, Transformer의 출력이 해당 위치의 양자화된 표현을 distractor들 사이에서 맞히는 대조 학습으로 사전학습한다. 라벨 없는 5.3만 시간 사전학습 후 라벨 10분 미세조정만으로 LibriSpeech WER 4.8/8.2를 달성했다.
데이터에 가우시안 노이즈를 점진적으로 더하는 forward process를 거꾸로 되돌리는 reverse process를 신경망으로 학습해 이미지를 생성한다. 노이즈 자체를 예측하는 ε-parameterization과 단순화된 손실 L_simple로 확산 모델을 실용적인 생성 모델링 방법으로 끌어올렸다.
에이전트가 환경의 압축된 내부 모델을 학습하고, 그 모델이 만든 가상 환경(꿈) 안에서 정책을 훈련한다는 월드 모델 계열의 출발점.