머신러닝 이론, 방법론, 응용 연구를 다루는 대표 ML 학회. 블로그 0편 · 논문 리뷰 11편 (총 11편)
옛 정책의 데이터로 새 정책을 평가하는 surrogate objective가 진짜 목적 함수를 KL 발산 페널티만큼의 오차 안에서 하한한다는 부등식을 증명하고, 이를 "평균 KL ≤ δ 제약 하의 surrogate 최대화"라는 실용 알고리즘으로 완화한다. 켤레 그래디언트와 라인 서치로 신경망 정책에서도 natural gradient 방향을 계산해, 보행 제어와 Atari에서 단조에 가까운 안정적 학습을 보인 신뢰 영역 계보의 완성판.
DQN의 안정화 장치였던 experience replay를 병렬 비동기 actor들로 대체한다 — 서로 다른 환경 인스턴스를 도는 16개 스레드가 데이터의 상관을 자연히 깨므로, on-policy 방법도 심층망 위에서 안정적으로 학습된다. 그 대표인 A3C(n-step advantage actor-critic + 엔트로피 정규화)는 GPU 없이 CPU 4일 만에 Atari SOTA를 절반의 시간으로 경신했다.
웹에서 모은 4억 쌍의 (이미지, 텍스트)로 이미지 인코더와 텍스트 인코더를 대조 학습해, 배치 내 올바른 짝을 맞히는 사전학습만으로 임의의 분류 태스크를 프롬프트로 제로샷 수행한다. ImageNet 제로샷 76.2%로 지도학습 ResNet-50과 대등하며, 분포 이동 강건성에서 지도 모델을 압도한다.
프레임별 정렬 라벨 없이 시퀀스 수준 라벨만으로 RNN을 학습하는 CTC 손실을 제안한다. blank 토큰을 도입하고, 타깃으로 접히는 모든 경로의 확률 합을 forward-backward 동적 계획법으로 미분 가능하게 계산해, TIMIT 음소 인식에서 HMM과 하이브리드를 모두 넘어섰다.
스펙트로그램 → conv → 깊은 순환층 → CTC라는 단일 end-to-end 시스템을 만 시간 규모 데이터와 HPC 최적화(16-GPU 동기 SGD, GPU CTC, 커스텀 all-reduce)로 학습해, 영어와 중국어 모두에서 손수 설계된 파이프라인을 대체한다. 읽기 음성 벤치마크 4개 중 3개에서 인간 전사자를 넘어섰다.
강한 증강·정규화 레시피와 convnet 교사의 hard label을 어텐션으로 받는 증류 토큰으로, JFT-300M 없이 ImageNet-1k만으로 ViT를 학습한다. DeiT-B 증류 모델은 8-GPU 3일 학습으로 top-1 85.2%(384px)에 도달해 JFT 사전학습 ViT-B를 넘어섰다.
실제 경험으로는 가치·정책과 함께 세계 모델을 배우고, 그 모델이 생성한 가상 경험에도 같은 갱신 규칙을 적용해 반응(학습)과 계획을 하나의 알고리즘으로 통합하는 Dyna 아키텍처를 제안한다. 미로 실험에서 스텝당 가상 갱신 100회가 학습을 극적으로 가속하고, 탐험 보너스를 더한 Dyna-Q+는 변하는 환경(차단·지름길)에도 적응한다.
깊이, 너비, 해상도 중 하나만 키우면 정확도가 조기 포화됨을 보이고, 세 축을 α^φ, β^φ, γ^φ로 함께 키우는 compound scaling을 제안한다. NAS로 찾은 MBConv+SE 기반 B0에 이를 적용한 B7이 8.4배 적은 파라미터로 ImageNet 84.3%를 달성했다.
기대 보상에 정책 엔트로피를 더한 최대 엔트로피 목적을 off-policy actor-critic으로 최적화한다. soft policy iteration의 수렴 증명 위에, 이중 Q 네트워크와 reparameterization으로 실용 알고리즘을 만들어 — 표본 효율은 on-policy(PPO)를, 안정성은 DDPG를 압도하며 Humanoid급 고차원 연속 제어의 표준이 됐다.
메모리 뱅크나 특수 구조 없이 — 강한 증강 조합, ResNet 인코더, projection head, NT-Xent 손실, 큰 배치 — 만으로 대조 학습의 SOTA를 크게 끌어올린 프레임워크. linear evaluation에서 ResNet-50(4×) 76.5%로 지도학습 베이스라인과 대등해졌다.
픽셀로부터 잠재 동역학을 학습하고, 그 잠재 공간 위에서 모델 예측 제어(MPC)로 직접 계획을 세우는 RSSM 기반 모델.