강화학습, 월드 모델, 단백질 구조 예측, 범용 AI 연구를 수행하는 Google 계열 연구 조직. 0 posts · 10 paper reviews (10 total)
인간 기보·롤아웃·수작업 특징을 전부 제거하고, 정책과 가치를 겸하는 ResNet 하나와 MCTS만 남긴다. 현재 네트워크로 돌린 MCTS의 착수 분포가 네트워크 자신의 정책보다 항상 강하다는 점을 이용해 "탐색 결과를 지도 신호로 네트워크를 학습 → 강해진 네트워크로 더 강한 탐색"의 self-play 루프를 닫았고, 백지에서 72시간 만에 이세돌을 이긴 버전을 100-0으로 넘어섰다.
인간 기보로 지도학습한 정책망(탐색 폭 축소)과 self-play 정책 그래디언트로 강화한 정책망이 만든 데이터로 학습한 가치망(탐색 깊이 절단), 그리고 빠른 롤아웃 정책을 비동기 MCTS 하나에 조립한 시스템. 유럽 챔피언 판 후이를 5-0으로 꺾어 "바둑은 10년 이르다"던 예측을 무너뜨렸고, 지도학습·강화학습·탐색이 한 파이프라인으로 통합될 수 있음을 보인 설계도.
Q-learning을 CNN 함수 근사와 결합할 때 발생하는 불안정(상관된 표본, 움직이는 표적)을 experience replay와 target network라는 두 부품으로 눌러, 하나의 네트워크·하나의 하이퍼파라미터 세트로 49개 Atari 게임을 픽셀 입력만으로 학습시킨 논문. 함수 근사 하의 Q-learning이 처음으로 대규모에서 안정적으로 작동함을 보여 deep RL 시대를 연 기점.
판별식 분류기로 학습되던 검증자를 "이 풀이가 맞는가? Yes/No"의 다음 토큰 예측으로 재정식화한다 — 그 순간 검증자가 LLM의 모든 능력을 상속한다. 지시 튜닝과의 결합, 검증 자체에 대한 chain-of-thought(GenRM-CoT), 여러 검증 추론에 대한 다수결로 추론 시점 컴퓨트를 검증에도 투입하는 것까지 — 판별식 RM·LLM-as-a-Judge·자기검증을 일관되게 넘어서며 생성형 보상 모델(GRM) 노선을 연 논문.
보상 함수를 설계하는 대신, 궤적 조각 쌍에 대한 인간의 선호 비교를 Bradley-Terry 모델로 학습해 보상 함수 자체를 추정하고, 그 학습된 보상으로 보통의 심층 강화학습을 돌리는 3자 루프(정책 학습–선호 수집–보상 학습)를 제안한다. 전체 스텝의 1% 미만에 대한 피드백만으로 Atari와 MuJoCo를 학습시키고, 보상 함수로는 쓸 수 없는 목표(백플립)를 900개 남짓의 비교만으로 가르쳐 RLHF의 원형이 된 논문.
DQN의 안정화 장치였던 experience replay를 병렬 비동기 actor들로 대체한다 — 서로 다른 환경 인스턴스를 도는 16개 스레드가 데이터의 상관을 자연히 깨므로, on-policy 방법도 심층망 위에서 안정적으로 학습된다. 그 대표인 A3C(n-step advantage actor-critic + 엔트로피 정규화)는 GPU 없이 CPU 4일 만에 Atari SOTA를 절반의 시간으로 경신했다.
CLIP의 softmax 대조 손실을 이미지-텍스트 쌍마다 독립인 sigmoid 이진 분류로 바꿔, 배치 전체에 대한 전역 정규화와 그로 인한 메모리·통신 비용을 제거한다. 작은 배치에서 softmax를 크게 앞서고, TPUv4 4개·이틀 만에 ImageNet 제로샷 84.5%(SigLiT)를 달성했으며, 배치 100만까지 키워도 32k에서 포화함을 보였다.
Dreamer의 연속 잠재를 범주형(categorical) 잠재로 바꾸고 KL 밸런싱을 도입해, 단일 월드 모델로 인간 수준 Atari 성능을 달성한 모델.
PlaNet의 RSSM 위에서 actor-critic을 잠재 상상(imagination) 롤아웃으로 학습해, 계획 비용 없이 높은 표본 효율을 달성한 모델.
픽셀로부터 잠재 동역학을 학습하고, 그 잠재 공간 위에서 모델 예측 제어(MPC)로 직접 계획을 세우는 RSSM 기반 모델.