PAPER 강화학습 · Policy Optimization
A3C: replay buffer 대신 병렬 — advantage actor-critic의 부활
DQN의 안정화 장치였던 experience replay를 병렬 비동기 actor들로 대체한다 — 서로 다른 환경 인스턴스를 도는 16개 스레드가 데이터의 상관을 자연히 깨므로, on-policy 방법도 심층망 위에서 안정적으로 학습된다. 그 대표인 A3C(n-step advantage actor-critic + 엔트로피 정규화)는 GPU 없이 CPU 4일 만에 Atari SOTA를 절반의 시간으로 경신했다.