POST 개념 정리
강화학습의 근간 (9): Value와 Policy — 두 갈래의 지도
강화학습 알고리즘 전체를 가치 기반과 정책 기반의 양분 구도로 정리한다 — 각 갈래의 논리와 약점, ε-greedy와 탐험 문제, on-policy/off-policy 구분, 그리고 두 갈래가 actor-critic에서 합쳐져 A3C·PPO·SAC로 이어지는 계보도까지.
#Actor-Critic
1 articles · 3 analyses (4 au total)
POST
Articles de blog
PAPER
Analyses d’articles
PAPER 강화학습 · Policy Optimization
A3C: replay buffer 대신 병렬 — advantage actor-critic의 부활
DQN의 안정화 장치였던 experience replay를 병렬 비동기 actor들로 대체한다 — 서로 다른 환경 인스턴스를 도는 16개 스레드가 데이터의 상관을 자연히 깨므로, on-policy 방법도 심층망 위에서 안정적으로 학습된다. 그 대표인 A3C(n-step advantage actor-critic + 엔트로피 정규화)는 GPU 없이 CPU 4일 만에 Atari SOTA를 절반의 시간으로 경신했다.
PAPER 강화학습 · Policy Optimization
Actor-Critic의 탄생: ASE와 ACE, 뉴런 둘로 cart-pole을 세우다
시행착오로 행동을 탐색하는 ASE(actor)와, 실패 신호만 주어지는 환경에서 더 촘촘한 내부 평가 신호를 스스로 만들어 ASE를 안내하는 ACE(critic)의 2요소 시스템을 제안한다. 운동 방정식을 모른 채 실패 신호만으로 cart-pole을 세우는 데 성공한, actor-critic 구조의 원전.
PAPER 강화학습 · Policy Optimization
SAC: 최대 엔트로피 + off-policy — 연속 제어의 기본값
기대 보상에 정책 엔트로피를 더한 최대 엔트로피 목적을 off-policy actor-critic으로 최적화한다. soft policy iteration의 수렴 증명 위에, 이중 Q 네트워크와 reparameterization으로 실용 알고리즘을 만들어 — 표본 효율은 on-policy(PPO)를, 안정성은 DDPG를 압도하며 Humanoid급 고차원 연속 제어의 표준이 됐다.