2 Beiträge · 2 Paper-Reviews (insgesamt 4)
예측을 제어로 격상시키는 데 필요한 부품을 순서대로 조립한다 — 왜 V가 아니라 Q를 배워야 하는지, greedy가 왜 실패하고 ε-greedy가 무엇을 보장하는지(GLIE 조건과 GLIE-MC control), TD로 평가를 바꾼 on-policy SARSA와 SARSA(λ), 그리고 행동하는 정책과 배우는 정책을 분리하는 off-policy 학습 — importance sampling의 원리와 분산 문제, max로 그것을 우회하는 Q-learning, 함수 근사의 발산 문제를 replay buffer와 target network로 눌러 deep RL을 연 DQN까지.
강화학습 알고리즘 전체를 가치 기반과 정책 기반의 양분 구도로 정리한다 — 각 갈래의 논리와 약점, ε-greedy와 탐험 문제, on-policy/off-policy 구분, 그리고 두 갈래가 actor-critic에서 합쳐져 A3C·PPO·SAC로 이어지는 계보도까지.
Q-learning을 CNN 함수 근사와 결합할 때 발생하는 불안정(상관된 표본, 움직이는 표적)을 experience replay와 target network라는 두 부품으로 눌러, 하나의 네트워크·하나의 하이퍼파라미터 세트로 49개 Atari 게임을 픽셀 입력만으로 학습시킨 논문. 함수 근사 하의 Q-learning이 처음으로 대규모에서 안정적으로 작동함을 보여 deep RL 시대를 연 기점.
상태-행동 가치 Q(s,a)를 경험된 전이 하나와 다음 상태의 max Q로 갱신하는 Q-learning이, 모든 상태-행동을 무한히 방문하고 학습률이 Robbins-Monro 조건을 만족하면 확률 1로 최적 Q*에 수렴함을 증명한다. 행동을 어떻게 골랐든 최적 정책의 가치를 배우는 off-policy 학습의 기초 정리.