#DQN

ブログ 1件 · 論文レビュー 1件 (全2件)

POST

ブログ記事

POST 개념 정리

강화학습의 근간 (6): Model-free Control — ε-greedy에서 DQN까지

예측을 제어로 격상시키는 데 필요한 부품을 순서대로 조립한다 — 왜 V가 아니라 Q를 배워야 하는지, greedy가 왜 실패하고 ε-greedy가 무엇을 보장하는지(GLIE 조건과 GLIE-MC control), TD로 평가를 바꾼 on-policy SARSA와 SARSA(λ), 그리고 행동하는 정책과 배우는 정책을 분리하는 off-policy 학습 — importance sampling의 원리와 분산 문제, max로 그것을 우회하는 Q-learning, 함수 근사의 발산 문제를 replay buffer와 target network로 눌러 deep RL을 연 DQN까지.

続きを読む
PAPER

論文レビュー

PAPER 강화학습 · Value Methods

DQN: 픽셀에서 Q*까지 — deep RL을 성립시킨 두 개의 부품

Q-learning을 CNN 함수 근사와 결합할 때 발생하는 불안정(상관된 표본, 움직이는 표적)을 experience replay와 target network라는 두 부품으로 눌러, 하나의 네트워크·하나의 하이퍼파라미터 세트로 49개 Atari 게임을 픽셀 입력만으로 학습시킨 논문. 함수 근사 하의 Q-learning이 처음으로 대규모에서 안정적으로 작동함을 보여 deep RL 시대를 연 기점.

続きを読む