#Dyna-Q

Записей: 1 · Разборов статей: 1 (всего 2)

POST

Записи блога

POST 개념 정리

강화학습의 근간 (8): 모델과 계획 — Dyna-Q, MCTS, 그리고 알파고

model-free와 model-based의 경계를 정확히 긋는 데서 시작해, 경험으로 모델을 배우고 그 모델로 계획하는 노선을 따라간다 — Q-learning에 모의 경험 갱신을 얹은 Dyna-Q(월드 모델이 아니라 Q-learning의 발전형이라는 정확한 위치 포함), 배경 계획과 결정 시점 계획의 구분, UCT로 선택적 탐색 트리를 키우는 MCTS, 그리고 정책망·가치망·MCTS가 한 시스템으로 조립된 알파고와 그 증류판 알파고 제로까지.

Читать далее
PAPER

Разборы статей

PAPER 강화학습 · Value Methods

Dyna: 경험으로 배우고, 상상으로 계획하다

실제 경험으로는 가치·정책과 함께 세계 모델을 배우고, 그 모델이 생성한 가상 경험에도 같은 갱신 규칙을 적용해 반응(학습)과 계획을 하나의 알고리즘으로 통합하는 Dyna 아키텍처를 제안한다. 미로 실험에서 스텝당 가상 갱신 100회가 학습을 극적으로 가속하고, 탐험 보너스를 더한 Dyna-Q+는 변하는 환경(차단·지름길)에도 적응한다.

Читать далее