#계획

0 Beiträge · 2 Paper-Reviews (insgesamt 2)

PAPER

Paper-Reviews

PAPER 강화학습 · Planning & Search

UCT: 트리의 모든 노드를 밴딧으로 — MCTS의 이론적 탄생

2026년 7월 3일

롤아웃 기반 몬테카를로 계획에서 "다음 시뮬레이션을 어느 가지에 쓸 것인가"를 트리의 각 내부 노드를 독립적인 UCB1 밴딧으로 취급해 푸는 UCT를 제안한다. 자식 노드의 추정값이 수렴하면서 보상 분포가 서서히 변하는 비정상성까지 다루는 drift 조건 하에서 실패 확률이 다항 속도로 0에 수렴함을 증명 — 이후 컴퓨터 바둑과 알파고로 이어지는 MCTS 전체의 이론적 뿌리.

강화학습 MCTS UCT 밴딧 계획

PAPER 강화학습 · Value Methods

Dyna: 경험으로 배우고, 상상으로 계획하다

2026년 7월 2일

실제 경험으로는 가치·정책과 함께 세계 모델을 배우고, 그 모델이 생성한 가상 경험에도 같은 갱신 규칙을 적용해 반응(학습)과 계획을 하나의 알고리즘으로 통합하는 Dyna 아키텍처를 제안한다. 미로 실험에서 스텝당 가상 갱신 100회가 학습을 극적으로 가속하고, 탐험 보너스를 더한 Dyna-Q+는 변하는 환경(차단·지름길)에도 적응한다.

강화학습 ICML Dyna-Q model-based RL 계획