PAPER 강화학습 · Planning & Search
UCT: 트리의 모든 노드를 밴딧으로 — MCTS의 이론적 탄생
롤아웃 기반 몬테카를로 계획에서 "다음 시뮬레이션을 어느 가지에 쓸 것인가"를 트리의 각 내부 노드를 독립적인 UCB1 밴딧으로 취급해 푸는 UCT를 제안한다. 자식 노드의 추정값이 수렴하면서 보상 분포가 서서히 변하는 비정상성까지 다루는 drift 조건 하에서 실패 확률이 다항 속도로 0에 수렴함을 증명 — 이후 컴퓨터 바둑과 알파고로 이어지는 MCTS 전체의 이론적 뿌리.