PAPER 강화학습 · Bandits & Exploration
UCB1: 유한 시간에, 균일하게, 로그 regret — 탐험 이론의 표준 도구
Lai-Robbins가 점근적으로만 보였던 로그 regret 최적성을, 표본 평균에 Hoeffding 신뢰 상한을 더해 최대인 팔을 당기는 한 줄짜리 정책 UCB1로 모든 시점에서 균일하게 성립하는 유한 시간 부등식으로 바꾼 논문. 분포에 대한 사전 지식도 하이퍼파라미터 스케줄도 없이 작동하는 이 단순성이, 이후 UCT·MCTS·알파고의 선택 규칙과 낙관주의 기반 탐험 전반의 표준 부품이 됐다.