2 posts · 1 paper reviews (3 total)
모델을 완전히 아는 세계에서 벨만 방정식을 푸는 동적 계획법을 강화학습의 관점에서 정리한다 — 벨만 기대 방정식을 반복 대입으로 푸는 policy evaluation, 평가와 greedy 개선을 번갈아 최적에 도달하는 policy iteration(개선 정리의 증명 스케치 포함), 평가를 한 스텝으로 줄인 value iteration, 수렴을 보장하는 축약 사상 논증, 그리고 full-width backup의 한계가 어떻게 표본 기반 강화학습의 문제 정의가 되는지까지.
강화학습의 두 뿌리를 소개한다 — 파블로프의 조건반사와 손다이크의 효과의 법칙에서 나온 "시행착오 학습"의 심리학, 그리고 벨만의 동적 계획법에서 나온 "최적 제어"의 수학. 두 흐름이 MDP와 벨만 방정식 위에서 만나 강화학습이 되는 과정과, TD 오차가 도파민 신호로 재발견되는 반전까지.
상태-행동 가치 Q(s,a)를 경험된 전이 하나와 다음 상태의 max Q로 갱신하는 Q-learning이, 모든 상태-행동을 무한히 방문하고 학습률이 Robbins-Monro 조건을 만족하면 확률 1로 최적 Q*에 수렴함을 증명한다. 행동을 어떻게 골랐든 최적 정책의 가치를 배우는 off-policy 학습의 기초 정리.