Записей: 3 · Разборов статей: 0 (всего 3)
모델을 완전히 아는 세계에서 벨만 방정식을 푸는 동적 계획법을 강화학습의 관점에서 정리한다 — 벨만 기대 방정식을 반복 대입으로 푸는 policy evaluation, 평가와 greedy 개선을 번갈아 최적에 도달하는 policy iteration(개선 정리의 증명 스케치 포함), 평가를 한 스텝으로 줄인 value iteration, 수렴을 보장하는 축약 사상 논증, 그리고 full-width backup의 한계가 어떻게 표본 기반 강화학습의 문제 정의가 되는지까지.
강화학습 문제의 형식화를 바닥부터 쌓는다 — 에이전트-환경 루프의 여섯 부품(관측, 상태, 행동, 보상), 관측과 상태가 언제 갈라지는지(완전 관측 vs 부분 관측, POMDP), 그리고 마르코프 성질에서 출발해 Markov Process → Markov Reward Process → Markov Decision Process로 구조를 하나씩 얹어 벨만 기대/최적 방정식까지 도달하는 전체 경로.
강화학습의 두 뿌리를 소개한다 — 파블로프의 조건반사와 손다이크의 효과의 법칙에서 나온 "시행착오 학습"의 심리학, 그리고 벨만의 동적 계획법에서 나온 "최적 제어"의 수학. 두 흐름이 MDP와 벨만 방정식 위에서 만나 강화학습이 되는 과정과, TD 오차가 도파민 신호로 재발견되는 반전까지.