강화학습의 근간 (1): 파블로프의 개와 벨만의 방정식

두 개의 뿌리

강화학습 교과서(Sutton & Barto)의 역사 장은 이 분야가 서로 몰랐던 두 전통의 합류임을 강조한다. 하나는 동물이 어떻게 배우는가를 묻던 심리학이고, 다른 하나는 무엇이 최적 행동인가를 계산하던 수학이다. 이 순서로 짚는 것이 강화학습을 이해하는 가장 빠른 길이다.

뿌리 1 — 파블로프의 개: 예측으로서의 학습

파블로프의 실험은 유명하다: 종소리(조건 자극) 뒤에 먹이(무조건 자극)를 반복해서 주면, 개는 종소리만으로 침을 흘린다. 이 고전적 조건화의 요체를 현대 언어로 옮기면 — 동물은 자극 사이의 예측 관계를 학습한다. 종소리는 “먹이가 온다”는 예측 신호가 된 것이다.

레스콜라-바그너 모델(1972)이 이를 수식으로 만들었다: 학습은 자극이 있을 때마다가 아니라 예측이 틀렸을 때만 일어난다.

$\Delta V = \alpha \left( \lambda - \sum V \right)$

$\lambda$는 실제 온 것(보상), $\sum V$는 예측한 것 — 괄호 안이 예측 오차다. 완벽히 예측된 보상은 더 이상 학습을 일으키지 않는다(차폐 효과, blocking이 그 증거다). “예측 오차가 학습 신호”라는 이 원리를 기억해두자 — 곧 다시 만난다.

한편 손다이크의 고양이 퍼즐 상자(1911)는 다른 종류의 학습을 보여줬다: 우연히 성공한 행동은 강해지고 실패한 행동은 약해진다는 효과의 법칙(Law of Effect) — 자극-보상의 예측이 아니라 행동-결과의 선택, 즉 시행착오다(스키너의 조작적 조건화로 이어진다). 파블로프가 가치 함수 학습(prediction)의 원형이라면, 손다이크는 정책 개선(control)의 원형이다 — 강화학습의 두 하위 문제가 심리학에서 이미 갈라져 있었던 셈.

뿌리 2 — 벨만의 동적 계획법: 재귀로서의 최적성

1950년대의 벨만은 전혀 다른 질문을 풀고 있었다: 다단계 의사결정 문제의 최적해를 어떻게 계산하는가. 답은 최적성의 원리 — 최적 경로의 부분 경로도 최적이다 — 를 재귀로 쓰는 것이다. 문제를 MDP(상태 $s$, 행동 $a$, 전이 $P(s'|s,a)$, 보상 $r$, 할인율 $\gamma$)로 형식화하면, 상태의 가치는

$V^\pi(s) = \mathbb{E}_\pi \left[ r_{t+1} + \gamma V^\pi(s_{t+1}) \mid s_t = s \right]$

— 지금의 가치는 즉시 보상 더하기 다음 상태 가치의 할인이라는 벨만 방정식이 된다. 최적 가치는 $V^*(s) = \max_a \mathbb{E}[r + \gamma V^*(s')]$.

모델($P$와 $r$)을 알면 이 재귀는 그대로 알고리즘이 된다 — 동적 계획법이다: 정책 평가(고정된 $\pi$의 $V^\pi$를 반복 대입으로 수렴)와 정책 개선(각 상태에서 greedy 행동 선택)을 번갈아 하는 policy iteration, 둘을 한 스텝에 합친 value iteration. 평가와 개선이 서로를 밀어 올리며 최적으로 수렴하는 이 구도를 일반화한 것이 GPI(Generalized Policy Iteration) — 이후 거의 모든 강화학습 알고리즘의 뼈대다.

DP의 한계도 명확했다: (1) 모델을 알아야 하고, (2) 모든 상태를 훑어야 한다(벨만 자신이 “차원의 저주”라 이름 붙인 문제). 이 두 한계가 곧 강화학습의 문제 정의가 된다.

합류 — 그리고 반전

강화학습은 정확히 이 지점에서 태어난다: 모델 없이, 경험(샘플)만으로, DP가 계산하던 것을 근사하라. 벨만 방정식의 기댓값을 실제 겪은 전이 하나로 대체하면 — “예측(현재 가치)과 한 스텝 뒤에 알게 된 것(보상 + 다음 가치)의 차이로 학습한다” — TD 학습이 되고, 이것은 레스콜라-바그너의 예측 오차 학습과 같은 모양이다. 심리학의 원리와 수학의 재귀가 하나의 수식에서 만난 것이다.

반전은 1997년에 온다: 원숭이 도파민 뉴런의 발화 패턴(Schultz의 실험 — 예측 못 한 보상에 발화, 예측된 보상엔 무반응, 예측된 보상이 안 오면 발화 억제)이 TD 오차와 정확히 일치한다는 것이 확인됐다. 공학이 심리학에서 빌려온 원리가, 돌고 돌아 뇌의 실제 구현으로 재발견된 — 기계학습 전체에서 가장 아름다운 순환 중 하나다.

이 시리즈의 지도

이 글은 역사만 다뤘다 — 여기서 등장한 개념들을 시리즈가 바닥부터 다시 쌓는다. (2)에서 에이전트-환경 루프(상태·관측·행동·보상, 완전/부분 관측과 POMDP)와 마르코프 성질에서 MP → MRP → MDP로 이어지는 형식화를, (3)에서 모델을 아는 세계의 계획법인 동적 계획법(policy evaluation, policy iteration, value iteration)을, (4)에서 모델 없는 예측의 두 축인 몬테카를로와 TD, 그리고 둘을 잇는 TD(λ)를, (5)에서 탐험의 이론(Multi-Armed Bandit, regret, UCB)을, (6)에서 model-free 제어(ε-greedy, GLIE-MC, SARSA, importance sampling, Q-learning, DQN)를, (7)에서 정책을 직접 최적화하는 갈래(REINFORCE → natural gradient → TRPO → PPO)를, (8)에서 모델을 배워 계획하는 노선(Dyna-Q, MCTS, 알파고)을 다룬다.

원전 리뷰들도 이 계보를 따라간다: 예측 문제를 형식화한 TD 학습(1988), 행동 가치로 제어까지 푸는 Q-learning(1992), 그것에 계획을 얹은 Dyna-Q(1990) — 그리고 정책을 직접 미는 REINFORCE(1992), 둘을 합친 Actor-Critic(1983)과 그 현대적 후손들(A3C, PPO, SAC). 가치와 정책의 양분 구도 전체는 시리즈를 닫는 지도에서 한 장으로 접는다.