jepetolee's Insight
PAPER

TD 학습: 결과가 아니라 다음 예측으로 배우다

Learning to Predict by the Methods of Temporal Differences Richard S. Sutton · Machine Learning · 1988
강화학습머신 러닝TD 학습시간차 학습신용 할당

한 줄 요약

토요일의 날씨를 예측하는 두 가지 방법이 있다 — 매일의 예측을 토요일의 실제 결과와 비교해 고치거나(지도학습), 월요일의 예측을 화요일의 예측과 비교해 고치거나. 후자가 시간차(TD) 학습이다. Samuel의 체커, Barto·Sutton·Anderson의 ACE 등에서 부품으로 쓰이던 이 아이디어를 독립된 학습 이론으로 형식화하고 — TD(λ) 계열 정의, 수렴 증명, “왜 결과보다 다음 예측이 더 나은 교사인가”의 논증 — 강화학습의 수학적 중핵을 세운 논문이다.

핵심 기여

  • 문제의 분리: 예측 학습을 단일 스텝(예측 직후 정답 공개)과 다단계(정답은 나중에, 부분 정보는 매 스텝) 문제로 나눈다. 단일 스텝에서 TD와 지도학습은 동일하다 — TD의 이점은 순전히 다단계 구조, 즉 데이터가 동역학계에서 나온다는 사실에서 나온다. 그리고 현실의 예측 문제는 거의 전부 다단계라는 것이 논지다.

  • TD(λ): 지도학습(Widrow-Hoff)의 갱신 Δwt=α(z−Pt)∇wPt\Delta w_t = \alpha(z - P_t)\nabla_w P_t에서 오차를 예측 변화의 합으로 분해(z−Pt=∑k=tm(Pk+1−Pk)z - P_t = \sum_{k=t}^{m}(P_{k+1} - P_k))하면, 최종 결과 zz를 기다리지 않는 점증적 갱신이 나온다.

Δwt=α(Pt+1−Pt)∑k=1tλt−k ∇wPk\Delta w_t = \alpha \left( P_{t+1} - P_t \right) \sum_{k=1}^{t} \lambda^{t-k}\, \nabla_w P_k

과거 예측들에 대한 신용 배분을 지수 가중 λ\lambda로 조절하며, 합 부분은 적격 흔적 et+1=∇wPt+1+λete_{t+1} = \nabla_w P_{t+1} + \lambda e_t로 점증 계산된다. 정리 1: TD(1)은 Widrow-Hoff와 시퀀스당 가중치 변화가 정확히 같다 — 즉 지도학습은 TD(λ)의 한 끝점(λ=1\lambda=1)일 뿐이고, 반대 끝 TD(0)은 가장 최근 예측만 갱신하는 Δwt=α(Pt+1−Pt)∇wPt\Delta w_t = \alpha(P_{t+1} - P_t)\nabla_w P_t다.

  • 왜 결과보다 다음 예측인가: 게임 예시가 논증의 핵심이다 — 90% 지는 “나쁜” 상태를 거쳐 우연히 이긴 새 상태를 평가할 때, 지도학습은 새 상태를 승리와 연관짓지만 TD는 “나쁜 상태로 갔다”는 사실과 연관짓는다. 다음 상태의 평가는 이후의 무작위성에 오염되지 않은, 더 나은 성능 기준이다 — 분산을 줄이는 대신 (다음 예측이 틀렸을 수 있으므로) 편향을 감수하는, bootstrapping의 트레이드오프가 여기서 처음 명시된다.

  • 수렴 증명과 실험: 흡수 마르코프 과정 + 선형 함수 근사에서 TD(0)가 최적(기대값과 일치하는) 예측으로 수렴함을 증명 — TD가 지도학습과 다른 것으로 수렴하는 게 아니라, 같은 목표에 더 효율적으로 간다는 보증이다. 5상태 무작위 걸음 실험에서: 데이터를 반복 제시하면 중간 λ\lambda(≈0.3)가 최적이고 Widrow-Hoff(λ=1\lambda=1)가 최악, 각 시퀀스를 한 번씩만 제시하면 TD(0)이 최선 — 제한된 경험에서 TD가 더 많은 것을 짜낸다.

계보에서의 위치

ACE의 내부 강화 신호로 이미 작동하던 원리를 “예측 일반의 이론”으로 독립시킨, 강화학습이라는 분야의 수학적 창립 문서다. 이후의 전개가 전부 이 위에 선다: 상태 가치가 아니라 행동 가치를 TD로 배우면 Q-learning, TD 오차로 정책 그래디언트를 안내하면 현대 actor-critic(A3C), λ의 신용 배분을 advantage에 적용하면 GAE(PPO의 부품)다. 그리고 서론 글에서 다룬 반전 — TD 오차가 도파민 뉴런의 발화 패턴과 일치한다는 1997년의 발견 — 으로 이 논문은 계산신경과학의 기초 문헌이기도 하다.