PAPER 강화학습 · Policy Optimization
Natural Policy Gradient: 파라미터의 거리가 아니라 분포의 거리로
정책 그래디언트의 최급상승 방향을 유클리드 계량이 아니라 Fisher 정보 행렬이 정의하는 분포 공간의 계량으로 다시 정의한다. 자연 그래디언트가 compatible function approximation의 가중치와 정확히 일치한다는 정리, 그리고 그 방향이 "조금 나은 행동"이 아니라 "greedy 최적 행동" 쪽을 가리킨다는 분석으로, 이후 TRPO·PPO로 이어지는 신뢰 영역 계보의 이론적 출발점이 된 논문.