PAPER 강화학습 · Policy Optimization
TRPO: 단조 개선이 보장되는 보폭만큼만 정책을 움직여라
옛 정책의 데이터로 새 정책을 평가하는 surrogate objective가 진짜 목적 함수를 KL 발산 페널티만큼의 오차 안에서 하한한다는 부등식을 증명하고, 이를 "평균 KL ≤ δ 제약 하의 surrogate 최대화"라는 실용 알고리즘으로 완화한다. 켤레 그래디언트와 라인 서치로 신경망 정책에서도 natural gradient 방향을 계산해, 보행 제어와 Atari에서 단조에 가까운 안정적 학습을 보인 신뢰 영역 계보의 완성판.