추론 풀이의 최종 답 정오만 감독하는 ORM과 각 추론 단계의 타당성을 감독하는 PRM을 MATH 벤치마크에서 정면 비교해, 과정 감독이 유의미하게 강력함을 보인다(best-of-1860 기준 PRM 78.2% vs ORM 72.4% vs 다수결 69.6%). 단계 라벨 80만 개의 PRM800K 공개, 라벨링 효율을 높이는 능동 학습, "정렬 관점에서도 과정 감독이 낫다"는 논증까지 — 추론에 대한 밀한 신용 할당의 기준점이 된 논문.
시행착오로 행동을 탐색하는 ASE(actor)와, 실패 신호만 주어지는 환경에서 더 촘촘한 내부 평가 신호를 스스로 만들어 ASE를 안내하는 ACE(critic)의 2요소 시스템을 제안한다. 운동 방정식을 모른 채 실패 신호만으로 cart-pole을 세우는 데 성공한, actor-critic 구조의 원전.
최종 결과와의 오차로 배우는 지도학습 대신, 연속된 두 예측의 차이로 배우는 시간차(TD) 학습을 형식화한다. TD(λ) 계열을 정의하고, TD(1)이 Widrow-Hoff와 동치임을, 선형 TD(0)가 마르코프 과정에서 최적 예측으로 수렴함을 증명하며, 다단계 예측 문제에서 TD가 지도학습보다 메모리도 덜 쓰고 더 정확함을 보인다.