보상, 정책, 가치 함수, 환경 상호작용과 제어. 13 posts · 30 paper reviews (43 total)
탐험-활용 딜레마를 상태도 전이도 없는 가장 순수한 형태로 격리한 Multi-Armed Bandit 문제를 형식화하고, 알고리즘의 성적표인 regret을 정의한다 — regret의 gap 분해, greedy와 고정 ε-greedy가 선형 regret을 벗어나지 못하는 이유, 로그가 넘을 수 없는 바닥임을 밝힌 Lai-Robbins 하한, 그리고 "불확실하면 낙관하라"는 원리를 Hoeffding 부등식으로 구현해 그 바닥에 도달하는 UCB1까지. 이 이론이 ε-greedy의 좌표와 UCT·알파고의 탐색 규칙이 서 있는 지반이다.
모델을 완전히 아는 세계에서 벨만 방정식을 푸는 동적 계획법을 강화학습의 관점에서 정리한다 — 벨만 기대 방정식을 반복 대입으로 푸는 policy evaluation, 평가와 greedy 개선을 번갈아 최적에 도달하는 policy iteration(개선 정리의 증명 스케치 포함), 평가를 한 스텝으로 줄인 value iteration, 수렴을 보장하는 축약 사상 논증, 그리고 full-width backup의 한계가 어떻게 표본 기반 강화학습의 문제 정의가 되는지까지.
고전 강화학습의 부품들이 LLM에서 어떻게 재조립되는지를 하나의 지도로 잇는다 — 보상을 인간 선호에서 배우는 RLHF(Christiano→InstructGPT)와 그것이 사실상 1-스텝 밴딧 문제라는 관찰, RL을 수식 변형으로 제거한 DPO와 미명세를 고친 APO, 추론을 행동 공간으로 만든 chain-of-thought, 보상·가치의 세 형태인 ORM/PRM/GRM, 그리고 o1-like 훈련의 두 노선 — 검증 가능한 보상 위의 순수 RL(GRPO→R1→DAPO)과 결정 시점 탐색(rStar-Math의 MCTS) — 까지. 각 단계마다 (1)~(9)의 어느 개념이 재등장하는지를 짚는다.
모델 없이 경험만으로 가치를 추정하는 두 가지 길 — 에피소드 전체 수익으로 갱신하는 몬테카를로와 한 스텝 추정으로 갱신하는 TD — 를 편향-분산 관점에서 대비하고, n-step return과 λ-return(forward view)으로 둘 사이의 스펙트럼을 잇는다. TD(0)에서 시작해 backup이 종단 노드까지 확장되면 정확히 MC가 되는 수식(λ=1의 극한), 그리고 같은 것을 온라인으로 계산하는 eligibility trace(backward view)와 두 관점의 동치까지.
강화학습 문제의 형식화를 바닥부터 쌓는다 — 에이전트-환경 루프의 여섯 부품(관측, 상태, 행동, 보상), 관측과 상태가 언제 갈라지는지(완전 관측 vs 부분 관측, POMDP), 그리고 마르코프 성질에서 출발해 Markov Process → Markov Reward Process → Markov Decision Process로 구조를 하나씩 얹어 벨만 기대/최적 방정식까지 도달하는 전체 경로.
예측을 제어로 격상시키는 데 필요한 부품을 순서대로 조립한다 — 왜 V가 아니라 Q를 배워야 하는지, greedy가 왜 실패하고 ε-greedy가 무엇을 보장하는지(GLIE 조건과 GLIE-MC control), TD로 평가를 바꾼 on-policy SARSA와 SARSA(λ), 그리고 행동하는 정책과 배우는 정책을 분리하는 off-policy 학습 — importance sampling의 원리와 분산 문제, max로 그것을 우회하는 Q-learning, 함수 근사의 발산 문제를 replay buffer와 target network로 눌러 deep RL을 연 DQN까지.
model-free와 model-based의 경계를 정확히 긋는 데서 시작해, 경험으로 모델을 배우고 그 모델로 계획하는 노선을 따라간다 — Q-learning에 모의 경험 갱신을 얹은 Dyna-Q(월드 모델이 아니라 Q-learning의 발전형이라는 정확한 위치 포함), 배경 계획과 결정 시점 계획의 구분, UCT로 선택적 탐색 트리를 키우는 MCTS, 그리고 정책망·가치망·MCTS가 한 시스템으로 조립된 알파고와 그 증류판 알파고 제로까지.
가치를 거치지 않고 정책을 직접 최적화하는 갈래를 수식의 계보로 따라간다 — policy gradient 정리와 REINFORCE, baseline과 advantage로 분산을 깎는 과정, "파라미터 공간의 거리 ≠ 정책 공간의 거리"라는 문제의식에서 나온 natural policy gradient와 Fisher 정보 행렬(KL의 2차 근사), 그것을 제약 최적화로 실용화한 TRPO, 그리고 2차 계산을 클리핑 하나로 대체해 표준이 된 PPO까지.
강화학습 알고리즘 전체를 가치 기반과 정책 기반의 양분 구도로 정리한다 — 각 갈래의 논리와 약점, ε-greedy와 탐험 문제, on-policy/off-policy 구분, 그리고 두 갈래가 actor-critic에서 합쳐져 A3C·PPO·SAC로 이어지는 계보도까지.
강화학습의 두 뿌리를 소개한다 — 파블로프의 조건반사와 손다이크의 효과의 법칙에서 나온 "시행착오 학습"의 심리학, 그리고 벨만의 동적 계획법에서 나온 "최적 제어"의 수학. 두 흐름이 MDP와 벨만 방정식 위에서 만나 강화학습이 되는 과정과, TD 오차가 도파민 신호로 재발견되는 반전까지.
RSSM 기반 Dreamer 모델을 코인 트레이딩 강화학습에 적용하고, TDD로 핵심 모듈을 검증한 STAG 프로젝트의 진행 기록.
클린 코드 적용, 강화학습 보상 환경 재설계, Dreamer 모델 도입, TDD 기반 테스트 코드 작성 등 STAG 프로젝트 2개월간의 진행 상황.
인공신경망 기반 강화학습 자동투자기 STAG의 첫 개발 기록. 이전 프로젝트의 실패 원인을 코드와 알고리즘 관점에서 분석한다.
인간 기보·롤아웃·수작업 특징을 전부 제거하고, 정책과 가치를 겸하는 ResNet 하나와 MCTS만 남긴다. 현재 네트워크로 돌린 MCTS의 착수 분포가 네트워크 자신의 정책보다 항상 강하다는 점을 이용해 "탐색 결과를 지도 신호로 네트워크를 학습 → 강해진 네트워크로 더 강한 탐색"의 self-play 루프를 닫았고, 백지에서 72시간 만에 이세돌을 이긴 버전을 100-0으로 넘어섰다.
인간 기보로 지도학습한 정책망(탐색 폭 축소)과 self-play 정책 그래디언트로 강화한 정책망이 만든 데이터로 학습한 가치망(탐색 깊이 절단), 그리고 빠른 롤아웃 정책을 비동기 MCTS 하나에 조립한 시스템. 유럽 챔피언 판 후이를 5-0으로 꺾어 "바둑은 10년 이르다"던 예측을 무너뜨렸고, 지도학습·강화학습·탐색이 한 파이프라인으로 통합될 수 있음을 보인 설계도.
DPO류 대조 정렬의 두 가지 미명세를 진단한다 — 선호 쌍이 무엇이 다른지(데이터), 학습 중 우도가 어느 방향으로 움직여야 하는지(목적 함수)가 지정되지 않는다는 것. 데이터 쪽은 모델 출력을 최소한으로 고쳐 만든 대조 쌍(CLAIR)으로, 목적 함수 쪽은 승자/패자 우도의 절대 방향까지 명시하는 앵커드 목적 함수 가족(APO-zero/APO-down)으로 답하며, "내 모델보다 데이터가 나은가"에 따라 목적 함수를 골라야 함을 보인 논문.
o1·R1급 추론 RL의 은폐된 훈련 세부를 재현 가능하게 공개한 시스템 논문 — GRPO를 그대로 쓰면 부딪히는 네 가지 실패(엔트로피 붕괴, 무효 그래디언트 집단, 긴 응답의 신용 희석, 잘린 응답의 보상 잡음)를 Clip-Higher, Dynamic Sampling, 토큰 수준 손실, Overlong Reward Shaping으로 하나씩 수술해, Qwen2.5-32B로 AIME 2024 50점을 절반의 스텝으로 달성하고 코드·데이터·알고리즘 전부를 공개했다.
Common Crawl에서 캐낸 120B 토큰의 수학 코퍼스로 7B 모델을 사전학습해 수학 특화 오픈 모델의 기준을 올리고, PPO의 가치망(critic)을 "같은 문제에 대한 G개 응답의 집단 내 상대 보상"으로 대체한 GRPO(Group Relative Policy Optimization)를 제안한다. critic 메모리를 통째로 없애면서 MATH 51.7%를 달성한 이 알고리즘이 이후 R1과 오픈소스 추론 RL 전체의 기본 최적화기가 된다.
베이스 모델에 SFT 없이 규칙 기반 정오·형식 보상만으로 GRPO를 돌린 R1-Zero에서, 긴 chain-of-thought와 자기 검증·반성이 학습 과정에서 저절로 자라나는 것(aha moment)을 보인다 — AIME pass@1 15.6%에서 71.0%까지. 가독성 문제를 고치기 위해 콜드스타트 SFT와 다단계 파이프라인을 얹은 R1은 o1급 성능에 도달했고, 그 추론을 소형 모델로 증류한 체크포인트까지 공개해 o1-like 훈련의 공개 레시피가 된 논문.
KL 제약 보상 최대화 문제의 최적 정책이 닫힌 형태로 풀린다는 사실을 역이용해, 보상을 정책의 로그 확률비로 재매개변수화하고 Bradley-Terry 선호 우도에 대입한다 — 그 결과 보상 모델 학습도, 샘플링도, PPO도 없이 선호 데이터에 대한 단일 분류 손실만으로 RLHF와 같은 최적해를 겨냥하는 Direct Preference Optimization. RLHF의 3단계 파이프라인을 지도학습 한 단계로 접은, 정렬 실무를 바꾼 논문.
Q-learning을 CNN 함수 근사와 결합할 때 발생하는 불안정(상관된 표본, 움직이는 표적)을 experience replay와 target network라는 두 부품으로 눌러, 하나의 네트워크·하나의 하이퍼파라미터 세트로 49개 Atari 게임을 픽셀 입력만으로 학습시킨 논문. 함수 근사 하의 Q-learning이 처음으로 대규모에서 안정적으로 작동함을 보여 deep RL 시대를 연 기점.
판별식 분류기로 학습되던 검증자를 "이 풀이가 맞는가? Yes/No"의 다음 토큰 예측으로 재정식화한다 — 그 순간 검증자가 LLM의 모든 능력을 상속한다. 지시 튜닝과의 결합, 검증 자체에 대한 chain-of-thought(GenRM-CoT), 여러 검증 추론에 대한 다수결로 추론 시점 컴퓨트를 검증에도 투입하는 것까지 — 판별식 RM·LLM-as-a-Judge·자기검증을 일관되게 넘어서며 생성형 보상 모델(GRM) 노선을 연 논문.
추론 풀이의 최종 답 정오만 감독하는 ORM과 각 추론 단계의 타당성을 감독하는 PRM을 MATH 벤치마크에서 정면 비교해, 과정 감독이 유의미하게 강력함을 보인다(best-of-1860 기준 PRM 78.2% vs ORM 72.4% vs 다수결 69.6%). 단계 라벨 80만 개의 PRM800K 공개, 라벨링 효율을 높이는 능동 학습, "정렬 관점에서도 과정 감독이 낫다"는 논증까지 — 추론에 대한 밀한 신용 할당의 기준점이 된 논문.
정책 그래디언트의 최급상승 방향을 유클리드 계량이 아니라 Fisher 정보 행렬이 정의하는 분포 공간의 계량으로 다시 정의한다. 자연 그래디언트가 compatible function approximation의 가중치와 정확히 일치한다는 정리, 그리고 그 방향이 "조금 나은 행동"이 아니라 "greedy 최적 행동" 쪽을 가리킨다는 분석으로, 이후 TRPO·PPO로 이어지는 신뢰 영역 계보의 이론적 출발점이 된 논문.
보상 함수를 설계하는 대신, 궤적 조각 쌍에 대한 인간의 선호 비교를 Bradley-Terry 모델로 학습해 보상 함수 자체를 추정하고, 그 학습된 보상으로 보통의 심층 강화학습을 돌리는 3자 루프(정책 학습–선호 수집–보상 학습)를 제안한다. 전체 스텝의 1% 미만에 대한 피드백만으로 Atari와 MuJoCo를 학습시키고, 보상 함수로는 쓸 수 없는 목표(백플립)를 900개 남짓의 비교만으로 가르쳐 RLHF의 원형이 된 논문.
1.5B~7B급 소형 모델이 MCTS 기반 깊은 사고(deep thinking)로 o1급 수학 추론에 도달함을 보인다 — 각 추론 단계에 파이썬 코드를 붙여 실행 검증하는 code-augmented CoT로 MCTS 롤아웃의 단계별 품질을 보증하고, MCTS의 Q값을 점수 라벨이 아니라 선호쌍으로 바꿔 과정 선호 모델(PPM)을 학습하며, 정책과 PPM을 4라운드에 걸쳐 상호 진화시킨다. Qwen2.5-Math-7B가 MATH 58.8→90.0%, AIME 53.3%로 o1-preview를 넘어선, 탐색 노선의 대표 실증.
초등 수학 문장제 벤치마크 GSM8K를 공개하고, 생성기를 키우는 대신 생성된 풀이의 정답 여부를 판별하는 검증자(verifier)를 따로 학습해 테스트 시 다수의 후보 풀이 중 최고 점수를 고르는 방법을 제안한다. 검증 기반 선택이 파인튜닝만 한 30배 큰 모델과 맞먹는 효과를 낸다는 것 — 결과 기반 보상 모델(ORM)과 test-time compute 스케일링의 원점이 된 논문.
옛 정책의 데이터로 새 정책을 평가하는 surrogate objective가 진짜 목적 함수를 KL 발산 페널티만큼의 오차 안에서 하한한다는 부등식을 증명하고, 이를 "평균 KL ≤ δ 제약 하의 surrogate 최대화"라는 실용 알고리즘으로 완화한다. 켤레 그래디언트와 라인 서치로 신경망 정책에서도 natural gradient 방향을 계산해, 보행 제어와 Atari에서 단조에 가까운 안정적 학습을 보인 신뢰 영역 계보의 완성판.
Lai-Robbins가 점근적으로만 보였던 로그 regret 최적성을, 표본 평균에 Hoeffding 신뢰 상한을 더해 최대인 팔을 당기는 한 줄짜리 정책 UCB1로 모든 시점에서 균일하게 성립하는 유한 시간 부등식으로 바꾼 논문. 분포에 대한 사전 지식도 하이퍼파라미터 스케줄도 없이 작동하는 이 단순성이, 이후 UCT·MCTS·알파고의 선택 규칙과 낙관주의 기반 탐험 전반의 표준 부품이 됐다.
롤아웃 기반 몬테카를로 계획에서 "다음 시뮬레이션을 어느 가지에 쓸 것인가"를 트리의 각 내부 노드를 독립적인 UCB1 밴딧으로 취급해 푸는 UCT를 제안한다. 자식 노드의 추정값이 수렴하면서 보상 분포가 서서히 변하는 비정상성까지 다루는 drift 조건 하에서 실패 확률이 다항 속도로 0에 수렴함을 증명 — 이후 컴퓨터 바둑과 알파고로 이어지는 MCTS 전체의 이론적 뿌리.
DQN의 안정화 장치였던 experience replay를 병렬 비동기 actor들로 대체한다 — 서로 다른 환경 인스턴스를 도는 16개 스레드가 데이터의 상관을 자연히 깨므로, on-policy 방법도 심층망 위에서 안정적으로 학습된다. 그 대표인 A3C(n-step advantage actor-critic + 엔트로피 정규화)는 GPU 없이 CPU 4일 만에 Atari SOTA를 절반의 시간으로 경신했다.
시행착오로 행동을 탐색하는 ASE(actor)와, 실패 신호만 주어지는 환경에서 더 촘촘한 내부 평가 신호를 스스로 만들어 ASE를 안내하는 ACE(critic)의 2요소 시스템을 제안한다. 운동 방정식을 모른 채 실패 신호만으로 cart-pole을 세우는 데 성공한, actor-critic 구조의 원전.
실제 경험으로는 가치·정책과 함께 세계 모델을 배우고, 그 모델이 생성한 가상 경험에도 같은 갱신 규칙을 적용해 반응(학습)과 계획을 하나의 알고리즘으로 통합하는 Dyna 아키텍처를 제안한다. 미로 실험에서 스텝당 가상 갱신 100회가 학습을 극적으로 가속하고, 탐험 보너스를 더한 Dyna-Q+는 변하는 환경(차단·지름길)에도 적응한다.
SFT → 보상 모델 학습 → PPO라는 3단계 RLHF 파이프라인으로 GPT-3를 사용자 지시에 정렬한다. 인간 평가에서 1.3B InstructGPT의 출력이 100배 큰 175B GPT-3보다 선호되었고, 사전학습 그래디언트 혼합(PPO-ptx)으로 정렬세를 상쇄하는 방법까지 제시했다.
상태-행동 가치 Q(s,a)를 경험된 전이 하나와 다음 상태의 max Q로 갱신하는 Q-learning이, 모든 상태-행동을 무한히 방문하고 학습률이 Robbins-Monro 조건을 만족하면 확률 1로 최적 Q*에 수렴함을 증명한다. 행동을 어떻게 골랐든 최적 정책의 가치를 배우는 off-policy 학습의 기초 정리.
확률적 유닛을 가진 신경망에서 Δw = α(r − b)·∂ln g/∂w 형태의 갱신이 기대 보상의 그래디언트를 편향 없이 따라감을 증명한다. baseline의 무편향성, 에피소드 확장, 가우시안 유닛(연속 행동)까지 — 정책 그래디언트와 그 분산 축소 장치들의 수학적 원전.
기대 보상에 정책 엔트로피를 더한 최대 엔트로피 목적을 off-policy actor-critic으로 최적화한다. soft policy iteration의 수렴 증명 위에, 이중 Q 네트워크와 reparameterization으로 실용 알고리즘을 만들어 — 표본 효율은 on-policy(PPO)를, 안정성은 DDPG를 압도하며 Humanoid급 고차원 연속 제어의 표준이 됐다.
최종 결과와의 오차로 배우는 지도학습 대신, 연속된 두 예측의 차이로 배우는 시간차(TD) 학습을 형식화한다. TD(λ) 계열을 정의하고, TD(1)이 Widrow-Hoff와 동치임을, 선형 TD(0)가 마르코프 과정에서 최적 예측으로 수렴함을 증명하며, 다단계 예측 문제에서 TD가 지도학습보다 메모리도 덜 쓰고 더 정확함을 보인다.
Dreamer의 연속 잠재를 범주형(categorical) 잠재로 바꾸고 KL 밸런싱을 도입해, 단일 월드 모델로 인간 수준 Atari 성능을 달성한 모델.
PlaNet의 RSSM 위에서 actor-critic을 잠재 상상(imagination) 롤아웃으로 학습해, 계획 비용 없이 높은 표본 효율을 달성한 모델.
픽셀로부터 잠재 동역학을 학습하고, 그 잠재 공간 위에서 모델 예측 제어(MPC)로 직접 계획을 세우는 RSSM 기반 모델.
에이전트가 환경의 압축된 내부 모델을 학습하고, 그 모델이 만든 가상 환경(꿈) 안에서 정책을 훈련한다는 월드 모델 계열의 출발점.
TRPO의 신뢰 영역 아이디어를 클리핑된 목적 함수로 단순화해, 구현 난이도를 크게 낮추면서도 안정적인 정책 학습을 달성한 알고리즘.