2 posts · 4 paper reviews (6 total)
고전 강화학습의 부품들이 LLM에서 어떻게 재조립되는지를 하나의 지도로 잇는다 — 보상을 인간 선호에서 배우는 RLHF(Christiano→InstructGPT)와 그것이 사실상 1-스텝 밴딧 문제라는 관찰, RL을 수식 변형으로 제거한 DPO와 미명세를 고친 APO, 추론을 행동 공간으로 만든 chain-of-thought, 보상·가치의 세 형태인 ORM/PRM/GRM, 그리고 o1-like 훈련의 두 노선 — 검증 가능한 보상 위의 순수 RL(GRPO→R1→DAPO)과 결정 시점 탐색(rStar-Math의 MCTS) — 까지. 각 단계마다 (1)~(9)의 어느 개념이 재등장하는지를 짚는다.
model-free와 model-based의 경계를 정확히 긋는 데서 시작해, 경험으로 모델을 배우고 그 모델로 계획하는 노선을 따라간다 — Q-learning에 모의 경험 갱신을 얹은 Dyna-Q(월드 모델이 아니라 Q-learning의 발전형이라는 정확한 위치 포함), 배경 계획과 결정 시점 계획의 구분, UCT로 선택적 탐색 트리를 키우는 MCTS, 그리고 정책망·가치망·MCTS가 한 시스템으로 조립된 알파고와 그 증류판 알파고 제로까지.
인간 기보·롤아웃·수작업 특징을 전부 제거하고, 정책과 가치를 겸하는 ResNet 하나와 MCTS만 남긴다. 현재 네트워크로 돌린 MCTS의 착수 분포가 네트워크 자신의 정책보다 항상 강하다는 점을 이용해 "탐색 결과를 지도 신호로 네트워크를 학습 → 강해진 네트워크로 더 강한 탐색"의 self-play 루프를 닫았고, 백지에서 72시간 만에 이세돌을 이긴 버전을 100-0으로 넘어섰다.
인간 기보로 지도학습한 정책망(탐색 폭 축소)과 self-play 정책 그래디언트로 강화한 정책망이 만든 데이터로 학습한 가치망(탐색 깊이 절단), 그리고 빠른 롤아웃 정책을 비동기 MCTS 하나에 조립한 시스템. 유럽 챔피언 판 후이를 5-0으로 꺾어 "바둑은 10년 이르다"던 예측을 무너뜨렸고, 지도학습·강화학습·탐색이 한 파이프라인으로 통합될 수 있음을 보인 설계도.
1.5B~7B급 소형 모델이 MCTS 기반 깊은 사고(deep thinking)로 o1급 수학 추론에 도달함을 보인다 — 각 추론 단계에 파이썬 코드를 붙여 실행 검증하는 code-augmented CoT로 MCTS 롤아웃의 단계별 품질을 보증하고, MCTS의 Q값을 점수 라벨이 아니라 선호쌍으로 바꿔 과정 선호 모델(PPM)을 학습하며, 정책과 PPM을 4라운드에 걸쳐 상호 진화시킨다. Qwen2.5-Math-7B가 MATH 58.8→90.0%, AIME 53.3%로 o1-preview를 넘어선, 탐색 노선의 대표 실증.
롤아웃 기반 몬테카를로 계획에서 "다음 시뮬레이션을 어느 가지에 쓸 것인가"를 트리의 각 내부 노드를 독립적인 UCB1 밴딧으로 취급해 푸는 UCT를 제안한다. 자식 노드의 추정값이 수렴하면서 보상 분포가 서서히 변하는 비정상성까지 다루는 drift 조건 하에서 실패 확률이 다항 속도로 0에 수렴함을 증명 — 이후 컴퓨터 바둑과 알파고로 이어지는 MCTS 전체의 이론적 뿌리.