POST Developing Report
STAG 프로젝트의 개요
인공신경망 기반 강화학습 자동투자기 STAG의 첫 개발 기록. 이전 프로젝트의 실패 원인을 코드와 알고리즘 관점에서 분석한다.
jepetolee's Insight
for Study & Insight
인공지능, 강화학습, 데이터 사이언스를 공부하고 기록합니다.
추천 글
최근 블로그 글
POST POST 개념 정리
강화학습의 근간 (5): 탐험의 이론 — Multi-Armed Bandit, Regret, 그리고 UCB
탐험-활용 딜레마를 상태도 전이도 없는 가장 순수한 형태로 격리한 Multi-Armed Bandit 문제를 형식화하고, 알고리즘의 성적표인 regret을 정의한다 — regret의 gap 분해, greedy와 고정 ε-greedy가 선형 regret을 벗어나지 못하는 이유, 로그가 넘을 수 없는 바닥임을 밝힌 Lai-Robbins 하한, 그리고 "불확실하면 낙관하라"는 원리를 Hoeffding 부등식으로 구현해 그 바닥에 도달하는 UCB1까지. 이 이론이 ε-greedy의 좌표와 UCT·알파고의 탐색 규칙이 서 있는 지반이다.
POST 개념 정리
강화학습의 근간 (3): 동적 계획법 — 벨만 방정식을 실제로 푸는 법
모델을 완전히 아는 세계에서 벨만 방정식을 푸는 동적 계획법을 강화학습의 관점에서 정리한다 — 벨만 기대 방정식을 반복 대입으로 푸는 policy evaluation, 평가와 greedy 개선을 번갈아 최적에 도달하는 policy iteration(개선 정리의 증명 스케치 포함), 평가를 한 스텝으로 줄인 value iteration, 수렴을 보장하는 축약 사상 논증, 그리고 full-width backup의 한계가 어떻게 표본 기반 강화학습의 문제 정의가 되는지까지.
POST 개념 정리
강화학습의 근간 (10): LLM 시대의 강화학습 — RLHF에서 추론 모델까지
고전 강화학습의 부품들이 LLM에서 어떻게 재조립되는지를 하나의 지도로 잇는다 — 보상을 인간 선호에서 배우는 RLHF(Christiano→InstructGPT)와 그것이 사실상 1-스텝 밴딧 문제라는 관찰, RL을 수식 변형으로 제거한 DPO와 미명세를 고친 APO, 추론을 행동 공간으로 만든 chain-of-thought, 보상·가치의 세 형태인 ORM/PRM/GRM, 그리고 o1-like 훈련의 두 노선 — 검증 가능한 보상 위의 순수 RL(GRPO→R1→DAPO)과 결정 시점 탐색(rStar-Math의 MCTS) — 까지. 각 단계마다 (1)~(9)의 어느 개념이 재등장하는지를 짚는다.
POST 개념 정리
강화학습의 근간 (4): 몬테카를로와 TD — 그리고 둘을 잇는 TD(λ)
모델 없이 경험만으로 가치를 추정하는 두 가지 길 — 에피소드 전체 수익으로 갱신하는 몬테카를로와 한 스텝 추정으로 갱신하는 TD — 를 편향-분산 관점에서 대비하고, n-step return과 λ-return(forward view)으로 둘 사이의 스펙트럼을 잇는다. TD(0)에서 시작해 backup이 종단 노드까지 확장되면 정확히 MC가 되는 수식(λ=1의 극한), 그리고 같은 것을 온라인으로 계산하는 eligibility trace(backward view)와 두 관점의 동치까지.
POST 개념 정리
강화학습의 근간 (2): 에이전트, 환경, 그리고 MDP
강화학습 문제의 형식화를 바닥부터 쌓는다 — 에이전트-환경 루프의 여섯 부품(관측, 상태, 행동, 보상), 관측과 상태가 언제 갈라지는지(완전 관측 vs 부분 관측, POMDP), 그리고 마르코프 성질에서 출발해 Markov Process → Markov Reward Process → Markov Decision Process로 구조를 하나씩 얹어 벨만 기대/최적 방정식까지 도달하는 전체 경로.
논문 리뷰
PAPERreference 순서로 연결해 정리한 논문 리뷰입니다.