#AlphaGo

블로그 1편 · 논문 리뷰 1편 (총 2편)

POST

블로그 글

POST 개념 정리

강화학습의 근간 (8): 모델과 계획 — Dyna-Q, MCTS, 그리고 알파고

model-free와 model-based의 경계를 정확히 긋는 데서 시작해, 경험으로 모델을 배우고 그 모델로 계획하는 노선을 따라간다 — Q-learning에 모의 경험 갱신을 얹은 Dyna-Q(월드 모델이 아니라 Q-learning의 발전형이라는 정확한 위치 포함), 배경 계획과 결정 시점 계획의 구분, UCT로 선택적 탐색 트리를 키우는 MCTS, 그리고 정책망·가치망·MCTS가 한 시스템으로 조립된 알파고와 그 증류판 알파고 제로까지.

더 보기
PAPER

논문 리뷰

PAPER 강화학습 · Planning & Search

AlphaGo: 학습된 사전으로 폭을, 학습된 평가로 깊이를 자르다

인간 기보로 지도학습한 정책망(탐색 폭 축소)과 self-play 정책 그래디언트로 강화한 정책망이 만든 데이터로 학습한 가치망(탐색 깊이 절단), 그리고 빠른 롤아웃 정책을 비동기 MCTS 하나에 조립한 시스템. 유럽 챔피언 판 후이를 5-0으로 꺾어 "바둑은 10년 이르다"던 예측을 무너뜨렸고, 지도학습·강화학습·탐색이 한 파이프라인으로 통합될 수 있음을 보인 설계도.

더 보기