일반적인 ML 방법론, 평가, 모델링, 실험 설계. 블로그 14편 · 논문 리뷰 10편 (총 24편)
탐험-활용 딜레마를 상태도 전이도 없는 가장 순수한 형태로 격리한 Multi-Armed Bandit 문제를 형식화하고, 알고리즘의 성적표인 regret을 정의한다 — regret의 gap 분해, greedy와 고정 ε-greedy가 선형 regret을 벗어나지 못하는 이유, 로그가 넘을 수 없는 바닥임을 밝힌 Lai-Robbins 하한, 그리고 "불확실하면 낙관하라"는 원리를 Hoeffding 부등식으로 구현해 그 바닥에 도달하는 UCB1까지. 이 이론이 ε-greedy의 좌표와 UCT·알파고의 탐색 규칙이 서 있는 지반이다.
모델을 완전히 아는 세계에서 벨만 방정식을 푸는 동적 계획법을 강화학습의 관점에서 정리한다 — 벨만 기대 방정식을 반복 대입으로 푸는 policy evaluation, 평가와 greedy 개선을 번갈아 최적에 도달하는 policy iteration(개선 정리의 증명 스케치 포함), 평가를 한 스텝으로 줄인 value iteration, 수렴을 보장하는 축약 사상 논증, 그리고 full-width backup의 한계가 어떻게 표본 기반 강화학습의 문제 정의가 되는지까지.
모델 없이 경험만으로 가치를 추정하는 두 가지 길 — 에피소드 전체 수익으로 갱신하는 몬테카를로와 한 스텝 추정으로 갱신하는 TD — 를 편향-분산 관점에서 대비하고, n-step return과 λ-return(forward view)으로 둘 사이의 스펙트럼을 잇는다. TD(0)에서 시작해 backup이 종단 노드까지 확장되면 정확히 MC가 되는 수식(λ=1의 극한), 그리고 같은 것을 온라인으로 계산하는 eligibility trace(backward view)와 두 관점의 동치까지.
강화학습 문제의 형식화를 바닥부터 쌓는다 — 에이전트-환경 루프의 여섯 부품(관측, 상태, 행동, 보상), 관측과 상태가 언제 갈라지는지(완전 관측 vs 부분 관측, POMDP), 그리고 마르코프 성질에서 출발해 Markov Process → Markov Reward Process → Markov Decision Process로 구조를 하나씩 얹어 벨만 기대/최적 방정식까지 도달하는 전체 경로.
예측을 제어로 격상시키는 데 필요한 부품을 순서대로 조립한다 — 왜 V가 아니라 Q를 배워야 하는지, greedy가 왜 실패하고 ε-greedy가 무엇을 보장하는지(GLIE 조건과 GLIE-MC control), TD로 평가를 바꾼 on-policy SARSA와 SARSA(λ), 그리고 행동하는 정책과 배우는 정책을 분리하는 off-policy 학습 — importance sampling의 원리와 분산 문제, max로 그것을 우회하는 Q-learning, 함수 근사의 발산 문제를 replay buffer와 target network로 눌러 deep RL을 연 DQN까지.
model-free와 model-based의 경계를 정확히 긋는 데서 시작해, 경험으로 모델을 배우고 그 모델로 계획하는 노선을 따라간다 — Q-learning에 모의 경험 갱신을 얹은 Dyna-Q(월드 모델이 아니라 Q-learning의 발전형이라는 정확한 위치 포함), 배경 계획과 결정 시점 계획의 구분, UCT로 선택적 탐색 트리를 키우는 MCTS, 그리고 정책망·가치망·MCTS가 한 시스템으로 조립된 알파고와 그 증류판 알파고 제로까지.
가치를 거치지 않고 정책을 직접 최적화하는 갈래를 수식의 계보로 따라간다 — policy gradient 정리와 REINFORCE, baseline과 advantage로 분산을 깎는 과정, "파라미터 공간의 거리 ≠ 정책 공간의 거리"라는 문제의식에서 나온 natural policy gradient와 Fisher 정보 행렬(KL의 2차 근사), 그것을 제약 최적화로 실용화한 TRPO, 그리고 2차 계산을 클리핑 하나로 대체해 표준이 된 PPO까지.
강화학습 알고리즘 전체를 가치 기반과 정책 기반의 양분 구도로 정리한다 — 각 갈래의 논리와 약점, ε-greedy와 탐험 문제, on-policy/off-policy 구분, 그리고 두 갈래가 actor-critic에서 합쳐져 A3C·PPO·SAC로 이어지는 계보도까지.
딥러닝이라는 구조가 성립하기 위한 부품들을 역할 중심으로 해부한다 — 선형변환과 비선형 활성의 교대가 왜 필요한지, 역전파가 성립시키는 "미분 가능하면 배운다"는 계약, 풀링의 종류와 진짜 역할(불변성 대 해상도), 손실 함수의 계보(MSE→교차엔트로피→마진→대조→시퀀스 손실), 그리고 깊이를 견디게 하는 정규화와 residual까지.
Music Information Retrieval의 인식 계열 태스크를 정리한다 — 오디오 핑거프린팅(Shazam), 장르 분류와 오토태깅, 코드·키 인식, 비트 트래킹과 온셋 검출, 커버곡 검출. 음성과 무엇이 다른지(화성 구조, CQT, 옥타브 문제), 어떤 표현과 모델이 표준인지, 대표 데이터셋까지.
강화학습의 두 뿌리를 소개한다 — 파블로프의 조건반사와 손다이크의 효과의 법칙에서 나온 "시행착오 학습"의 심리학, 그리고 벨만의 동적 계획법에서 나온 "최적 제어"의 수학. 두 흐름이 MDP와 벨만 방정식 위에서 만나 강화학습이 되는 과정과, TD 오차가 도파민 신호로 재발견되는 반전까지.
라벨 없이 표현을 배우는 자기지도학습을 세 계열로 정리한다 — 가려진 것을 맞히는 예측(MAE), 같은 것끼리 당기고 다른 것끼리 미는 대조 학습(SimCLR), 그리고 negative 없이 교사-학생의 출력을 맞추는 자기증류(BYOL/DINO). 각 계열이 붕괴(collapse)를 어떻게 피하는지가 핵심 축이다.
Speaker Recognition을 Identification(1:N 분류)과 Verification(1:1 판정)으로 구분하고, 화자 임베딩 파이프라인(인코더 → 풀링 → 스코어링)과 평가 지표(EER, minDCF)를 정리한다. i-vector에서 x-vector, ResNet-SE 계열, ECAPA-TDNN까지의 아키텍처 계보와, 얼굴 인식에서 건너온 AAM-softmax(ArcFace)가 임베딩 간 거리를 벌리는 원리까지.
인공신경망 기반 강화학습 자동투자기 STAG의 첫 개발 기록. 이전 프로젝트의 실패 원인을 코드와 알고리즘 관점에서 분석한다.
다층 신경망의 모든 가중치에 대한 오차의 편미분을 출력층에서 입력층으로 연쇄법칙을 따라 전파하며 계산하는 back-propagation을 제시한다. 은닉 유닛들이 태스크의 내부 표현을 스스로 구성함을 대칭 검출과 가계도 과제로 보였다 — 퍼셉트론의 한계를 넘어 표현 학습이라는 개념을 연 4페이지.
프레임별 정렬 라벨 없이 시퀀스 수준 라벨만으로 RNN을 학습하는 CTC 손실을 제안한다. blank 토큰을 도입하고, 타깃으로 접히는 모든 경로의 확률 합을 forward-backward 동적 계획법으로 미분 가능하게 계산해, TIMIT 음소 인식에서 HMM과 하이브리드를 모두 넘어섰다.
화자 공간과 채널 공간을 따로 모델링하던 JFA 대신, 둘을 구분하지 않는 단일 저차원 총변동(total variability) 공간을 요인 분석으로 정의하고 발화를 그 공간의 잠재 벡터(i-vector)로 요약한다. 채널 보상은 저차원에서 WCCN/LDA로 처리하고 코사인 거리만으로 스코어링해, 등록 과정 없는 단순한 시스템으로 NIST SRE에서 JFA를 넘어섰다.
상태-행동 가치 Q(s,a)를 경험된 전이 하나와 다음 상태의 max Q로 갱신하는 Q-learning이, 모든 상태-행동을 무한히 방문하고 학습률이 Robbins-Monro 조건을 만족하면 확률 1로 최적 Q*에 수렴함을 증명한다. 행동을 어떻게 골랐든 최적 정책의 가치를 배우는 off-policy 학습의 기초 정리.
확률적 유닛을 가진 신경망에서 Δw = α(r − b)·∂ln g/∂w 형태의 갱신이 기대 보상의 그래디언트를 편향 없이 따라감을 증명한다. baseline의 무편향성, 에피소드 확장, 가우시안 유닛(연속 행동)까지 — 정책 그래디언트와 그 분산 축소 장치들의 수학적 원전.
CTC의 두 한계 — 출력 간 조건부 독립 가정과 출력 길이 ≤ 입력 길이 제약 — 를 해결하는 RNN Transducer를 제안한다. 음향을 읽는 transcription 망과 이전 출력을 읽는 자기회귀 prediction 망을 (t, u) 격자 위에서 결합하고, forward-backward로 모든 정렬의 우도를 정확히 계산한다. TIMIT에서 CTC를 넘었고, 훗날 스트리밍 음성 인식의 표준 프레임이 된다.
언어 모델의 교차엔트로피 손실이 모델 크기, 데이터 크기, 학습 연산량 각각에 대해 6~8 자릿수에 걸친 멱법칙을 따름을 실증한다. 아키텍처 모양은 거의 무관하며, 고정된 연산 예산에서는 아주 큰 모델을 수렴 전에 멈추는 것이 최적이라는 compute-optimal 학습 원칙을 도출했다.
메모리 뱅크나 특수 구조 없이 — 강한 증강 조합, ResNet 인코더, projection head, NT-Xent 손실, 큰 배치 — 만으로 대조 학습의 SOTA를 크게 끌어올린 프레임워크. linear evaluation에서 ResNet-50(4×) 76.5%로 지도학습 베이스라인과 대등해졌다.
최종 결과와의 오차로 배우는 지도학습 대신, 연속된 두 예측의 차이로 배우는 시간차(TD) 학습을 형식화한다. TD(λ) 계열을 정의하고, TD(1)이 Widrow-Hoff와 동치임을, 선형 TD(0)가 마르코프 과정에서 최적 예측으로 수렴함을 증명하며, 다단계 예측 문제에서 TD가 지도학습보다 메모리도 덜 쓰고 더 정확함을 보인다.
TDNN 프레임 인코더 + statistics pooling + 화자 분류 학습으로 발화를 고정 차원 임베딩(x-vector)으로 사상하고, 노이즈·잔향 데이터 증강이 i-vector에는 안 통하지만 지도학습 DNN 임베딩에는 크게 통함을 보인다. SITW·SRE16에서 i-vector 계열을 넘어서며 화자 인식의 신경망 임베딩 시대를 연 표준.