A technical blog exploring AI, reinforcement learning, and data science in depth.https://jepetolee.github.io/enhttps://jepetolee.github.io/en/insight/rl-bandits-ucb/https://jepetolee.github.io/en/insight/rl-bandits-ucb/탐험-활용 딜레마를 상태도 전이도 없는 가장 순수한 형태로 격리한 Multi-Armed Bandit 문제를 형식화하고, 알고리즘의 성적표인 regret을 정의한다 — regret의 gap 분해, greedy와 고정 ε-greedy가 선형 regret을 벗어나지 못하는 이유, 로그가 넘을 수 없는 바닥임을 밝힌 Lai-Robbins 하한, 그리고 "불확실하면 낙관하라"는 원리를 Hoeffding 부등식으로 구현해 그 바닥에 도달하는 UCB1까지. 이 이론이 ε-greedy의 좌표와 UCT·알파고의 탐색 규칙이 서 있는 지반이다.Fri, 03 Jul 2026 00:00:00 GMT강화학습머신 러닝Multi-Armed BanditUCB탐험https://jepetolee.github.io/en/insight/rl-dynamic-programming/https://jepetolee.github.io/en/insight/rl-dynamic-programming/모델을 완전히 아는 세계에서 벨만 방정식을 푸는 동적 계획법을 강화학습의 관점에서 정리한다 — 벨만 기대 방정식을 반복 대입으로 푸는 policy evaluation, 평가와 greedy 개선을 번갈아 최적에 도달하는 policy iteration(개선 정리의 증명 스케치 포함), 평가를 한 스텝으로 줄인 value iteration, 수렴을 보장하는 축약 사상 논증, 그리고 full-width backup의 한계가 어떻게 표본 기반 강화학습의 문제 정의가 되는지까지.Fri, 03 Jul 2026 00:00:00 GMT강화학습머신 러닝동적 계획법MDPBellman Equationhttps://jepetolee.github.io/en/insight/rl-llm/https://jepetolee.github.io/en/insight/rl-llm/고전 강화학습의 부품들이 LLM에서 어떻게 재조립되는지를 하나의 지도로 잇는다 — 보상을 인간 선호에서 배우는 RLHF(Christiano→InstructGPT)와 그것이 사실상 1-스텝 밴딧 문제라는 관찰, RL을 수식 변형으로 제거한 DPO와 미명세를 고친 APO, 추론을 행동 공간으로 만든 chain-of-thought, 보상·가치의 세 형태인 ORM/PRM/GRM, 그리고 o1-like 훈련의 두 노선 — 검증 가능한 보상 위의 순수 RL(GRPO→R1→DAPO)과 결정 시점 탐색(rStar-Math의 MCTS) — 까지. 각 단계마다 (1)~(9)의 어느 개념이 재등장하는지를 짚는다.Fri, 03 Jul 2026 00:00:00 GMT강화학습자연어 처리추론 모델RLHFGRPOMCTShttps://jepetolee.github.io/en/insight/rl-mc-td/https://jepetolee.github.io/en/insight/rl-mc-td/모델 없이 경험만으로 가치를 추정하는 두 가지 길 — 에피소드 전체 수익으로 갱신하는 몬테카를로와 한 스텝 추정으로 갱신하는 TD — 를 편향-분산 관점에서 대비하고, n-step return과 λ-return(forward view)으로 둘 사이의 스펙트럼을 잇는다. TD(0)에서 시작해 backup이 종단 노드까지 확장되면 정확히 MC가 되는 수식(λ=1의 극한), 그리고 같은 것을 온라인으로 계산하는 eligibility trace(backward view)와 두 관점의 동치까지.Fri, 03 Jul 2026 00:00:00 GMT강화학습머신 러닝TD 학습몬테카를로TD-lambdahttps://jepetolee.github.io/en/insight/rl-mdp/https://jepetolee.github.io/en/insight/rl-mdp/강화학습 문제의 형식화를 바닥부터 쌓는다 — 에이전트-환경 루프의 여섯 부품(관측, 상태, 행동, 보상), 관측과 상태가 언제 갈라지는지(완전 관측 vs 부분 관측, POMDP), 그리고 마르코프 성질에서 출발해 Markov Process → Markov Reward Process → Markov Decision Process로 구조를 하나씩 얹어 벨만 기대/최적 방정식까지 도달하는 전체 경로.Fri, 03 Jul 2026 00:00:00 GMT강화학습머신 러닝MDP마르코프 성질POMDPhttps://jepetolee.github.io/en/insight/rl-model-free-control/https://jepetolee.github.io/en/insight/rl-model-free-control/예측을 제어로 격상시키는 데 필요한 부품을 순서대로 조립한다 — 왜 V가 아니라 Q를 배워야 하는지, greedy가 왜 실패하고 ε-greedy가 무엇을 보장하는지(GLIE 조건과 GLIE-MC control), TD로 평가를 바꾼 on-policy SARSA와 SARSA(λ), 그리고 행동하는 정책과 배우는 정책을 분리하는 off-policy 학습 — importance sampling의 원리와 분산 문제, max로 그것을 우회하는 Q-learning, 함수 근사의 발산 문제를 replay buffer와 target network로 눌러 deep RL을 연 DQN까지.Fri, 03 Jul 2026 00:00:00 GMT강화학습머신 러닝Q-learningSARSAoff-policyDQNhttps://jepetolee.github.io/en/insight/rl-planning-mcts/https://jepetolee.github.io/en/insight/rl-planning-mcts/model-free와 model-based의 경계를 정확히 긋는 데서 시작해, 경험으로 모델을 배우고 그 모델로 계획하는 노선을 따라간다 — Q-learning에 모의 경험 갱신을 얹은 Dyna-Q(월드 모델이 아니라 Q-learning의 발전형이라는 정확한 위치 포함), 배경 계획과 결정 시점 계획의 구분, UCT로 선택적 탐색 트리를 키우는 MCTS, 그리고 정책망·가치망·MCTS가 한 시스템으로 조립된 알파고와 그 증류판 알파고 제로까지.Fri, 03 Jul 2026 00:00:00 GMT강화학습머신 러닝model-based RLDyna-QMCTSAlphaGohttps://jepetolee.github.io/en/insight/rl-policy-gradient/https://jepetolee.github.io/en/insight/rl-policy-gradient/가치를 거치지 않고 정책을 직접 최적화하는 갈래를 수식의 계보로 따라간다 — policy gradient 정리와 REINFORCE, baseline과 advantage로 분산을 깎는 과정, "파라미터 공간의 거리 ≠ 정책 공간의 거리"라는 문제의식에서 나온 natural policy gradient와 Fisher 정보 행렬(KL의 2차 근사), 그것을 제약 최적화로 실용화한 TRPO, 그리고 2차 계산을 클리핑 하나로 대체해 표준이 된 PPO까지.Fri, 03 Jul 2026 00:00:00 GMT강화학습머신 러닝Policy GradientTRPOPPOFisher Informationhttps://jepetolee.github.io/en/insight/rl-value-policy-map/https://jepetolee.github.io/en/insight/rl-value-policy-map/강화학습 알고리즘 전체를 가치 기반과 정책 기반의 양분 구도로 정리한다 — 각 갈래의 논리와 약점, ε-greedy와 탐험 문제, on-policy/off-policy 구분, 그리고 두 갈래가 actor-critic에서 합쳐져 A3C·PPO·SAC로 이어지는 계보도까지.Fri, 03 Jul 2026 00:00:00 GMT강화학습머신 러닝Q-learningPolicy GradientActor-Critichttps://jepetolee.github.io/en/papers/alphago-zero/https://jepetolee.github.io/en/papers/alphago-zero/인간 기보·롤아웃·수작업 특징을 전부 제거하고, 정책과 가치를 겸하는 ResNet 하나와 MCTS만 남긴다. 현재 네트워크로 돌린 MCTS의 착수 분포가 네트워크 자신의 정책보다 항상 강하다는 점을 이용해 "탐색 결과를 지도 신호로 네트워크를 학습 → 강해진 네트워크로 더 강한 탐색"의 self-play 루프를 닫았고, 백지에서 72시간 만에 이세돌을 이긴 버전을 100-0으로 넘어섰다.Fri, 03 Jul 2026 00:00:00 GMT강화학습Google DeepMindAlphaGo ZeroMCTSSelf-play바둑https://jepetolee.github.io/en/papers/alphago/https://jepetolee.github.io/en/papers/alphago/인간 기보로 지도학습한 정책망(탐색 폭 축소)과 self-play 정책 그래디언트로 강화한 정책망이 만든 데이터로 학습한 가치망(탐색 깊이 절단), 그리고 빠른 롤아웃 정책을 비동기 MCTS 하나에 조립한 시스템. 유럽 챔피언 판 후이를 5-0으로 꺾어 "바둑은 10년 이르다"던 예측을 무너뜨렸고, 지도학습·강화학습·탐색이 한 파이프라인으로 통합될 수 있음을 보인 설계도.Fri, 03 Jul 2026 00:00:00 GMT강화학습Google DeepMindAlphaGoMCTSPolicy Gradient바둑https://jepetolee.github.io/en/papers/apo/https://jepetolee.github.io/en/papers/apo/DPO류 대조 정렬의 두 가지 미명세를 진단한다 — 선호 쌍이 무엇이 다른지(데이터), 학습 중 우도가 어느 방향으로 움직여야 하는지(목적 함수)가 지정되지 않는다는 것. 데이터 쪽은 모델 출력을 최소한으로 고쳐 만든 대조 쌍(CLAIR)으로, 목적 함수 쪽은 승자/패자 우도의 절대 방향까지 명시하는 앵커드 목적 함수 가족(APO-zero/APO-down)으로 답하며, "내 모델보다 데이터가 나은가"에 따라 목적 함수를 골라야 함을 보인 논문.Fri, 03 Jul 2026 00:00:00 GMT강화학습자연어 처리APODPO선호 최적화CLAIRhttps://jepetolee.github.io/en/papers/chain-of-thought/https://jepetolee.github.io/en/papers/chain-of-thought/프롬프트의 few-shot 예시에 정답만이 아니라 정답에 이르는 중간 추론 단계를 함께 써 주면, 충분히 큰 언어 모델이 새 문제에서도 단계적 추론을 흉내 내며 산술·상식·기호 추론 성능이 뛰어오른다는 것을 보인 논문. 이 효과가 모델 규모에 대해 창발적으로 나타난다는 관찰과 함께, 이후 추론 모델 전체가 딛고 서는 "생각을 토큰으로 펼친다"는 기본 형식을 만들었다.Fri, 03 Jul 2026 00:00:00 GMT자연어 처리추론 모델NeurIPSGoogle ResearchChain-of-Thought프롬프팅https://jepetolee.github.io/en/papers/dapo/https://jepetolee.github.io/en/papers/dapo/o1·R1급 추론 RL의 은폐된 훈련 세부를 재현 가능하게 공개한 시스템 논문 — GRPO를 그대로 쓰면 부딪히는 네 가지 실패(엔트로피 붕괴, 무효 그래디언트 집단, 긴 응답의 신용 희석, 잘린 응답의 보상 잡음)를 Clip-Higher, Dynamic Sampling, 토큰 수준 손실, Overlong Reward Shaping으로 하나씩 수술해, Qwen2.5-32B로 AIME 2024 50점을 절반의 스텝으로 달성하고 코드·데이터·알고리즘 전부를 공개했다.Fri, 03 Jul 2026 00:00:00 GMT강화학습자연어 처리추론 모델DAPOGRPORLVRhttps://jepetolee.github.io/en/papers/deepseek-math/https://jepetolee.github.io/en/papers/deepseek-math/Common Crawl에서 캐낸 120B 토큰의 수학 코퍼스로 7B 모델을 사전학습해 수학 특화 오픈 모델의 기준을 올리고, PPO의 가치망(critic)을 "같은 문제에 대한 G개 응답의 집단 내 상대 보상"으로 대체한 GRPO(Group Relative Policy Optimization)를 제안한다. critic 메모리를 통째로 없애면서 MATH 51.7%를 달성한 이 알고리즘이 이후 R1과 오픈소스 추론 RL 전체의 기본 최적화기가 된다.Fri, 03 Jul 2026 00:00:00 GMT강화학습자연어 처리추론 모델DeepSeekGRPOPPOhttps://jepetolee.github.io/en/papers/deepseek-r1/https://jepetolee.github.io/en/papers/deepseek-r1/베이스 모델에 SFT 없이 규칙 기반 정오·형식 보상만으로 GRPO를 돌린 R1-Zero에서, 긴 chain-of-thought와 자기 검증·반성이 학습 과정에서 저절로 자라나는 것(aha moment)을 보인다 — AIME pass@1 15.6%에서 71.0%까지. 가독성 문제를 고치기 위해 콜드스타트 SFT와 다단계 파이프라인을 얹은 R1은 o1급 성능에 도달했고, 그 추론을 소형 모델로 증류한 체크포인트까지 공개해 o1-like 훈련의 공개 레시피가 된 논문.Fri, 03 Jul 2026 00:00:00 GMT강화학습자연어 처리추론 모델DeepSeekGRPORLVRhttps://jepetolee.github.io/en/papers/dpo/https://jepetolee.github.io/en/papers/dpo/KL 제약 보상 최대화 문제의 최적 정책이 닫힌 형태로 풀린다는 사실을 역이용해, 보상을 정책의 로그 확률비로 재매개변수화하고 Bradley-Terry 선호 우도에 대입한다 — 그 결과 보상 모델 학습도, 샘플링도, PPO도 없이 선호 데이터에 대한 단일 분류 손실만으로 RLHF와 같은 최적해를 겨냥하는 Direct Preference Optimization. RLHF의 3단계 파이프라인을 지도학습 한 단계로 접은, 정렬 실무를 바꾼 논문.Fri, 03 Jul 2026 00:00:00 GMT강화학습자연어 처리NeurIPSDPORLHF선호 최적화https://jepetolee.github.io/en/papers/dqn/https://jepetolee.github.io/en/papers/dqn/Q-learning을 CNN 함수 근사와 결합할 때 발생하는 불안정(상관된 표본, 움직이는 표적)을 experience replay와 target network라는 두 부품으로 눌러, 하나의 네트워크·하나의 하이퍼파라미터 세트로 49개 Atari 게임을 픽셀 입력만으로 학습시킨 논문. 함수 근사 하의 Q-learning이 처음으로 대규모에서 안정적으로 작동함을 보여 deep RL 시대를 연 기점.Fri, 03 Jul 2026 00:00:00 GMT강화학습Google DeepMindDQNQ-learningAtarioff-policyhttps://jepetolee.github.io/en/papers/generative-verifiers/https://jepetolee.github.io/en/papers/generative-verifiers/판별식 분류기로 학습되던 검증자를 "이 풀이가 맞는가? Yes/No"의 다음 토큰 예측으로 재정식화한다 — 그 순간 검증자가 LLM의 모든 능력을 상속한다. 지시 튜닝과의 결합, 검증 자체에 대한 chain-of-thought(GenRM-CoT), 여러 검증 추론에 대한 다수결로 추론 시점 컴퓨트를 검증에도 투입하는 것까지 — 판별식 RM·LLM-as-a-Judge·자기검증을 일관되게 넘어서며 생성형 보상 모델(GRM) 노선을 연 논문.Fri, 03 Jul 2026 00:00:00 GMT강화학습자연어 처리추론 모델Google DeepMindGenRM보상 모델https://jepetolee.github.io/en/papers/lets-verify-step-by-step/https://jepetolee.github.io/en/papers/lets-verify-step-by-step/추론 풀이의 최종 답 정오만 감독하는 ORM과 각 추론 단계의 타당성을 감독하는 PRM을 MATH 벤치마크에서 정면 비교해, 과정 감독이 유의미하게 강력함을 보인다(best-of-1860 기준 PRM 78.2% vs ORM 72.4% vs 다수결 69.6%). 단계 라벨 80만 개의 PRM800K 공개, 라벨링 효율을 높이는 능동 학습, "정렬 관점에서도 과정 감독이 낫다"는 논증까지 — 추론에 대한 밀한 신용 할당의 기준점이 된 논문.Fri, 03 Jul 2026 00:00:00 GMT강화학습자연어 처리추론 모델ICLROpenAIPRM신용 할당https://jepetolee.github.io/en/papers/natural-policy-gradient/https://jepetolee.github.io/en/papers/natural-policy-gradient/정책 그래디언트의 최급상승 방향을 유클리드 계량이 아니라 Fisher 정보 행렬이 정의하는 분포 공간의 계량으로 다시 정의한다. 자연 그래디언트가 compatible function approximation의 가중치와 정확히 일치한다는 정리, 그리고 그 방향이 "조금 나은 행동"이 아니라 "greedy 최적 행동" 쪽을 가리킨다는 분석으로, 이후 TRPO·PPO로 이어지는 신뢰 영역 계보의 이론적 출발점이 된 논문.Fri, 03 Jul 2026 00:00:00 GMT강화학습NeurIPSPolicy GradientFisher InformationNatural Gradienthttps://jepetolee.github.io/en/papers/rlhf/https://jepetolee.github.io/en/papers/rlhf/보상 함수를 설계하는 대신, 궤적 조각 쌍에 대한 인간의 선호 비교를 Bradley-Terry 모델로 학습해 보상 함수 자체를 추정하고, 그 학습된 보상으로 보통의 심층 강화학습을 돌리는 3자 루프(정책 학습–선호 수집–보상 학습)를 제안한다. 전체 스텝의 1% 미만에 대한 피드백만으로 Atari와 MuJoCo를 학습시키고, 보상 함수로는 쓸 수 없는 목표(백플립)를 900개 남짓의 비교만으로 가르쳐 RLHF의 원형이 된 논문.Fri, 03 Jul 2026 00:00:00 GMT강화학습NeurIPSOpenAIGoogle DeepMindRLHF보상 모델https://jepetolee.github.io/en/papers/rstar-math/https://jepetolee.github.io/en/papers/rstar-math/1.5B~7B급 소형 모델이 MCTS 기반 깊은 사고(deep thinking)로 o1급 수학 추론에 도달함을 보인다 — 각 추론 단계에 파이썬 코드를 붙여 실행 검증하는 code-augmented CoT로 MCTS 롤아웃의 단계별 품질을 보증하고, MCTS의 Q값을 점수 라벨이 아니라 선호쌍으로 바꿔 과정 선호 모델(PPM)을 학습하며, 정책과 PPM을 4라운드에 걸쳐 상호 진화시킨다. Qwen2.5-Math-7B가 MATH 58.8→90.0%, AIME 53.3%로 o1-preview를 넘어선, 탐색 노선의 대표 실증.Fri, 03 Jul 2026 00:00:00 GMT강화학습자연어 처리추론 모델Microsoft ResearchMCTSPRMhttps://jepetolee.github.io/en/papers/training-verifiers/https://jepetolee.github.io/en/papers/training-verifiers/초등 수학 문장제 벤치마크 GSM8K를 공개하고, 생성기를 키우는 대신 생성된 풀이의 정답 여부를 판별하는 검증자(verifier)를 따로 학습해 테스트 시 다수의 후보 풀이 중 최고 점수를 고르는 방법을 제안한다. 검증 기반 선택이 파인튜닝만 한 30배 큰 모델과 맞먹는 효과를 낸다는 것 — 결과 기반 보상 모델(ORM)과 test-time compute 스케일링의 원점이 된 논문.Fri, 03 Jul 2026 00:00:00 GMT강화학습자연어 처리추론 모델OpenAIORMGSM8Khttps://jepetolee.github.io/en/papers/trpo/https://jepetolee.github.io/en/papers/trpo/옛 정책의 데이터로 새 정책을 평가하는 surrogate objective가 진짜 목적 함수를 KL 발산 페널티만큼의 오차 안에서 하한한다는 부등식을 증명하고, 이를 "평균 KL ≤ δ 제약 하의 surrogate 최대화"라는 실용 알고리즘으로 완화한다. 켤레 그래디언트와 라인 서치로 신경망 정책에서도 natural gradient 방향을 계산해, 보행 제어와 Atari에서 단조에 가까운 안정적 학습을 보인 신뢰 영역 계보의 완성판.Fri, 03 Jul 2026 00:00:00 GMT강화학습ICMLTRPOPolicy Gradient신뢰 영역https://jepetolee.github.io/en/papers/ucb1/https://jepetolee.github.io/en/papers/ucb1/Lai-Robbins가 점근적으로만 보였던 로그 regret 최적성을, 표본 평균에 Hoeffding 신뢰 상한을 더해 최대인 팔을 당기는 한 줄짜리 정책 UCB1로 모든 시점에서 균일하게 성립하는 유한 시간 부등식으로 바꾼 논문. 분포에 대한 사전 지식도 하이퍼파라미터 스케줄도 없이 작동하는 이 단순성이, 이후 UCT·MCTS·알파고의 선택 규칙과 낙관주의 기반 탐험 전반의 표준 부품이 됐다.Fri, 03 Jul 2026 00:00:00 GMT강화학습Multi-Armed BanditUCBregret탐험https://jepetolee.github.io/en/papers/uct/https://jepetolee.github.io/en/papers/uct/롤아웃 기반 몬테카를로 계획에서 "다음 시뮬레이션을 어느 가지에 쓸 것인가"를 트리의 각 내부 노드를 독립적인 UCB1 밴딧으로 취급해 푸는 UCT를 제안한다. 자식 노드의 추정값이 수렴하면서 보상 분포가 서서히 변하는 비정상성까지 다루는 drift 조건 하에서 실패 확률이 다항 속도로 0에 수렴함을 증명 — 이후 컴퓨터 바둑과 알파고로 이어지는 MCTS 전체의 이론적 뿌리.Fri, 03 Jul 2026 00:00:00 GMT강화학습MCTSUCT밴딧계획https://jepetolee.github.io/en/insight/audio-signal-fundamentals/https://jepetolee.github.io/en/insight/audio-signal-fundamentals/음성 인식 파이프라인의 입구를 신호처리 순서대로 정리한다 — 샘플링과 나이퀴스트 정리, DFT/FFT, 프레임 단위 분석인 STFT와 창 함수의 시간-주파수 트레이드오프, 인간 청각을 모사하는 멜 필터뱅크와 로그 멜 스펙트로그램, 그리고 DCT로 역상관시킨 MFCC까지. 왜 최신 모델은 MFCC 대신 로그 멜을 쓰는지, 왜 아예 raw waveform으로 가는지까지 잇는다.Thu, 02 Jul 2026 00:00:00 GMTASR정보이론신호처리MFCC멜 스펙트로그램https://jepetolee.github.io/en/insight/cnn-fundamentals/https://jepetolee.github.io/en/insight/cnn-fundamentals/convolution이 왜 이미지에 맞는 연산인지(국소성, 가중치 공유, 평행이동 등변성)부터 stride/padding/dilation이 출력 크기와 수용 영역을 결정하는 수식, 그리고 grouped/depthwise/pointwise/separable/deformable로 이어지는 변형 연산들의 계보까지 한 번에 정리한다.Thu, 02 Jul 2026 00:00:00 GMT컴퓨터 비전인공신경망CNN합성곱https://jepetolee.github.io/en/insight/deep-learning-building-blocks/https://jepetolee.github.io/en/insight/deep-learning-building-blocks/딥러닝이라는 구조가 성립하기 위한 부품들을 역할 중심으로 해부한다 — 선형변환과 비선형 활성의 교대가 왜 필요한지, 역전파가 성립시키는 "미분 가능하면 배운다"는 계약, 풀링의 종류와 진짜 역할(불변성 대 해상도), 손실 함수의 계보(MSE→교차엔트로피→마진→대조→시퀀스 손실), 그리고 깊이를 견디게 하는 정규화와 residual까지.Thu, 02 Jul 2026 00:00:00 GMT인공신경망머신 러닝딥러닝손실 함수풀링https://jepetolee.github.io/en/insight/mir-overview/https://jepetolee.github.io/en/insight/mir-overview/Music Information Retrieval의 인식 계열 태스크를 정리한다 — 오디오 핑거프린팅(Shazam), 장르 분류와 오토태깅, 코드·키 인식, 비트 트래킹과 온셋 검출, 커버곡 검출. 음성과 무엇이 다른지(화성 구조, CQT, 옥타브 문제), 어떤 표현과 모델이 표준인지, 대표 데이터셋까지.Thu, 02 Jul 2026 00:00:00 GMTASR머신 러닝MIR음악 정보 검색https://jepetolee.github.io/en/insight/rl-origins/https://jepetolee.github.io/en/insight/rl-origins/강화학습의 두 뿌리를 소개한다 — 파블로프의 조건반사와 손다이크의 효과의 법칙에서 나온 "시행착오 학습"의 심리학, 그리고 벨만의 동적 계획법에서 나온 "최적 제어"의 수학. 두 흐름이 MDP와 벨만 방정식 위에서 만나 강화학습이 되는 과정과, TD 오차가 도파민 신호로 재발견되는 반전까지.Thu, 02 Jul 2026 00:00:00 GMT강화학습머신 러닝동적 계획법MDPhttps://jepetolee.github.io/en/insight/self-supervised-learning/https://jepetolee.github.io/en/insight/self-supervised-learning/라벨 없이 표현을 배우는 자기지도학습을 세 계열로 정리한다 — 가려진 것을 맞히는 예측(MAE), 같은 것끼리 당기고 다른 것끼리 미는 대조 학습(SimCLR), 그리고 negative 없이 교사-학생의 출력을 맞추는 자기증류(BYOL/DINO). 각 계열이 붕괴(collapse)를 어떻게 피하는지가 핵심 축이다.Thu, 02 Jul 2026 00:00:00 GMT컴퓨터 비전머신 러닝자기지도학습표현 학습https://jepetolee.github.io/en/insight/speaker-recognition/https://jepetolee.github.io/en/insight/speaker-recognition/Speaker Recognition을 Identification(1:N 분류)과 Verification(1:1 판정)으로 구분하고, 화자 임베딩 파이프라인(인코더 → 풀링 → 스코어링)과 평가 지표(EER, minDCF)를 정리한다. i-vector에서 x-vector, ResNet-SE 계열, ECAPA-TDNN까지의 아키텍처 계보와, 얼굴 인식에서 건너온 AAM-softmax(ArcFace)가 임베딩 간 거리를 벌리는 원리까지.Thu, 02 Jul 2026 00:00:00 GMTASR머신 러닝화자 인식화자 검증메트릭 러닝https://jepetolee.github.io/en/papers/a3c/https://jepetolee.github.io/en/papers/a3c/DQN의 안정화 장치였던 experience replay를 병렬 비동기 actor들로 대체한다 — 서로 다른 환경 인스턴스를 도는 16개 스레드가 데이터의 상관을 자연히 깨므로, on-policy 방법도 심층망 위에서 안정적으로 학습된다. 그 대표인 A3C(n-step advantage actor-critic + 엔트로피 정규화)는 GPU 없이 CPU 4일 만에 Atari SOTA를 절반의 시간으로 경신했다.Thu, 02 Jul 2026 00:00:00 GMT강화학습ICMLGoogle DeepMindA3CA2CActor-CriticAtarihttps://jepetolee.github.io/en/papers/actor-critic/https://jepetolee.github.io/en/papers/actor-critic/시행착오로 행동을 탐색하는 ASE(actor)와, 실패 신호만 주어지는 환경에서 더 촘촘한 내부 평가 신호를 스스로 만들어 ASE를 안내하는 ACE(critic)의 2요소 시스템을 제안한다. 운동 방정식을 모른 채 실패 신호만으로 cart-pole을 세우는 데 성공한, actor-critic 구조의 원전.Thu, 02 Jul 2026 00:00:00 GMT강화학습인공신경망Actor-Criticcart-pole신용 할당https://jepetolee.github.io/en/papers/alexnet/https://jepetolee.github.io/en/papers/alexnet/5개 conv + 3개 FC, 60M 파라미터의 대형 CNN을 ReLU, dropout, 데이터 증강, 2-GPU 분산으로 ImageNet에서 학습해 ILSVRC-2012 top-5 오류 15.3%로 2위(26.2%)를 압도했다. 딥러닝 기반 컴퓨터 비전 시대를 연 논문.Thu, 02 Jul 2026 00:00:00 GMT컴퓨터 비전인공신경망NeurIPSAlexNetCNNImageNethttps://jepetolee.github.io/en/papers/arcface/https://jepetolee.github.io/en/papers/arcface/임베딩과 클래스 가중치를 정규화해 로짓을 각도의 코사인으로 환원하고, 정답 클래스의 각도에 가산 마진 m을 더하는 additive angular margin(AAM) softmax를 제안한다. 초구면 위 측지 거리에 정확히 대응하는 마진으로 얼굴 인식 벤치마크를 석권했고, 이후 화자 검증 임베딩 학습의 표준 손실로 이식됐다.Thu, 02 Jul 2026 00:00:00 GMT컴퓨터 비전CVPRArcFaceAAM-softmax얼굴 인식메트릭 러닝화자 인식https://jepetolee.github.io/en/papers/backpropagation/https://jepetolee.github.io/en/papers/backpropagation/다층 신경망의 모든 가중치에 대한 오차의 편미분을 출력층에서 입력층으로 연쇄법칙을 따라 전파하며 계산하는 back-propagation을 제시한다. 은닉 유닛들이 태스크의 내부 표현을 스스로 구성함을 대칭 검출과 가계도 과제로 보였다 — 퍼셉트론의 한계를 넘어 표현 학습이라는 개념을 연 4페이지.Thu, 02 Jul 2026 00:00:00 GMT머신 러닝인공신경망역전파경사하강법https://jepetolee.github.io/en/papers/bahdanau-attention/https://jepetolee.github.io/en/papers/bahdanau-attention/인코더-디코더의 고정 길이 벡터 병목을 지적하고, 디코더가 매 출력 단어마다 소스 문장의 관련 위치를 미분 가능한 soft alignment로 골라 읽는 어텐션 메커니즘을 제안한다. 긴 문장에서의 성능 붕괴를 해소하고 번역과 정렬을 하나의 목적함수로 동시에 학습한다.Thu, 02 Jul 2026 00:00:00 GMT자연어 처리ICLR어텐션기계 번역RNNhttps://jepetolee.github.io/en/papers/bert/https://jepetolee.github.io/en/papers/bert/토큰의 15%를 가리고 원래 토큰을 맞히는 Masked LM으로, 좌우 문맥을 모든 층에서 동시에 조건화하는 깊은 양방향 Transformer 인코더를 사전학습한다. 출력층 하나만 얹는 미세조정으로 GLUE, SQuAD 등 11개 태스크의 SOTA를 갈아치웠다.Thu, 02 Jul 2026 00:00:00 GMT자연어 처리NAACLGoogle ResearchBERT사전학습언어 모델https://jepetolee.github.io/en/papers/cam/https://jepetolee.github.io/en/papers/cam/Global average pooling 뒤의 선형 분류 가중치를 conv feature map에 되돌려 곱하면, 클래스별로 판별에 기여한 영역의 지도(Class Activation Map)를 얻을 수 있음을 보인다. 위치 라벨 없이 학습한 분류기만으로 ILSVRC 약지도 위치추정 top-5 오류 37.1%를 달성했다.Thu, 02 Jul 2026 00:00:00 GMT컴퓨터 비전CVPRCAM모델 해석약지도 학습CNNhttps://jepetolee.github.io/en/papers/cbam/https://jepetolee.github.io/en/papers/cbam/SE의 채널 어텐션에 공간 어텐션을 직렬로 추가한 경량 모듈을 제안한다. 채널 축에서는 avg+max 이중 풀링과 공유 MLP로 "무엇을", 공간 축에서는 채널 방향 풀링과 7×7 conv로 "어디를" 강조하며, 채널→공간 순서가 최적임을 ablation으로 보였다.Thu, 02 Jul 2026 00:00:00 GMT컴퓨터 비전인공신경망ECCVCBAM어텐션CNNhttps://jepetolee.github.io/en/papers/clip/https://jepetolee.github.io/en/papers/clip/웹에서 모은 4억 쌍의 (이미지, 텍스트)로 이미지 인코더와 텍스트 인코더를 대조 학습해, 배치 내 올바른 짝을 맞히는 사전학습만으로 임의의 분류 태스크를 프롬프트로 제로샷 수행한다. ImageNet 제로샷 76.2%로 지도학습 ResNet-50과 대등하며, 분포 이동 강건성에서 지도 모델을 압도한다.Thu, 02 Jul 2026 00:00:00 GMT컴퓨터 비전자연어 처리ICMLOpenAICLIP대조 학습제로샷멀티모달https://jepetolee.github.io/en/papers/conformer/https://jepetolee.github.io/en/papers/conformer/어텐션의 전역 문맥과 depthwise convolution의 국소 패턴 모델링을 한 블록 안에 결합한 Conformer를 제안한다. macaron식 반스텝 FFN 두 개 사이에 상대 위치 어텐션과 conv 모듈을 끼운 블록으로, LibriSpeech에서 WER 1.9/3.9%(LM 포함)의 SOTA를 달성하며 음성 인식 인코더의 표준이 됐다.Thu, 02 Jul 2026 00:00:00 GMTASRGoogle ResearchConformerTransformer음성 인식CNNhttps://jepetolee.github.io/en/papers/ctc/https://jepetolee.github.io/en/papers/ctc/프레임별 정렬 라벨 없이 시퀀스 수준 라벨만으로 RNN을 학습하는 CTC 손실을 제안한다. blank 토큰을 도입하고, 타깃으로 접히는 모든 경로의 확률 합을 forward-backward 동적 계획법으로 미분 가능하게 계산해, TIMIT 음소 인식에서 HMM과 하이브리드를 모두 넘어섰다.Thu, 02 Jul 2026 00:00:00 GMTASR머신 러닝ICMLCTC음소 인식LSTMhttps://jepetolee.github.io/en/papers/deep-speech-2/https://jepetolee.github.io/en/papers/deep-speech-2/스펙트로그램 → conv → 깊은 순환층 → CTC라는 단일 end-to-end 시스템을 만 시간 규모 데이터와 HPC 최적화(16-GPU 동기 SGD, GPU CTC, 커스텀 all-reduce)로 학습해, 영어와 중국어 모두에서 손수 설계된 파이프라인을 대체한다. 읽기 음성 벤치마크 4개 중 3개에서 인간 전사자를 넘어섰다.Thu, 02 Jul 2026 00:00:00 GMTASRICMLDeep Speech음성 인식CTCHPChttps://jepetolee.github.io/en/papers/deformable-cnn/https://jepetolee.github.io/en/papers/deformable-cnn/convolution의 고정된 k×k 샘플링 격자에 학습된 2D offset을 더해, 필터가 물체의 크기와 형태를 따라 휘어지게 만드는 deformable convolution을 제안한다. 분수 offset은 bilinear 보간으로 처리하며, ResNet-101의 마지막 3개 conv층만 교체해도 COCO 검출과 semantic segmentation이 크게 개선된다.Thu, 02 Jul 2026 00:00:00 GMT컴퓨터 비전인공신경망ICCVMicrosoft ResearchDeformable ConvolutionCNN객체 검출https://jepetolee.github.io/en/papers/deit/https://jepetolee.github.io/en/papers/deit/강한 증강·정규화 레시피와 convnet 교사의 hard label을 어텐션으로 받는 증류 토큰으로, JFT-300M 없이 ImageNet-1k만으로 ViT를 학습한다. DeiT-B 증류 모델은 8-GPU 3일 학습으로 top-1 85.2%(384px)에 도달해 JFT 사전학습 ViT-B를 넘어섰다.Thu, 02 Jul 2026 00:00:00 GMT컴퓨터 비전ICMLMeta AIDeiT지식 증류Transformerhttps://jepetolee.github.io/en/papers/dinov2/https://jepetolee.github.io/en/papers/dinov2/12억 장의 웹 이미지에서 검색 기반으로 큐레이션한 LVD-142M 위에, DINO(이미지 수준)와 iBOT(패치 수준 마스킹) 손실을 결합해 1.1B ViT-g를 학습하고 소형 모델로 증류한다. frozen feature만으로 OpenCLIP을 넘는, 텍스트 감독 없는 범용 시각 backbone을 실증했다.Thu, 02 Jul 2026 00:00:00 GMT컴퓨터 비전Meta AIDINOv2자기지도학습파운데이션 모델데이터셋https://jepetolee.github.io/en/papers/dinov3/https://jepetolee.github.io/en/papers/dinov3/자기지도 비전 모델을 ViT-7B와 17억 장 큐레이션 데이터로 스케일링하며, 장기 학습에서 dense feature가 열화되는 문제를 초기 체크포인트의 Gram 행렬에 패치 특징을 정박시키는 Gram anchoring으로 해결한다. frozen backbone만으로 분할·깊이·대응 등 dense 태스크에서 자기·약지도 모델 전부를 크게 앞선다.Thu, 02 Jul 2026 00:00:00 GMT컴퓨터 비전Meta AIDINOv3자기지도학습파운데이션 모델https://jepetolee.github.io/en/papers/ecapa-tdnn/https://jepetolee.github.io/en/papers/ecapa-tdnn/x-vector의 TDNN에 1D SE-Res2Net 블록(채널 게이팅 + 다중 스케일), 전 층 특징 결합(MFA), 채널·문맥 의존 attentive statistics pooling을 더하고 AAM-softmax로 학습한다. VoxCeleb1-O EER 0.87%로 TDNN·ResNet 계열 베이스라인을 모두 넘어 현대 화자 검증의 사실상 표준이 됐다.Thu, 02 Jul 2026 00:00:00 GMTASR인공신경망ECAPA-TDNN화자 인식어텐션TDNNhttps://jepetolee.github.io/en/papers/dyna-q/https://jepetolee.github.io/en/papers/dyna-q/실제 경험으로는 가치·정책과 함께 세계 모델을 배우고, 그 모델이 생성한 가상 경험에도 같은 갱신 규칙을 적용해 반응(학습)과 계획을 하나의 알고리즘으로 통합하는 Dyna 아키텍처를 제안한다. 미로 실험에서 스텝당 가상 갱신 100회가 학습을 극적으로 가속하고, 탐험 보너스를 더한 Dyna-Q+는 변하는 환경(차단·지름길)에도 적응한다.Thu, 02 Jul 2026 00:00:00 GMT강화학습ICMLDyna-Qmodel-based RL계획https://jepetolee.github.io/en/papers/ecapa2/https://jepetolee.github.io/en/papers/ecapa2/화자 검증의 양대 계열 — 시간 모델링에 강한 1D TDNN(ECAPA)과 주파수 이동 불변성을 가진 2D ResNet — 을 하나로 잇는다. 2D conv 국소 특징 추출기 뒤에 1D 전역 통합 망을 붙이고, margin-mixup과 가변 길이 학습을 더해 VoxCeleb1-O EER 0.34%로 ECAPA-TDNN(0.87%)을 절반 이하로 낮췄다.Thu, 02 Jul 2026 00:00:00 GMTASR인공신경망ECAPA2화자 인식TDNNhttps://jepetolee.github.io/en/papers/efficientnet/https://jepetolee.github.io/en/papers/efficientnet/깊이, 너비, 해상도 중 하나만 키우면 정확도가 조기 포화됨을 보이고, 세 축을 α^φ, β^φ, γ^φ로 함께 키우는 compound scaling을 제안한다. NAS로 찾은 MBConv+SE 기반 B0에 이를 적용한 B7이 8.4배 적은 파라미터로 ImageNet 84.3%를 달성했다.Thu, 02 Jul 2026 00:00:00 GMT컴퓨터 비전인공신경망ICMLGoogle ResearchEfficientNetNASCNNhttps://jepetolee.github.io/en/papers/elmo/https://jepetolee.github.io/en/papers/elmo/대규모 코퍼스로 학습한 양방향 LSTM 언어 모델의 내부 상태들을 태스크별 가중합으로 결합해, 단어 하나에 고정 벡터 하나가 아니라 문장 전체의 함수인 문맥화된 표현을 부여한다. 기존 모델에 이 표현을 이어붙이는 것만으로 QA, NLI, SRL 등 6개 태스크에서 일제히 SOTA를 경신했다.Thu, 02 Jul 2026 00:00:00 GMT자연어 처리NAACLELMo단어 임베딩사전학습LSTMhttps://jepetolee.github.io/en/papers/glove/https://jepetolee.github.io/en/papers/glove/단어 벡터의 선형 유추 구조가 어디서 오는지 분석하고, 동시등장 확률의 비율을 인코딩하도록 로그-쌍선형 회귀 목적함수를 유도한다. 전역 동시등장 행렬의 0이 아닌 원소만으로 학습해 word analogy 75%로 당시 SOTA를 달성했다.Thu, 02 Jul 2026 00:00:00 GMT자연어 처리EMNLPGloVe단어 임베딩Stanfordhttps://jepetolee.github.io/en/papers/gpt-1/https://jepetolee.github.io/en/papers/gpt-1/Transformer 디코더를 대규모 비지도 텍스트로 언어 모델링 사전학습한 뒤, 태스크별 아키텍처 대신 입력 변환만으로 각 태스크에 미세조정하는 2단계 프레임을 제시한다. 단일 task-agnostic 모델이 12개 벤치마크 중 9개에서 SOTA를 경신했다.Thu, 02 Jul 2026 00:00:00 GMT자연어 처리OpenAIGPT-1사전학습언어 모델Transformerhttps://jepetolee.github.io/en/papers/gpt-3/https://jepetolee.github.io/en/papers/gpt-3/175B 파라미터 자기회귀 언어 모델을 300B 토큰으로 학습하면, 그래디언트 업데이트 없이 프롬프트 안의 시연 몇 개만으로 새 태스크를 수행하는 few-shot 인컨텍스트 학습이 창발하며 그 효율이 모델 크기에 따라 부드럽게 상승함을 보인다.Thu, 02 Jul 2026 00:00:00 GMT자연어 처리NeurIPSOpenAIGPT-3인컨텍스트 학습언어 모델https://jepetolee.github.io/en/papers/grad-cam/https://jepetolee.github.io/en/papers/grad-cam/클래스 점수의 그래디언트를 feature map에 대해 전역 평균한 값을 채널 중요도로 삼아, GAP 구조 요구와 재학습 없이 임의의 CNN에서 클래스 판별적 히트맵을 뽑는 Grad-CAM을 제안한다. GAP-선형 구조에서 CAM과 수학적으로 일치함을 증명해 엄밀한 일반화임을 보였다.Thu, 02 Jul 2026 00:00:00 GMT컴퓨터 비전ICCVGrad-CAM모델 해석CNNhttps://jepetolee.github.io/en/papers/hubert/https://jepetolee.github.io/en/papers/hubert/MFCC의 k-means 클러스터를 의사 라벨로 삼아 마스킹된 프레임의 클러스터를 맞히는 BERT식 masked prediction으로 음성 표현을 사전학습하고, 배운 표현을 다시 클러스터링해 타깃을 반복 개선한다. 손실을 마스킹 영역에만 걸면 타깃 품질이 나빠도 학습이 성립하며, wav2vec 2.0을 전 구간에서 앞선다.Thu, 02 Jul 2026 00:00:00 GMTASRMeta AIHuBERT자기지도학습Transformerhttps://jepetolee.github.io/en/papers/i-vector/https://jepetolee.github.io/en/papers/i-vector/화자 공간과 채널 공간을 따로 모델링하던 JFA 대신, 둘을 구분하지 않는 단일 저차원 총변동(total variability) 공간을 요인 분석으로 정의하고 발화를 그 공간의 잠재 벡터(i-vector)로 요약한다. 채널 보상은 저차원에서 WCCN/LDA로 처리하고 코사인 거리만으로 스코어링해, 등록 과정 없는 단순한 시스템으로 NIST SRE에서 JFA를 넘어섰다.Thu, 02 Jul 2026 00:00:00 GMTASR머신 러닝i-vector화자 인식요인 분석https://jepetolee.github.io/en/papers/instructgpt/https://jepetolee.github.io/en/papers/instructgpt/SFT → 보상 모델 학습 → PPO라는 3단계 RLHF 파이프라인으로 GPT-3를 사용자 지시에 정렬한다. 인간 평가에서 1.3B InstructGPT의 출력이 100배 큰 175B GPT-3보다 선호되었고, 사전학습 그래디언트 혼합(PPO-ptx)으로 정렬세를 상쇄하는 방법까지 제시했다.Thu, 02 Jul 2026 00:00:00 GMT자연어 처리강화학습NeurIPSOpenAIInstructGPTRLHFPPOhttps://jepetolee.github.io/en/papers/lenet/https://jepetolee.github.io/en/papers/lenet/국소 수용 영역, 가중치 공유, 서브샘플링이라는 세 원리로 이동·왜곡 불변성을 구조에 내장한 convolutional network(LeNet-5)를 집대성하고, MNIST를 구축해 손글씨 숫자 인식 오류율 0.95%(왜곡 증강 시 0.8%)를 달성한다. 미분 가능한 모듈의 합성으로 시스템 전체를 end-to-end 학습한다는 사상까지 담은 CNN의 원전.Thu, 02 Jul 2026 00:00:00 GMT컴퓨터 비전인공신경망LeNetCNNMNIST문자 인식https://jepetolee.github.io/en/papers/lstm/https://jepetolee.github.io/en/papers/lstm/RNN의 역전파 오차가 시간을 거슬러 갈수록 지수적으로 소멸하거나 폭발함을 분석하고, 자기 재귀 가중치를 1.0으로 고정한 선형 유닛(상수 오차 회전목마)에 곱셈형 입력/출력 게이트를 붙인 메모리 셀 아키텍처로 1000스텝이 넘는 최소 시간 간격을 학습할 수 있음을 보인다.Thu, 02 Jul 2026 00:00:00 GMT인공신경망자연어 처리LSTMRNN시퀀스 모델링https://jepetolee.github.io/en/papers/mae/https://jepetolee.github.io/en/papers/mae/패치의 75%를 무작위로 가리고, 인코더는 보이는 25%만 처리하며, 가벼운 디코더가 마스크 토큰으로 픽셀을 복원하는 비대칭 masked autoencoder를 제안한다. 3배 이상 빠른 사전학습으로 ViT-H가 ImageNet-1k만으로 87.8%를 달성했고, 검출·분할 전이에서도 지도 사전학습을 크게 앞선다.Thu, 02 Jul 2026 00:00:00 GMT컴퓨터 비전CVPRMeta AIMAE자기지도학습Transformerhttps://jepetolee.github.io/en/papers/mobilenet/https://jepetolee.github.io/en/papers/mobilenet/표준 convolution을 depthwise(채널별 공간 필터)와 pointwise(1×1 채널 혼합)로 분해해 계산량을 8~9배 줄인 경량 아키텍처를 제안한다. 너비 배수 α와 해상도 배수 ρ로 지연시간-정확도 트레이드오프를 연속적으로 조절하며, VGG16의 1/30 계산량으로 거의 같은 ImageNet 정확도를 낸다.Thu, 02 Jul 2026 00:00:00 GMT컴퓨터 비전인공신경망Google ResearchMobileNet경량화CNNhttps://jepetolee.github.io/en/papers/q-learning/https://jepetolee.github.io/en/papers/q-learning/상태-행동 가치 Q(s,a)를 경험된 전이 하나와 다음 상태의 max Q로 갱신하는 Q-learning이, 모든 상태-행동을 무한히 방문하고 학습률이 Robbins-Monro 조건을 만족하면 확률 1로 최적 Q*에 수렴함을 증명한다. 행동을 어떻게 골랐든 최적 정책의 가치를 배우는 off-policy 학습의 기초 정리.Thu, 02 Jul 2026 00:00:00 GMT강화학습머신 러닝Q-learningoff-policy동적 계획법https://jepetolee.github.io/en/papers/rawnet/https://jepetolee.github.io/en/papers/rawnet/전처리 없는 raw waveform을 strided conv → residual 블록 → GRU로 처리해 발화 수준 화자 임베딩을 뽑는 end-to-end 시스템. VoxCeleb1에서 스펙트로그램 기반 시스템과 동급 이상(EER 4.0%)을 달성했고, 후속 RawNet2가 첫 층을 SincNet의 sinc 필터로 교체하며 raw waveform 노선을 굳혔다.Thu, 02 Jul 2026 00:00:00 GMTASR인공신경망RawNet화자 인식raw waveformhttps://jepetolee.github.io/en/papers/reinforce/https://jepetolee.github.io/en/papers/reinforce/확률적 유닛을 가진 신경망에서 Δw = α(r − b)·∂ln g/∂w 형태의 갱신이 기대 보상의 그래디언트를 편향 없이 따라감을 증명한다. baseline의 무편향성, 에피소드 확장, 가우시안 유닛(연속 행동)까지 — 정책 그래디언트와 그 분산 축소 장치들의 수학적 원전.Thu, 02 Jul 2026 00:00:00 GMT강화학습머신 러닝REINFORCEPolicy Gradient인공신경망https://jepetolee.github.io/en/papers/resnet/https://jepetolee.github.io/en/papers/resnet/깊은 plain 망이 얕은 망보다 학습 오류조차 높아지는 열화 문제를 지적하고, 층이 H(x) 대신 잔차 F(x) = H(x) - x를 배우게 하는 항등 지름길 연결로 이를 해결한다. 152층 ResNet으로 ILSVRC-2015 우승(top-5 3.57%), residual connection은 이후 모든 딥러닝 아키텍처의 기본 부품이 됐다.Thu, 02 Jul 2026 00:00:00 GMT컴퓨터 비전인공신경망CVPRResNetResidual ConnectionCNNImageNetMicrosoft Researchhttps://jepetolee.github.io/en/papers/rnn-t/https://jepetolee.github.io/en/papers/rnn-t/CTC의 두 한계 — 출력 간 조건부 독립 가정과 출력 길이 ≤ 입력 길이 제약 — 를 해결하는 RNN Transducer를 제안한다. 음향을 읽는 transcription 망과 이전 출력을 읽는 자기회귀 prediction 망을 (t, u) 격자 위에서 결합하고, forward-backward로 모든 정렬의 우도를 정확히 계산한다. TIMIT에서 CTC를 넘었고, 훗날 스트리밍 음성 인식의 표준 프레임이 된다.Thu, 02 Jul 2026 00:00:00 GMTASR머신 러닝RNN-T음성 인식LSTMhttps://jepetolee.github.io/en/papers/scaling-laws/https://jepetolee.github.io/en/papers/scaling-laws/언어 모델의 교차엔트로피 손실이 모델 크기, 데이터 크기, 학습 연산량 각각에 대해 6~8 자릿수에 걸친 멱법칙을 따름을 실증한다. 아키텍처 모양은 거의 무관하며, 고정된 연산 예산에서는 아주 큰 모델을 수렴 전에 멈추는 것이 최적이라는 compute-optimal 학습 원칙을 도출했다.Thu, 02 Jul 2026 00:00:00 GMT자연어 처리머신 러닝OpenAI스케일링 법칙언어 모델https://jepetolee.github.io/en/papers/sac/https://jepetolee.github.io/en/papers/sac/기대 보상에 정책 엔트로피를 더한 최대 엔트로피 목적을 off-policy actor-critic으로 최적화한다. soft policy iteration의 수렴 증명 위에, 이중 Q 네트워크와 reparameterization으로 실용 알고리즘을 만들어 — 표본 효율은 on-policy(PPO)를, 안정성은 DDPG를 압도하며 Humanoid급 고차원 연속 제어의 표준이 됐다.Thu, 02 Jul 2026 00:00:00 GMT강화학습ICMLSACActor-Critic최대 엔트로피연속 제어https://jepetolee.github.io/en/papers/senet/https://jepetolee.github.io/en/papers/senet/전역 평균 풀링으로 채널별 통계를 짜내고(squeeze) 두 FC층의 게이트로 채널별 중요도를 계산해(excitation) feature map을 재보정하는 SE 블록을 제안한다. 계산량 0.26% 추가로 ImageNet 오류를 일관되게 낮추며 ILSVRC-2017에서 우승했다.Thu, 02 Jul 2026 00:00:00 GMT컴퓨터 비전인공신경망CVPRSENet어텐션CNNImageNethttps://jepetolee.github.io/en/papers/seq2seq/https://jepetolee.github.io/en/papers/seq2seq/인코더 LSTM이 입력 문장을 고정 차원 벡터로 압축하고 디코더 LSTM이 그 벡터를 조건으로 출력 문장을 생성하는 end-to-end 번역 모델을 제시한다. 입력 문장을 뒤집는 트릭과 4층 deep LSTM으로 WMT14 En-Fr에서 순수 신경망 번역이 처음으로 구문 기반 SMT 베이스라인을 넘어섰다.Thu, 02 Jul 2026 00:00:00 GMT자연어 처리NeurIPSGoogle ResearchSeq2Seq기계 번역LSTMhttps://jepetolee.github.io/en/papers/siglip/https://jepetolee.github.io/en/papers/siglip/CLIP의 softmax 대조 손실을 이미지-텍스트 쌍마다 독립인 sigmoid 이진 분류로 바꿔, 배치 전체에 대한 전역 정규화와 그로 인한 메모리·통신 비용을 제거한다. 작은 배치에서 softmax를 크게 앞서고, TPUv4 4개·이틀 만에 ImageNet 제로샷 84.5%(SigLiT)를 달성했으며, 배치 100만까지 키워도 32k에서 포화함을 보였다.Thu, 02 Jul 2026 00:00:00 GMT컴퓨터 비전자연어 처리ICCVGoogle DeepMindSigLIP대조 학습멀티모달https://jepetolee.github.io/en/papers/simclr/https://jepetolee.github.io/en/papers/simclr/메모리 뱅크나 특수 구조 없이 — 강한 증강 조합, ResNet 인코더, projection head, NT-Xent 손실, 큰 배치 — 만으로 대조 학습의 SOTA를 크게 끌어올린 프레임워크. linear evaluation에서 ResNet-50(4×) 76.5%로 지도학습 베이스라인과 대등해졌다.Thu, 02 Jul 2026 00:00:00 GMT컴퓨터 비전머신 러닝ICMLGoogle ResearchSimCLR대조 학습자기지도학습https://jepetolee.github.io/en/papers/sincnet/https://jepetolee.github.io/en/papers/sincnet/raw waveform을 받는 CNN의 첫 conv층을 sinc 함수 두 개의 차로 매개화해, 필터당 저·고 차단 주파수 2개만 학습하는 SincNet을 제안한다. 필터 계수 전체를 배우는 CNN보다 빠르게 수렴하고 화자 식별·검증 모두에서 앞서며, 학습된 필터가 피치·포먼트 대역으로 수렴해 해석까지 가능하다.Thu, 02 Jul 2026 00:00:00 GMTASR인공신경망SincNet화자 인식raw waveformCNNhttps://jepetolee.github.io/en/papers/swin-v2/https://jepetolee.github.io/en/papers/swin-v2/비전 Transformer를 3B 파라미터와 1536px 해상도로 키울 때 만나는 세 가지 벽 — 깊은 층 활성 폭주, 사전학습-미세조정 해상도 격차, GPU 메모리 — 을 res-post-norm, scaled cosine attention, 로그 간격 연속 위치 바이어스로 해결한다. SwinV2-G는 COCO 63.1 AP, ADE20K 59.9 mIoU 등 4개 벤치마크 SOTA를 갱신했다.Thu, 02 Jul 2026 00:00:00 GMT컴퓨터 비전CVPRMicrosoft ResearchSwin TransformerTransformer스케일링 법칙https://jepetolee.github.io/en/papers/swin/https://jepetolee.github.io/en/papers/swin/어텐션을 7×7 국소 윈도우 안으로 제한해 복잡도를 이미지 크기에 선형으로 만들고, 블록마다 윈도우를 반 칸 이동시켜 윈도우 간 정보를 섞는다. patch merging으로 CNN식 4단계 계층 feature를 복원해, 분류를 넘어 COCO 검출과 ADE20K 분할까지 전 태스크 SOTA를 달성한 범용 백본이다.Thu, 02 Jul 2026 00:00:00 GMT컴퓨터 비전ICCVMicrosoft ResearchSwin TransformerTransformer객체 검출https://jepetolee.github.io/en/papers/t5/https://jepetolee.github.io/en/papers/t5/번역, 요약, 분류, QA를 전부 "텍스트 입력 → 텍스트 출력"으로 통일한 프레임 위에서, 아키텍처·목적함수·데이터·학습 전략을 동일 조건으로 체계 비교한 대규모 연구. C4 데이터셋을 공개하고, 그 결론들을 모아 11B 모델로 GLUE 90.3, SuperGLUE 88.9를 달성했다.Thu, 02 Jul 2026 00:00:00 GMT자연어 처리Google ResearchT5사전학습전이 학습언어 모델https://jepetolee.github.io/en/papers/td-learning/https://jepetolee.github.io/en/papers/td-learning/최종 결과와의 오차로 배우는 지도학습 대신, 연속된 두 예측의 차이로 배우는 시간차(TD) 학습을 형식화한다. TD(λ) 계열을 정의하고, TD(1)이 Widrow-Hoff와 동치임을, 선형 TD(0)가 마르코프 과정에서 최적 예측으로 수렴함을 증명하며, 다단계 예측 문제에서 TD가 지도학습보다 메모리도 덜 쓰고 더 정확함을 보인다.Thu, 02 Jul 2026 00:00:00 GMT강화학습머신 러닝TD 학습시간차 학습신용 할당https://jepetolee.github.io/en/papers/tdnn/https://jepetolee.github.io/en/papers/tdnn/유닛 입력에 시간 지연을 두고, 시간축으로 복제된 유닛들이 가중치를 공유하도록 제약해 시간 이동 불변성을 학습하는 Time-Delay Neural Network를 제안한다. 유성 파열음 B/D/G 인식에서 당시 최선의 HMM(93.7%)을 98.5%로 압도했고, 시간축 weight sharing이라는 아이디어는 1D convolution의 원형이 됐다.Thu, 02 Jul 2026 00:00:00 GMTASR인공신경망TDNN음소 인식CNNhttps://jepetolee.github.io/en/papers/transformer/https://jepetolee.github.io/en/papers/transformer/순환도 합성곱도 없이 어텐션만으로 구성한 인코더-디코더 아키텍처를 제안한다. Scaled dot-product attention과 multi-head attention으로 임의 위치 간 경로 길이를 O(1)로 줄이고 완전 병렬 학습을 가능하게 해, WMT14 En-De 28.4 BLEU를 훨씬 적은 학습 비용으로 달성했다.Thu, 02 Jul 2026 00:00:00 GMT자연어 처리NeurIPSGoogle ResearchTransformer어텐션기계 번역https://jepetolee.github.io/en/papers/vgg/https://jepetolee.github.io/en/papers/vgg/필터를 3×3 하나로 통일하고 깊이만 11층에서 19층까지 늘리는 통제 실험으로, 깊이가 CNN 성능의 핵심 변수임을 보였다. VGG16/19는 ILSVRC-2014 준우승과 함께 이후 수년간 전이학습의 표준 backbone이 됐다.Thu, 02 Jul 2026 00:00:00 GMT컴퓨터 비전인공신경망ICLRVGGCNNImageNethttps://jepetolee.github.io/en/papers/vit/https://jepetolee.github.io/en/papers/vit/이미지를 16×16 패치 시퀀스로 잘라 표준 Transformer 인코더에 그대로 넣는 Vision Transformer를 제안한다. ImageNet만으로는 ResNet에 밀리지만 JFT-300M 사전학습에서는 압도한다 — 데이터가 충분하면 대규모 학습이 CNN의 inductive bias를 이긴다는 것이 핵심 논지다.Thu, 02 Jul 2026 00:00:00 GMT컴퓨터 비전ICLRGoogle ResearchViTTransformerImageNethttps://jepetolee.github.io/en/papers/wav2vec2/https://jepetolee.github.io/en/papers/wav2vec2/raw waveform을 CNN으로 인코딩하고 잠재 표현의 span을 마스킹해, Transformer의 출력이 해당 위치의 양자화된 표현을 distractor들 사이에서 맞히는 대조 학습으로 사전학습한다. 라벨 없는 5.3만 시간 사전학습 후 라벨 10분 미세조정만으로 LibriSpeech WER 4.8/8.2를 달성했다.Thu, 02 Jul 2026 00:00:00 GMTASRNeurIPSMeta AIwav2vec자기지도학습TransformerCTChttps://jepetolee.github.io/en/papers/whisper/https://jepetolee.github.io/en/papers/whisper/웹에서 수집·필터링한 68만 시간의 약지도 (오디오, 전사) 쌍으로 표준 인코더-디코더 Transformer를 다국어·다태스크(전사, 번역, 언어 식별, 타임스탬프) 학습한다. 미세조정 없는 제로샷 전이가 목표로, 벤치마크 특화 모델보다 분포 밖 강건성에서 압도적이며(wav2vec 2.0 대비 평균 오류 55% 감소) 인간 전사자에 근접한다.Thu, 02 Jul 2026 00:00:00 GMTASROpenAIWhisper음성 인식제로샷약지도 학습https://jepetolee.github.io/en/papers/word2vec/https://jepetolee.github.io/en/papers/word2vec/은닉층을 제거한 두 가지 로그-선형 아키텍처(CBOW, Skip-gram)로 대규모 코퍼스에서 단어 벡터를 하루 안에 학습할 수 있음을 보인다. 학습된 벡터는 vector("King") - vector("Man") + vector("Woman") ≈ vector("Queen") 같은 벡터 산술로 의미적·구문적 관계를 포착한다.Thu, 02 Jul 2026 00:00:00 GMT자연어 처리ICLRGoogle ResearchWord2Vec단어 임베딩Skip-gramhttps://jepetolee.github.io/en/papers/x-vector/https://jepetolee.github.io/en/papers/x-vector/TDNN 프레임 인코더 + statistics pooling + 화자 분류 학습으로 발화를 고정 차원 임베딩(x-vector)으로 사상하고, 노이즈·잔향 데이터 증강이 i-vector에는 안 통하지만 지도학습 DNN 임베딩에는 크게 통함을 보인다. SITW·SRE16에서 i-vector 계열을 넘어서며 화자 인식의 신경망 임베딩 시대를 연 표준.Thu, 02 Jul 2026 00:00:00 GMTASR머신 러닝x-vector화자 인식TDNN데이터 증강https://jepetolee.github.io/en/papers/ddpm/https://jepetolee.github.io/en/papers/ddpm/데이터에 가우시안 노이즈를 점진적으로 더하는 forward process를 거꾸로 되돌리는 reverse process를 신경망으로 학습해 이미지를 생성한다. 노이즈 자체를 예측하는 ε-parameterization과 단순화된 손실 L_simple로 확산 모델을 실용적인 생성 모델링 방법으로 끌어올렸다.Wed, 01 Jul 2026 00:00:00 GMT컴퓨터 비전디퓨전이미지 생성NeurIPSDDPMU-Nethttps://jepetolee.github.io/en/papers/flow-matching/https://jepetolee.github.io/en/papers/flow-matching/Continuous Normalizing Flow를 시뮬레이션(ODE 적분) 없이 회귀만으로 학습하는 Flow Matching을 제안한다. 고정된 조건부 확률 경로의 벡터장을 직접 회귀하는 것만으로 확산 모델과 동등하거나 더 나은 성능을, 훨씬 적은 샘플링 스텝으로 달성한다.Wed, 01 Jul 2026 00:00:00 GMT컴퓨터 비전디퓨전이미지 생성ICLRFlow MatchingContinuous Normalizing Flowhttps://jepetolee.github.io/en/papers/gpt-2/https://jepetolee.github.io/en/papers/gpt-2/대규모 웹 텍스트(WebText)로 학습한 언어 모델이 별도의 지도학습이나 태스크별 아키텍처 없이도 독해, 번역, 요약, 질의응답 등 다양한 태스크를 제로샷으로 수행할 수 있음을 보인다. 1.5B 파라미터 GPT-2는 테스트한 8개 언어모델링 데이터셋 중 7개에서 SOTA를 달성했다.Wed, 01 Jul 2026 00:00:00 GMT자연어 처리OpenAIGPT-2제로샷언어 모델https://jepetolee.github.io/en/papers/dreamer-v2/https://jepetolee.github.io/en/papers/dreamer-v2/Dreamer의 연속 잠재를 범주형(categorical) 잠재로 바꾸고 KL 밸런싱을 도입해, 단일 월드 모델로 인간 수준 Atari 성능을 달성한 모델.Tue, 25 Oct 2022 00:00:00 GMT강화학습월드 모델인공신경망ICLRGoogle DeepMindDreamerWorld ModelAtarihttps://jepetolee.github.io/en/papers/dreamer/https://jepetolee.github.io/en/papers/dreamer/PlaNet의 RSSM 위에서 actor-critic을 잠재 상상(imagination) 롤아웃으로 학습해, 계획 비용 없이 높은 표본 효율을 달성한 모델.Wed, 12 Oct 2022 00:00:00 GMT강화학습월드 모델인공신경망ICLRGoogle DeepMindDreamerRSSMWorld Modelhttps://jepetolee.github.io/en/insight/icrl/https://jepetolee.github.io/en/insight/icrl/RSSM 기반 Dreamer 모델을 코인 트레이딩 강화학습에 적용하고, TDD로 핵심 모듈을 검증한 STAG 프로젝트의 진행 기록.Mon, 10 Oct 2022 00:00:00 GMT강화학습월드 모델인공신경망라이브러리RSSMDreamerPyTorchhttps://jepetolee.github.io/en/insight/stag-2/https://jepetolee.github.io/en/insight/stag-2/클린 코드 적용, 강화학습 보상 환경 재설계, Dreamer 모델 도입, TDD 기반 테스트 코드 작성 등 STAG 프로젝트 2개월간의 진행 상황.Mon, 10 Oct 2022 00:00:00 GMT강화학습월드 모델인공신경망라이브러리STAGDreamerPyTorchhttps://jepetolee.github.io/en/papers/planet/https://jepetolee.github.io/en/papers/planet/픽셀로부터 잠재 동역학을 학습하고, 그 잠재 공간 위에서 모델 예측 제어(MPC)로 직접 계획을 세우는 RSSM 기반 모델.Tue, 27 Sep 2022 00:00:00 GMT강화학습월드 모델ICMLGoogle DeepMindWorld ModelRSSMPlanninghttps://jepetolee.github.io/en/papers/world-models/https://jepetolee.github.io/en/papers/world-models/에이전트가 환경의 압축된 내부 모델을 학습하고, 그 모델이 만든 가상 환경(꿈) 안에서 정책을 훈련한다는 월드 모델 계열의 출발점.Tue, 20 Sep 2022 00:00:00 GMT강화학습월드 모델인공신경망NeurIPSWorld ModelVAERNNhttps://jepetolee.github.io/en/papers/ppo/https://jepetolee.github.io/en/papers/ppo/TRPO의 신뢰 영역 아이디어를 클리핑된 목적 함수로 단순화해, 구현 난이도를 크게 낮추면서도 안정적인 정책 학습을 달성한 알고리즘.Sat, 10 Sep 2022 00:00:00 GMT강화학습OpenAIPPOPolicy Gradienthttps://jepetolee.github.io/en/insight/stag-1/https://jepetolee.github.io/en/insight/stag-1/인공신경망 기반 강화학습 자동투자기 STAG의 첫 개발 기록. 이전 프로젝트의 실패 원인을 코드와 알고리즘 관점에서 분석한다.Fri, 05 Aug 2022 00:00:00 GMT강화학습인공신경망머신 러닝STAG프로젝트