jepetolee's Insight

PAPER REVIEWS

Paper reviews

Organized by category and sub-topic. Within each topic the papers are connected in reference order, so you can read the prerequisites first and follow the thread downward.

83 reviews · 5 categories

머신 러닝

학습 이론 1

  1. 1
    Backpropagation: 오차를 거꾸로 흘려 표현을 배우다
    Learning representations by back-propagating errors 1986

강화학습

Policy Optimization 7

  1. 1
    Actor-Critic의 탄생: ASE와 ACE, 뉴런 둘로 cart-pole을 세우다
    Neuronlike Adaptive Elements That Can Solve Difficult Learning Control Problems 1983
  2. 2
    REINFORCE: 정책 그래디언트의 원전 — 보상 × 로그확률의 기울기
    Simple Statistical Gradient-Following Algorithms for Connectionist Reinforcement Learning 1992

    Based on Backpropagation: 오차를 거꾸로 흘려 표현을 배우다 Actor-Critic의 탄생: ASE와 ACE, 뉴런 둘로 cart-pole을 세우다

  3. 3
    A3C: replay buffer 대신 병렬 — advantage actor-critic의 부활
    Asynchronous Methods for Deep Reinforcement Learning 2016

    Based on Actor-Critic의 탄생: ASE와 ACE, 뉴런 둘로 cart-pole을 세우다 Q-learning: 모델 없이, 정책과 무관하게, 최적 행동 가치로 REINFORCE: 정책 그래디언트의 원전 — 보상 × 로그확률의 기울기 LSTM: 상수 오차 회전목마로 1000스텝의 시간 간격을 건너다

  4. 4
    PPO: 단순함으로 안정적인 정책 최적화
    Proximal Policy Optimization Algorithms 2017

    Based on REINFORCE: 정책 그래디언트의 원전 — 보상 × 로그확률의 기울기 A3C: replay buffer 대신 병렬 — advantage actor-critic의 부활

  5. 5
    SAC: 최대 엔트로피 + off-policy — 연속 제어의 기본값
    Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor 2018

    Based on Actor-Critic의 탄생: ASE와 ACE, 뉴런 둘로 cart-pole을 세우다 Q-learning: 모델 없이, 정책과 무관하게, 최적 행동 가치로 PPO: 단순함으로 안정적인 정책 최적화

  6. 6
    Natural Policy Gradient: 파라미터의 거리가 아니라 분포의 거리로
    A Natural Policy Gradient 2001

    Based on REINFORCE: 정책 그래디언트의 원전 — 보상 × 로그확률의 기울기 Actor-Critic의 탄생: ASE와 ACE, 뉴런 둘로 cart-pole을 세우다

  7. 7
    TRPO: 단조 개선이 보장되는 보폭만큼만 정책을 움직여라
    Trust Region Policy Optimization 2015

    Based on REINFORCE: 정책 그래디언트의 원전 — 보상 × 로그확률의 기울기 Actor-Critic의 탄생: ASE와 ACE, 뉴런 둘로 cart-pole을 세우다 Natural Policy Gradient: 파라미터의 거리가 아니라 분포의 거리로

Value Methods 4

  1. 1
    TD 학습: 결과가 아니라 다음 예측으로 배우다
    Learning to Predict by the Methods of Temporal Differences 1988

    Based on Actor-Critic의 탄생: ASE와 ACE, 뉴런 둘로 cart-pole을 세우다

  2. 2
    Q-learning: 모델 없이, 정책과 무관하게, 최적 행동 가치로
    Q-learning (Technical Note) 1992

    Based on TD 학습: 결과가 아니라 다음 예측으로 배우다

  3. 3
    Dyna: 경험으로 배우고, 상상으로 계획하다
    Integrated Architectures for Learning, Planning, and Reacting Based on Approximating Dynamic Programming 1990

    Based on TD 학습: 결과가 아니라 다음 예측으로 배우다 Q-learning: 모델 없이, 정책과 무관하게, 최적 행동 가치로 Actor-Critic의 탄생: ASE와 ACE, 뉴런 둘로 cart-pole을 세우다

  4. 4
    DQN: 픽셀에서 Q*까지 — deep RL을 성립시킨 두 개의 부품
    Human-level control through deep reinforcement learning 2015

    Based on Q-learning: 모델 없이, 정책과 무관하게, 최적 행동 가치로 AlexNet: 딥러닝이 컴퓨터 비전을 접수한 날

World Models 4

  1. 1
    World Models: 꿈 속에서 정책을 학습하다
    World Models 2018

    Based on Dyna: 경험으로 배우고, 상상으로 계획하다

  2. 2
    PlaNet: 잠재 공간에서 계획하기
    Learning Latent Dynamics for Planning from Pixels (PlaNet) 2019

    Based on World Models: 꿈 속에서 정책을 학습하다

  3. 3
    Dreamer: 상상 속에서 정책을 학습하다
    Dream to Control: Learning Behaviors by Latent Imagination 2020

    Based on PlaNet: 잠재 공간에서 계획하기 World Models: 꿈 속에서 정책을 학습하다

  4. 4
    DreamerV2: 이산 잠재로 Atari를 정복하다
    Mastering Atari with Discrete World Models 2021

    Based on Dreamer: 상상 속에서 정책을 학습하다

Bandits & Exploration 1

  1. 1
    UCB1: 유한 시간에, 균일하게, 로그 regret — 탐험 이론의 표준 도구
    Finite-time Analysis of the Multiarmed Bandit Problem 2002

Planning & Search 3

  1. 1
    UCT: 트리의 모든 노드를 밴딧으로 — MCTS의 이론적 탄생
    Bandit based Monte-Carlo Planning 2006

    Based on UCB1: 유한 시간에, 균일하게, 로그 regret — 탐험 이론의 표준 도구

  2. 2
    AlphaGo: 학습된 사전으로 폭을, 학습된 평가로 깊이를 자르다
    Mastering the game of Go with deep neural networks and tree search 2016

    Based on UCT: 트리의 모든 노드를 밴딧으로 — MCTS의 이론적 탄생 REINFORCE: 정책 그래디언트의 원전 — 보상 × 로그확률의 기울기 AlexNet: 딥러닝이 컴퓨터 비전을 접수한 날

  3. 3
    AlphaGo Zero: 탐색이 곧 정책 개선 연산자 — 백지에서의 GPI
    Mastering the game of Go without human knowledge 2017

    Based on AlphaGo: 학습된 사전으로 폭을, 학습된 평가로 깊이를 자르다 ResNet: 항등 지름길로 152층을 학습하다

RLHF & Alignment 3

  1. 1
    Deep RL from Human Preferences: 보상 함수를 사람의 선호에서 배우다
    Deep Reinforcement Learning from Human Preferences 2017

    Based on TRPO: 단조 개선이 보장되는 보폭만큼만 정책을 움직여라 Q-learning: 모델 없이, 정책과 무관하게, 최적 행동 가치로

  2. 2
    DPO: 당신의 언어 모델은 이미 보상 모델이다
    Direct Preference Optimization: Your Language Model is Secretly a Reward Model 2023

    Based on Deep RL from Human Preferences: 보상 함수를 사람의 선호에서 배우다 InstructGPT: RLHF로 언어 모델을 사용자 의도에 정렬하다 PPO: 단순함으로 안정적인 정책 최적화

  3. 3
    APO: 정렬 목적 함수의 미명세를 앵커로 고정하다
    Anchored Preference Optimization and Contrastive Revisions: Addressing Underspecification in Alignment 2024

    Based on DPO: 당신의 언어 모델은 이미 보상 모델이다

Reasoning RL 7

  1. 1
    DeepSeekMath: critic을 집단 평균으로 대체하다 — GRPO
    DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models 2024

    Based on PPO: 단순함으로 안정적인 정책 최적화 Chain-of-Thought: 중간 추론을 말하게 하면 능력이 창발한다 InstructGPT: RLHF로 언어 모델을 사용자 의도에 정렬하다

  2. 2
    DeepSeek-R1: 검증 가능한 보상만으로 추론이 창발하다
    DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning 2025

    Based on DeepSeekMath: critic을 집단 평균으로 대체하다 — GRPO InstructGPT: RLHF로 언어 모델을 사용자 의도에 정렬하다 Chain-of-Thought: 중간 추론을 말하게 하면 능력이 창발한다

  3. 3
    DAPO: 추론 RL의 훈련 세부를 전부 공개하고 수술하다
    DAPO: An Open-Source LLM Reinforcement Learning System at Scale 2025

    Based on DeepSeekMath: critic을 집단 평균으로 대체하다 — GRPO DeepSeek-R1: 검증 가능한 보상만으로 추론이 창발하다 PPO: 단순함으로 안정적인 정책 최적화

  4. 4
    Training Verifiers (GSM8K): 생성이 못 미더우면 검증자를 세워라 — ORM의 원점
    Training Verifiers to Solve Math Word Problems 2021

    Based on GPT-3: 스케일이 만드는 인컨텍스트 학습

  5. 5
    Let's Verify Step by Step: 결과가 아니라 과정에 보상을 — PRM
    Let's Verify Step by Step 2024

    Based on Training Verifiers (GSM8K): 생성이 못 미더우면 검증자를 세워라 — ORM의 원점 Chain-of-Thought: 중간 추론을 말하게 하면 능력이 창발한다

  6. 6
    Generative Verifiers: 보상 모델링을 다음 토큰 예측으로 — GRM
    Generative Verifiers: Reward Modeling as Next-Token Prediction 2024

    Based on Let's Verify Step by Step: 결과가 아니라 과정에 보상을 — PRM Chain-of-Thought: 중간 추론을 말하게 하면 능력이 창발한다

  7. 7
    rStar-Math: 작은 모델 + MCTS — 알파고 제로의 루프가 수학 추론으로
    rStar-Math: Small LLMs Can Master Math Reasoning with Self-Evolved Deep Thinking 2025

    Based on UCT: 트리의 모든 노드를 밴딧으로 — MCTS의 이론적 탄생 AlphaGo Zero: 탐색이 곧 정책 개선 연산자 — 백지에서의 GPI Let's Verify Step by Step: 결과가 아니라 과정에 보상을 — PRM Chain-of-Thought: 중간 추론을 말하게 하면 능력이 창발한다

자연어 처리

시퀀스 모델링 3

  1. 1
    LSTM: 상수 오차 회전목마로 1000스텝의 시간 간격을 건너다
    Long Short-Term Memory 1997

    Based on Backpropagation: 오차를 거꾸로 흘려 표현을 배우다

  2. 2
    Seq2Seq: LSTM 인코더-디코더로 문장을 문장으로 사상하다
    Sequence to Sequence Learning with Neural Networks 2014

    Based on LSTM: 상수 오차 회전목마로 1000스텝의 시간 간격을 건너다

  3. 3
    Bahdanau Attention: 고정 벡터 병목을 정렬 학습으로 풀다
    Neural Machine Translation by Jointly Learning to Align and Translate 2015

    Based on Seq2Seq: LSTM 인코더-디코더로 문장을 문장으로 사상하다

언어 모델 10

  1. 1
    Transformer: 순환을 버리고 어텐션만 남기다
    Attention Is All You Need 2017

    Based on Seq2Seq: LSTM 인코더-디코더로 문장을 문장으로 사상하다 Bahdanau Attention: 고정 벡터 병목을 정렬 학습으로 풀다

  2. 2
    ELMo: 단어 벡터를 문맥의 함수로 바꾸다
    Deep Contextualized Word Representations 2018

    Based on LSTM: 상수 오차 회전목마로 1000스텝의 시간 간격을 건너다 Word2Vec: 단어의 의미를 벡터 산술로 만들다 GloVe: 동시등장 통계를 직접 회귀하는 전역 단어 벡터

  3. 3
    GPT-1: 생성적 사전학습 + 판별적 미세조정이라는 레시피
    Improving Language Understanding by Generative Pre-Training 2018

    Based on Transformer: 순환을 버리고 어텐션만 남기다 ELMo: 단어 벡터를 문맥의 함수로 바꾸다

  4. 4
    GPT-2: 언어 모델은 이미 비지도 멀티태스크 학습자다
    Language Models are Unsupervised Multitask Learners 2019

    Based on GPT-1: 생성적 사전학습 + 판별적 미세조정이라는 레시피

  5. 5
    BERT: 마스킹으로 모든 층을 양방향으로 사전학습하다
    BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 2019

    Based on Transformer: 순환을 버리고 어텐션만 남기다 ELMo: 단어 벡터를 문맥의 함수로 바꾸다 GPT-1: 생성적 사전학습 + 판별적 미세조정이라는 레시피

  6. 6
    GPT-3: 스케일이 만드는 인컨텍스트 학습
    Language Models are Few-Shot Learners 2020

    Based on GPT-2: 언어 모델은 이미 비지도 멀티태스크 학습자다

  7. 7
    InstructGPT: RLHF로 언어 모델을 사용자 의도에 정렬하다
    Training Language Models to Follow Instructions with Human Feedback 2022

    Based on GPT-3: 스케일이 만드는 인컨텍스트 학습 PPO: 단순함으로 안정적인 정책 최적화

  8. 8
    Scaling Laws: 언어 모델 성능은 멱법칙을 따른다
    Scaling Laws for Neural Language Models 2020

    Based on GPT-2: 언어 모델은 이미 비지도 멀티태스크 학습자다

  9. 9
    T5: 모든 NLP 태스크를 text-to-text 하나로
    Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 2020

    Based on Transformer: 순환을 버리고 어텐션만 남기다 BERT: 마스킹으로 모든 층을 양방향으로 사전학습하다

  10. 10
    Chain-of-Thought: 중간 추론을 말하게 하면 능력이 창발한다
    Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 2022

    Based on GPT-3: 스케일이 만드는 인컨텍스트 학습

단어 임베딩 2

  1. 1
    Word2Vec: 단어의 의미를 벡터 산술로 만들다
    Efficient Estimation of Word Representations in Vector Space 2013
  2. 2
    GloVe: 동시등장 통계를 직접 회귀하는 전역 단어 벡터
    GloVe: Global Vectors for Word Representation 2014

    Based on Word2Vec: 단어의 의미를 벡터 산술로 만들다

컴퓨터 비전

생성 모델 2

  1. 1
    DDPM: 노이즈 예측으로 여는 확산 생성 모델
    Denoising Diffusion Probabilistic Models 2020
  2. 2
    Flow Matching: 시뮬레이션 없이 배우는 결정론적 생성 경로
    Flow Matching for Generative Modeling 2023

    Based on DDPM: 노이즈 예측으로 여는 확산 생성 모델

합성곱 신경망 9

  1. 1
    LeNet: 국소 수용 영역, 가중치 공유, 서브샘플링 — CNN의 설계도
    Gradient-Based Learning Applied to Document Recognition 1998

    Based on Backpropagation: 오차를 거꾸로 흘려 표현을 배우다 TDNN: 시간 지연 유닛으로 음소를 인식하다 — 1D convolution의 원형

  2. 2
    AlexNet: 딥러닝이 컴퓨터 비전을 접수한 날
    ImageNet Classification with Deep Convolutional Neural Networks 2012

    Based on LeNet: 국소 수용 영역, 가중치 공유, 서브샘플링 — CNN의 설계도

  3. 3
    VGG: 3×3만으로 깊이를 증명하다
    Very Deep Convolutional Networks for Large-Scale Image Recognition 2015

    Based on AlexNet: 딥러닝이 컴퓨터 비전을 접수한 날

  4. 4
    ResNet: 항등 지름길로 152층을 학습하다
    Deep Residual Learning for Image Recognition 2016

    Based on AlexNet: 딥러닝이 컴퓨터 비전을 접수한 날 VGG: 3×3만으로 깊이를 증명하다

  5. 5
    SENet: 채널에 어텐션을 달다
    Squeeze-and-Excitation Networks 2018

    Based on ResNet: 항등 지름길로 152층을 학습하다

  6. 6
    CBAM: 무엇을 볼지, 어디를 볼지 — 채널과 공간의 이중 어텐션
    CBAM: Convolutional Block Attention Module 2018

    Based on SENet: 채널에 어텐션을 달다 ResNet: 항등 지름길로 152층을 학습하다

  7. 7
    Deformable CNN: 고정 격자를 버리고 샘플링 위치를 학습하다
    Deformable Convolutional Networks 2017

    Based on ResNet: 항등 지름길로 152층을 학습하다

  8. 8
    MobileNet: depthwise separable로 30배 가벼운 CNN
    MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications 2017

    Based on VGG: 3×3만으로 깊이를 증명하다

  9. 9
    EfficientNet: 깊이·너비·해상도를 하나의 계수로 함께 키우다
    EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks 2019

    Based on ResNet: 항등 지름길로 152층을 학습하다 MobileNet: depthwise separable로 30배 가벼운 CNN SENet: 채널에 어텐션을 달다

얼굴 인식 1

  1. 1
    ArcFace: 각도 마진으로 임베딩 사이를 벌리다
    ArcFace: Additive Angular Margin Loss for Deep Face Recognition 2019

    Based on ResNet: 항등 지름길로 152층을 학습하다

모델 해석 2

  1. 1
    CAM: 분류기가 어디를 보고 판단했는지 지도화하다
    Learning Deep Features for Discriminative Localization 2016

    Based on AlexNet: 딥러닝이 컴퓨터 비전을 접수한 날 VGG: 3×3만으로 깊이를 증명하다

  2. 2
    Grad-CAM: 그래디언트로 CAM을 모든 구조로 일반화하다
    Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization 2017

    Based on CAM: 분류기가 어디를 보고 판단했는지 지도화하다

비전 트랜스포머 4

  1. 1
    ViT: 이미지는 16×16 단어들이다
    An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale 2021

    Based on Transformer: 순환을 버리고 어텐션만 남기다 BERT: 마스킹으로 모든 층을 양방향으로 사전학습하다 ResNet: 항등 지름길로 152층을 학습하다

  2. 2
    DeiT: JFT 없이, 증류 토큰으로 ViT를 ImageNet에서 학습하다
    Training data-efficient image transformers & distillation through attention 2021

    Based on ViT: 이미지는 16×16 단어들이다

  3. 3
    Swin Transformer: 이동 윈도우로 계층적 백본을 되찾다
    Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 2021

    Based on ViT: 이미지는 16×16 단어들이다

  4. 4
    Swin V2: 3B 파라미터, 1536px — 비전 백본 스케일링의 공학
    Swin Transformer V2: Scaling Up Capacity and Resolution 2022

    Based on Swin Transformer: 이동 윈도우로 계층적 백본을 되찾다

자기지도학습 4

  1. 1
    SimCLR: 대조 학습에는 트릭이 아니라 조합이 필요하다
    A Simple Framework for Contrastive Learning of Visual Representations 2020

    Based on ResNet: 항등 지름길로 152층을 학습하다

  2. 2
    MAE: 75%를 가리고 픽셀을 복원하다 — 비전의 BERT 순간
    Masked Autoencoders Are Scalable Vision Learners 2022

    Based on ViT: 이미지는 16×16 단어들이다 BERT: 마스킹으로 모든 층을 양방향으로 사전학습하다

  3. 3
    DINOv2: 텍스트 없이 만든 비전 파운데이션 모델
    DINOv2: Learning Robust Visual Features without Supervision 2024

    Based on dino MAE: 75%를 가리고 픽셀을 복원하다 — 비전의 BERT 순간 ViT: 이미지는 16×16 단어들이다

  4. 4
    DINOv3: Gram anchoring으로 7B 자기지도 비전 모델을 완성하다
    DINOv3 2025

    Based on DINOv2: 텍스트 없이 만든 비전 파운데이션 모델 dino

비전-언어 모델 2

  1. 1
    CLIP: 자연어가 이미지 분류기의 라벨 공간이 되다
    Learning Transferable Visual Models From Natural Language Supervision 2021

    Based on ViT: 이미지는 16×16 단어들이다 Transformer: 순환을 버리고 어텐션만 남기다 SimCLR: 대조 학습에는 트릭이 아니라 조합이 필요하다 GPT-2: 언어 모델은 이미 비지도 멀티태스크 학습자다

  2. 2
    SigLIP: softmax를 버리고 쌍별 sigmoid로 CLIP을 다시 학습하다
    Sigmoid Loss for Language Image Pre-Training 2023

    Based on CLIP: 자연어가 이미지 분류기의 라벨 공간이 되다 ViT: 이미지는 16×16 단어들이다

음성 처리

음성 인식 8

  1. 1
    TDNN: 시간 지연 유닛으로 음소를 인식하다 — 1D convolution의 원형
    Phoneme Recognition Using Time-Delay Neural Networks 1989

    Based on Backpropagation: 오차를 거꾸로 흘려 표현을 배우다

  2. 2
    CTC: 정렬 없이 시퀀스를 라벨링하다
    Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks 2006

    Based on LSTM: 상수 오차 회전목마로 1000스텝의 시간 간격을 건너다

  3. 3
    Conformer: 어텐션은 전역, convolution은 국소 — 음성 인식의 하이브리드 표준
    Conformer: Convolution-augmented Transformer for Speech Recognition 2020

    Based on Transformer: 순환을 버리고 어텐션만 남기다 CTC: 정렬 없이 시퀀스를 라벨링하다 LSTM: 상수 오차 회전목마로 1000스텝의 시간 간격을 건너다

  4. 4
    Deep Speech 2: 파이프라인이 아니라 스케일 — end-to-end ASR의 산업화
    Deep Speech 2: End-to-End Speech Recognition in English and Mandarin 2016

    Based on CTC: 정렬 없이 시퀀스를 라벨링하다 LSTM: 상수 오차 회전목마로 1000스텝의 시간 간격을 건너다

  5. 5
    wav2vec 2.0: 라벨 10분으로 음성 인식하기 — 음성의 자기지도 사전학습
    wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations 2020

    Based on Transformer: 순환을 버리고 어텐션만 남기다 BERT: 마스킹으로 모든 층을 양방향으로 사전학습하다 CTC: 정렬 없이 시퀀스를 라벨링하다 SimCLR: 대조 학습에는 트릭이 아니라 조합이 필요하다

  6. 6
    HuBERT: 나쁜 클러스터라도, 마스킹 예측이면 배운다
    HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units 2021

    Based on wav2vec 2.0: 라벨 10분으로 음성 인식하기 — 음성의 자기지도 사전학습 BERT: 마스킹으로 모든 층을 양방향으로 사전학습하다 CTC: 정렬 없이 시퀀스를 라벨링하다

  7. 7
    RNN-T: CTC에 언어 모델을 심다 — 스트리밍 ASR의 기본형
    Sequence Transduction with Recurrent Neural Networks 2012

    Based on CTC: 정렬 없이 시퀀스를 라벨링하다 LSTM: 상수 오차 회전목마로 1000스텝의 시간 간격을 건너다

  8. 8
    Whisper: 68만 시간의 약지도가 만드는 강건함
    Robust Speech Recognition via Large-Scale Weak Supervision 2023

    Based on Transformer: 순환을 버리고 어텐션만 남기다 GPT-2: 언어 모델은 이미 비지도 멀티태스크 학습자다 wav2vec 2.0: 라벨 10분으로 음성 인식하기 — 음성의 자기지도 사전학습 Deep Speech 2: 파이프라인이 아니라 스케일 — end-to-end ASR의 산업화

화자 인식 6

  1. 1
    x-vector: TDNN 임베딩 + 증강으로 i-vector 시대를 끝내다
    X-vectors: Robust DNN Embeddings for Speaker Recognition 2018

    Based on TDNN: 시간 지연 유닛으로 음소를 인식하다 — 1D convolution의 원형

  2. 2
    ECAPA-TDNN: 채널 어텐션과 다중 스케일로 x-vector를 완성하다
    ECAPA-TDNN: Emphasized Channel Attention, Propagation and Aggregation in TDNN Based Speaker Verification 2020

    Based on x-vector: TDNN 임베딩 + 증강으로 i-vector 시대를 끝내다 SENet: 채널에 어텐션을 달다 ResNet: 항등 지름길로 152층을 학습하다 ArcFace: 각도 마진으로 임베딩 사이를 벌리다

  3. 3
    ECAPA2: 2D 국소 특징과 1D 전역 특징의 하이브리드 화자 임베딩
    ECAPA2: A Hybrid Neural Network Architecture and Training Strategy for Robust Speaker Embeddings 2023

    Based on ECAPA-TDNN: 채널 어텐션과 다중 스케일로 x-vector를 완성하다 ResNet: 항등 지름길로 152층을 학습하다 ArcFace: 각도 마진으로 임베딩 사이를 벌리다

  4. 4
    i-vector: 발화 하나를 벡터 하나로 — 딥러닝 이전의 화자 표현
    Front-End Factor Analysis for Speaker Verification 2011
  5. 5
    SincNet: 첫 층을 학습 가능한 대역통과 필터로
    Speaker Recognition from Raw Waveform with SincNet 2018
  6. 6
    RawNet: 파형에서 화자 임베딩까지, 특징 공학 없는 end-to-end
    RawNet: Advanced end-to-end deep neural network using raw waveforms for text-independent speaker verification 2019

    Based on SincNet: 첫 층을 학습 가능한 대역통과 필터로 ResNet: 항등 지름길로 152층을 학습하다 LSTM: 상수 오차 회전목마로 1000스텝의 시간 간격을 건너다