博客 1 篇 · 论文评述 7 篇 (共 8 篇)
Speaker Recognition을 Identification(1:N 분류)과 Verification(1:1 판정)으로 구분하고, 화자 임베딩 파이프라인(인코더 → 풀링 → 스코어링)과 평가 지표(EER, minDCF)를 정리한다. i-vector에서 x-vector, ResNet-SE 계열, ECAPA-TDNN까지의 아키텍처 계보와, 얼굴 인식에서 건너온 AAM-softmax(ArcFace)가 임베딩 간 거리를 벌리는 원리까지.
임베딩과 클래스 가중치를 정규화해 로짓을 각도의 코사인으로 환원하고, 정답 클래스의 각도에 가산 마진 m을 더하는 additive angular margin(AAM) softmax를 제안한다. 초구면 위 측지 거리에 정확히 대응하는 마진으로 얼굴 인식 벤치마크를 석권했고, 이후 화자 검증 임베딩 학습의 표준 손실로 이식됐다.
x-vector의 TDNN에 1D SE-Res2Net 블록(채널 게이팅 + 다중 스케일), 전 층 특징 결합(MFA), 채널·문맥 의존 attentive statistics pooling을 더하고 AAM-softmax로 학습한다. VoxCeleb1-O EER 0.87%로 TDNN·ResNet 계열 베이스라인을 모두 넘어 현대 화자 검증의 사실상 표준이 됐다.
화자 검증의 양대 계열 — 시간 모델링에 강한 1D TDNN(ECAPA)과 주파수 이동 불변성을 가진 2D ResNet — 을 하나로 잇는다. 2D conv 국소 특징 추출기 뒤에 1D 전역 통합 망을 붙이고, margin-mixup과 가변 길이 학습을 더해 VoxCeleb1-O EER 0.34%로 ECAPA-TDNN(0.87%)을 절반 이하로 낮췄다.
화자 공간과 채널 공간을 따로 모델링하던 JFA 대신, 둘을 구분하지 않는 단일 저차원 총변동(total variability) 공간을 요인 분석으로 정의하고 발화를 그 공간의 잠재 벡터(i-vector)로 요약한다. 채널 보상은 저차원에서 WCCN/LDA로 처리하고 코사인 거리만으로 스코어링해, 등록 과정 없는 단순한 시스템으로 NIST SRE에서 JFA를 넘어섰다.
전처리 없는 raw waveform을 strided conv → residual 블록 → GRU로 처리해 발화 수준 화자 임베딩을 뽑는 end-to-end 시스템. VoxCeleb1에서 스펙트로그램 기반 시스템과 동급 이상(EER 4.0%)을 달성했고, 후속 RawNet2가 첫 층을 SincNet의 sinc 필터로 교체하며 raw waveform 노선을 굳혔다.
raw waveform을 받는 CNN의 첫 conv층을 sinc 함수 두 개의 차로 매개화해, 필터당 저·고 차단 주파수 2개만 학습하는 SincNet을 제안한다. 필터 계수 전체를 배우는 CNN보다 빠르게 수렴하고 화자 식별·검증 모두에서 앞서며, 학습된 필터가 피치·포먼트 대역으로 수렴해 해석까지 가능하다.
TDNN 프레임 인코더 + statistics pooling + 화자 분류 학습으로 발화를 고정 차원 임베딩(x-vector)으로 사상하고, 노이즈·잔향 데이터 증강이 i-vector에는 안 통하지만 지도학습 DNN 임베딩에는 크게 통함을 보인다. SITW·SRE16에서 i-vector 계열을 넘어서며 화자 인식의 신경망 임베딩 시대를 연 표준.