블로그 0편 · 논문 리뷰 4편 (총 4편)
x-vector의 TDNN에 1D SE-Res2Net 블록(채널 게이팅 + 다중 스케일), 전 층 특징 결합(MFA), 채널·문맥 의존 attentive statistics pooling을 더하고 AAM-softmax로 학습한다. VoxCeleb1-O EER 0.87%로 TDNN·ResNet 계열 베이스라인을 모두 넘어 현대 화자 검증의 사실상 표준이 됐다.
화자 검증의 양대 계열 — 시간 모델링에 강한 1D TDNN(ECAPA)과 주파수 이동 불변성을 가진 2D ResNet — 을 하나로 잇는다. 2D conv 국소 특징 추출기 뒤에 1D 전역 통합 망을 붙이고, margin-mixup과 가변 길이 학습을 더해 VoxCeleb1-O EER 0.34%로 ECAPA-TDNN(0.87%)을 절반 이하로 낮췄다.
유닛 입력에 시간 지연을 두고, 시간축으로 복제된 유닛들이 가중치를 공유하도록 제약해 시간 이동 불변성을 학습하는 Time-Delay Neural Network를 제안한다. 유성 파열음 B/D/G 인식에서 당시 최선의 HMM(93.7%)을 98.5%로 압도했고, 시간축 weight sharing이라는 아이디어는 1D convolution의 원형이 됐다.
TDNN 프레임 인코더 + statistics pooling + 화자 분류 학습으로 발화를 고정 차원 임베딩(x-vector)으로 사상하고, 노이즈·잔향 데이터 증강이 i-vector에는 안 통하지만 지도학습 DNN 임베딩에는 크게 통함을 보인다. SITW·SRE16에서 i-vector 계열을 넘어서며 화자 인식의 신경망 임베딩 시대를 연 표준.