음성 인식, 오디오 전사, speech-to-text 시스템. Записей: 3 · Разборов статей: 14 (всего 17)
음성 인식 파이프라인의 입구를 신호처리 순서대로 정리한다 — 샘플링과 나이퀴스트 정리, DFT/FFT, 프레임 단위 분석인 STFT와 창 함수의 시간-주파수 트레이드오프, 인간 청각을 모사하는 멜 필터뱅크와 로그 멜 스펙트로그램, 그리고 DCT로 역상관시킨 MFCC까지. 왜 최신 모델은 MFCC 대신 로그 멜을 쓰는지, 왜 아예 raw waveform으로 가는지까지 잇는다.
Music Information Retrieval의 인식 계열 태스크를 정리한다 — 오디오 핑거프린팅(Shazam), 장르 분류와 오토태깅, 코드·키 인식, 비트 트래킹과 온셋 검출, 커버곡 검출. 음성과 무엇이 다른지(화성 구조, CQT, 옥타브 문제), 어떤 표현과 모델이 표준인지, 대표 데이터셋까지.
Speaker Recognition을 Identification(1:N 분류)과 Verification(1:1 판정)으로 구분하고, 화자 임베딩 파이프라인(인코더 → 풀링 → 스코어링)과 평가 지표(EER, minDCF)를 정리한다. i-vector에서 x-vector, ResNet-SE 계열, ECAPA-TDNN까지의 아키텍처 계보와, 얼굴 인식에서 건너온 AAM-softmax(ArcFace)가 임베딩 간 거리를 벌리는 원리까지.
어텐션의 전역 문맥과 depthwise convolution의 국소 패턴 모델링을 한 블록 안에 결합한 Conformer를 제안한다. macaron식 반스텝 FFN 두 개 사이에 상대 위치 어텐션과 conv 모듈을 끼운 블록으로, LibriSpeech에서 WER 1.9/3.9%(LM 포함)의 SOTA를 달성하며 음성 인식 인코더의 표준이 됐다.
프레임별 정렬 라벨 없이 시퀀스 수준 라벨만으로 RNN을 학습하는 CTC 손실을 제안한다. blank 토큰을 도입하고, 타깃으로 접히는 모든 경로의 확률 합을 forward-backward 동적 계획법으로 미분 가능하게 계산해, TIMIT 음소 인식에서 HMM과 하이브리드를 모두 넘어섰다.
스펙트로그램 → conv → 깊은 순환층 → CTC라는 단일 end-to-end 시스템을 만 시간 규모 데이터와 HPC 최적화(16-GPU 동기 SGD, GPU CTC, 커스텀 all-reduce)로 학습해, 영어와 중국어 모두에서 손수 설계된 파이프라인을 대체한다. 읽기 음성 벤치마크 4개 중 3개에서 인간 전사자를 넘어섰다.
x-vector의 TDNN에 1D SE-Res2Net 블록(채널 게이팅 + 다중 스케일), 전 층 특징 결합(MFA), 채널·문맥 의존 attentive statistics pooling을 더하고 AAM-softmax로 학습한다. VoxCeleb1-O EER 0.87%로 TDNN·ResNet 계열 베이스라인을 모두 넘어 현대 화자 검증의 사실상 표준이 됐다.
화자 검증의 양대 계열 — 시간 모델링에 강한 1D TDNN(ECAPA)과 주파수 이동 불변성을 가진 2D ResNet — 을 하나로 잇는다. 2D conv 국소 특징 추출기 뒤에 1D 전역 통합 망을 붙이고, margin-mixup과 가변 길이 학습을 더해 VoxCeleb1-O EER 0.34%로 ECAPA-TDNN(0.87%)을 절반 이하로 낮췄다.
MFCC의 k-means 클러스터를 의사 라벨로 삼아 마스킹된 프레임의 클러스터를 맞히는 BERT식 masked prediction으로 음성 표현을 사전학습하고, 배운 표현을 다시 클러스터링해 타깃을 반복 개선한다. 손실을 마스킹 영역에만 걸면 타깃 품질이 나빠도 학습이 성립하며, wav2vec 2.0을 전 구간에서 앞선다.
화자 공간과 채널 공간을 따로 모델링하던 JFA 대신, 둘을 구분하지 않는 단일 저차원 총변동(total variability) 공간을 요인 분석으로 정의하고 발화를 그 공간의 잠재 벡터(i-vector)로 요약한다. 채널 보상은 저차원에서 WCCN/LDA로 처리하고 코사인 거리만으로 스코어링해, 등록 과정 없는 단순한 시스템으로 NIST SRE에서 JFA를 넘어섰다.
전처리 없는 raw waveform을 strided conv → residual 블록 → GRU로 처리해 발화 수준 화자 임베딩을 뽑는 end-to-end 시스템. VoxCeleb1에서 스펙트로그램 기반 시스템과 동급 이상(EER 4.0%)을 달성했고, 후속 RawNet2가 첫 층을 SincNet의 sinc 필터로 교체하며 raw waveform 노선을 굳혔다.
CTC의 두 한계 — 출력 간 조건부 독립 가정과 출력 길이 ≤ 입력 길이 제약 — 를 해결하는 RNN Transducer를 제안한다. 음향을 읽는 transcription 망과 이전 출력을 읽는 자기회귀 prediction 망을 (t, u) 격자 위에서 결합하고, forward-backward로 모든 정렬의 우도를 정확히 계산한다. TIMIT에서 CTC를 넘었고, 훗날 스트리밍 음성 인식의 표준 프레임이 된다.
raw waveform을 받는 CNN의 첫 conv층을 sinc 함수 두 개의 차로 매개화해, 필터당 저·고 차단 주파수 2개만 학습하는 SincNet을 제안한다. 필터 계수 전체를 배우는 CNN보다 빠르게 수렴하고 화자 식별·검증 모두에서 앞서며, 학습된 필터가 피치·포먼트 대역으로 수렴해 해석까지 가능하다.
유닛 입력에 시간 지연을 두고, 시간축으로 복제된 유닛들이 가중치를 공유하도록 제약해 시간 이동 불변성을 학습하는 Time-Delay Neural Network를 제안한다. 유성 파열음 B/D/G 인식에서 당시 최선의 HMM(93.7%)을 98.5%로 압도했고, 시간축 weight sharing이라는 아이디어는 1D convolution의 원형이 됐다.
raw waveform을 CNN으로 인코딩하고 잠재 표현의 span을 마스킹해, Transformer의 출력이 해당 위치의 양자화된 표현을 distractor들 사이에서 맞히는 대조 학습으로 사전학습한다. 라벨 없는 5.3만 시간 사전학습 후 라벨 10분 미세조정만으로 LibriSpeech WER 4.8/8.2를 달성했다.
웹에서 수집·필터링한 68만 시간의 약지도 (오디오, 전사) 쌍으로 표준 인코더-디코더 Transformer를 다국어·다태스크(전사, 번역, 언어 식별, 타임스탬프) 학습한다. 미세조정 없는 제로샷 전이가 목표로, 벤치마크 특화 모델보다 분포 밖 강건성에서 압도적이며(wav2vec 2.0 대비 평균 오류 55% 감소) 인간 전사자에 근접한다.
TDNN 프레임 인코더 + statistics pooling + 화자 분류 학습으로 발화를 고정 차원 임베딩(x-vector)으로 사상하고, 노이즈·잔향 데이터 증강이 i-vector에는 안 통하지만 지도학습 DNN 임베딩에는 크게 통함을 보인다. SITW·SRE16에서 i-vector 계열을 넘어서며 화자 인식의 신경망 임베딩 시대를 연 표준.