PAPER 음성 처리 · 음성 인식
CTC: 정렬 없이 시퀀스를 라벨링하다
프레임별 정렬 라벨 없이 시퀀스 수준 라벨만으로 RNN을 학습하는 CTC 손실을 제안한다. blank 토큰을 도입하고, 타깃으로 접히는 모든 경로의 확률 합을 forward-backward 동적 계획법으로 미분 가능하게 계산해, TIMIT 음소 인식에서 HMM과 하이브리드를 모두 넘어섰다.
#CTC
0 Beiträge · 3 Paper-Reviews (insgesamt 3)
PAPER
Paper-Reviews
PAPER 음성 처리 · 음성 인식
Deep Speech 2: 파이프라인이 아니라 스케일 — end-to-end ASR의 산업화
스펙트로그램 → conv → 깊은 순환층 → CTC라는 단일 end-to-end 시스템을 만 시간 규모 데이터와 HPC 최적화(16-GPU 동기 SGD, GPU CTC, 커스텀 all-reduce)로 학습해, 영어와 중국어 모두에서 손수 설계된 파이프라인을 대체한다. 읽기 음성 벤치마크 4개 중 3개에서 인간 전사자를 넘어섰다.
PAPER 음성 처리 · 음성 인식
wav2vec 2.0: 라벨 10분으로 음성 인식하기 — 음성의 자기지도 사전학습
raw waveform을 CNN으로 인코딩하고 잠재 표현의 span을 마스킹해, Transformer의 출력이 해당 위치의 양자화된 표현을 distractor들 사이에서 맞히는 대조 학습으로 사전학습한다. 라벨 없는 5.3만 시간 사전학습 후 라벨 10분 미세조정만으로 LibriSpeech WER 4.8/8.2를 달성했다.