0 entradas · 4 reseñas (4 en total)
어텐션의 전역 문맥과 depthwise convolution의 국소 패턴 모델링을 한 블록 안에 결합한 Conformer를 제안한다. macaron식 반스텝 FFN 두 개 사이에 상대 위치 어텐션과 conv 모듈을 끼운 블록으로, LibriSpeech에서 WER 1.9/3.9%(LM 포함)의 SOTA를 달성하며 음성 인식 인코더의 표준이 됐다.
스펙트로그램 → conv → 깊은 순환층 → CTC라는 단일 end-to-end 시스템을 만 시간 규모 데이터와 HPC 최적화(16-GPU 동기 SGD, GPU CTC, 커스텀 all-reduce)로 학습해, 영어와 중국어 모두에서 손수 설계된 파이프라인을 대체한다. 읽기 음성 벤치마크 4개 중 3개에서 인간 전사자를 넘어섰다.
CTC의 두 한계 — 출력 간 조건부 독립 가정과 출력 길이 ≤ 입력 길이 제약 — 를 해결하는 RNN Transducer를 제안한다. 음향을 읽는 transcription 망과 이전 출력을 읽는 자기회귀 prediction 망을 (t, u) 격자 위에서 결합하고, forward-backward로 모든 정렬의 우도를 정확히 계산한다. TIMIT에서 CTC를 넘었고, 훗날 스트리밍 음성 인식의 표준 프레임이 된다.
웹에서 수집·필터링한 68만 시간의 약지도 (오디오, 전사) 쌍으로 표준 인코더-디코더 Transformer를 다국어·다태스크(전사, 번역, 언어 식별, 타임스탬프) 학습한다. 미세조정 없는 제로샷 전이가 목표로, 벤치마크 특화 모델보다 분포 밖 강건성에서 압도적이며(wav2vec 2.0 대비 평균 오류 55% 감소) 인간 전사자에 근접한다.