PAPER 음성 처리 · 음성 인식
CTC: 정렬 없이 시퀀스를 라벨링하다
프레임별 정렬 라벨 없이 시퀀스 수준 라벨만으로 RNN을 학습하는 CTC 손실을 제안한다. blank 토큰을 도입하고, 타깃으로 접히는 모든 경로의 확률 합을 forward-backward 동적 계획법으로 미분 가능하게 계산해, TIMIT 음소 인식에서 HMM과 하이브리드를 모두 넘어섰다.
#LSTM
ブログ 0件 · 論文レビュー 5件 (全5件)
PAPER
論文レビュー
PAPER 자연어 처리 · 언어 모델
ELMo: 단어 벡터를 문맥의 함수로 바꾸다
대규모 코퍼스로 학습한 양방향 LSTM 언어 모델의 내부 상태들을 태스크별 가중합으로 결합해, 단어 하나에 고정 벡터 하나가 아니라 문장 전체의 함수인 문맥화된 표현을 부여한다. 기존 모델에 이 표현을 이어붙이는 것만으로 QA, NLI, SRL 등 6개 태스크에서 일제히 SOTA를 경신했다.
PAPER 자연어 처리 · 시퀀스 모델링
LSTM: 상수 오차 회전목마로 1000스텝의 시간 간격을 건너다
RNN의 역전파 오차가 시간을 거슬러 갈수록 지수적으로 소멸하거나 폭발함을 분석하고, 자기 재귀 가중치를 1.0으로 고정한 선형 유닛(상수 오차 회전목마)에 곱셈형 입력/출력 게이트를 붙인 메모리 셀 아키텍처로 1000스텝이 넘는 최소 시간 간격을 학습할 수 있음을 보인다.
PAPER 음성 처리 · 음성 인식
RNN-T: CTC에 언어 모델을 심다 — 스트리밍 ASR의 기본형
CTC의 두 한계 — 출력 간 조건부 독립 가정과 출력 길이 ≤ 입력 길이 제약 — 를 해결하는 RNN Transducer를 제안한다. 음향을 읽는 transcription 망과 이전 출력을 읽는 자기회귀 prediction 망을 (t, u) 격자 위에서 결합하고, forward-backward로 모든 정렬의 우도를 정확히 계산한다. TIMIT에서 CTC를 넘었고, 훗날 스트리밍 음성 인식의 표준 프레임이 된다.
PAPER 자연어 처리 · 시퀀스 모델링
Seq2Seq: LSTM 인코더-디코더로 문장을 문장으로 사상하다
인코더 LSTM이 입력 문장을 고정 차원 벡터로 압축하고 디코더 LSTM이 그 벡터를 조건으로 출력 문장을 생성하는 end-to-end 번역 모델을 제시한다. 입력 문장을 뒤집는 트릭과 4층 deep LSTM으로 WMT14 En-Fr에서 순수 신경망 번역이 처음으로 구문 기반 SMT 베이스라인을 넘어섰다.