PAPER 자연어 처리 · 시퀀스 모델링
Bahdanau Attention: 고정 벡터 병목을 정렬 학습으로 풀다
인코더-디코더의 고정 길이 벡터 병목을 지적하고, 디코더가 매 출력 단어마다 소스 문장의 관련 위치를 미분 가능한 soft alignment로 골라 읽는 어텐션 메커니즘을 제안한다. 긴 문장에서의 성능 붕괴를 해소하고 번역과 정렬을 하나의 목적함수로 동시에 학습한다.
#기계 번역
博客 0 篇 · 论文评述 3 篇 (共 3 篇)
PAPER
论文评述
PAPER 자연어 처리 · 시퀀스 모델링
Seq2Seq: LSTM 인코더-디코더로 문장을 문장으로 사상하다
인코더 LSTM이 입력 문장을 고정 차원 벡터로 압축하고 디코더 LSTM이 그 벡터를 조건으로 출력 문장을 생성하는 end-to-end 번역 모델을 제시한다. 입력 문장을 뒤집는 트릭과 4층 deep LSTM으로 WMT14 En-Fr에서 순수 신경망 번역이 처음으로 구문 기반 SMT 베이스라인을 넘어섰다.
PAPER 자연어 처리 · 언어 모델
Transformer: 순환을 버리고 어텐션만 남기다
순환도 합성곱도 없이 어텐션만으로 구성한 인코더-디코더 아키텍처를 제안한다. Scaled dot-product attention과 multi-head attention으로 임의 위치 간 경로 길이를 O(1)로 줄이고 완전 병렬 학습을 가능하게 해, WMT14 En-De 28.4 BLEU를 훨씬 적은 학습 비용으로 달성했다.