PAPER 자연어 처리 · 시퀀스 모델링
Bahdanau Attention: 고정 벡터 병목을 정렬 학습으로 풀다
인코더-디코더의 고정 길이 벡터 병목을 지적하고, 디코더가 매 출력 단어마다 소스 문장의 관련 위치를 미분 가능한 soft alignment로 골라 읽는 어텐션 메커니즘을 제안한다. 긴 문장에서의 성능 붕괴를 해소하고 번역과 정렬을 하나의 목적함수로 동시에 학습한다.
#어텐션
블로그 0편 · 논문 리뷰 5편 (총 5편)
PAPER
논문 리뷰
PAPER 컴퓨터 비전 · 합성곱 신경망
CBAM: 무엇을 볼지, 어디를 볼지 — 채널과 공간의 이중 어텐션
SE의 채널 어텐션에 공간 어텐션을 직렬로 추가한 경량 모듈을 제안한다. 채널 축에서는 avg+max 이중 풀링과 공유 MLP로 "무엇을", 공간 축에서는 채널 방향 풀링과 7×7 conv로 "어디를" 강조하며, 채널→공간 순서가 최적임을 ablation으로 보였다.
PAPER 음성 처리 · 화자 인식
ECAPA-TDNN: 채널 어텐션과 다중 스케일로 x-vector를 완성하다
x-vector의 TDNN에 1D SE-Res2Net 블록(채널 게이팅 + 다중 스케일), 전 층 특징 결합(MFA), 채널·문맥 의존 attentive statistics pooling을 더하고 AAM-softmax로 학습한다. VoxCeleb1-O EER 0.87%로 TDNN·ResNet 계열 베이스라인을 모두 넘어 현대 화자 검증의 사실상 표준이 됐다.
PAPER 컴퓨터 비전 · 합성곱 신경망
SENet: 채널에 어텐션을 달다
전역 평균 풀링으로 채널별 통계를 짜내고(squeeze) 두 FC층의 게이트로 채널별 중요도를 계산해(excitation) feature map을 재보정하는 SE 블록을 제안한다. 계산량 0.26% 추가로 ImageNet 오류를 일관되게 낮추며 ILSVRC-2017에서 우승했다.
PAPER 자연어 처리 · 언어 모델
Transformer: 순환을 버리고 어텐션만 남기다
순환도 합성곱도 없이 어텐션만으로 구성한 인코더-디코더 아키텍처를 제안한다. Scaled dot-product attention과 multi-head attention으로 임의 위치 간 경로 길이를 O(1)로 줄이고 완전 병렬 학습을 가능하게 해, WMT14 En-De 28.4 BLEU를 훨씬 적은 학습 비용으로 달성했다.