Записей: 0 · Разборов статей: 10 (всего 10)
어텐션의 전역 문맥과 depthwise convolution의 국소 패턴 모델링을 한 블록 안에 결합한 Conformer를 제안한다. macaron식 반스텝 FFN 두 개 사이에 상대 위치 어텐션과 conv 모듈을 끼운 블록으로, LibriSpeech에서 WER 1.9/3.9%(LM 포함)의 SOTA를 달성하며 음성 인식 인코더의 표준이 됐다.
강한 증강·정규화 레시피와 convnet 교사의 hard label을 어텐션으로 받는 증류 토큰으로, JFT-300M 없이 ImageNet-1k만으로 ViT를 학습한다. DeiT-B 증류 모델은 8-GPU 3일 학습으로 top-1 85.2%(384px)에 도달해 JFT 사전학습 ViT-B를 넘어섰다.
Transformer 디코더를 대규모 비지도 텍스트로 언어 모델링 사전학습한 뒤, 태스크별 아키텍처 대신 입력 변환만으로 각 태스크에 미세조정하는 2단계 프레임을 제시한다. 단일 task-agnostic 모델이 12개 벤치마크 중 9개에서 SOTA를 경신했다.
MFCC의 k-means 클러스터를 의사 라벨로 삼아 마스킹된 프레임의 클러스터를 맞히는 BERT식 masked prediction으로 음성 표현을 사전학습하고, 배운 표현을 다시 클러스터링해 타깃을 반복 개선한다. 손실을 마스킹 영역에만 걸면 타깃 품질이 나빠도 학습이 성립하며, wav2vec 2.0을 전 구간에서 앞선다.
패치의 75%를 무작위로 가리고, 인코더는 보이는 25%만 처리하며, 가벼운 디코더가 마스크 토큰으로 픽셀을 복원하는 비대칭 masked autoencoder를 제안한다. 3배 이상 빠른 사전학습으로 ViT-H가 ImageNet-1k만으로 87.8%를 달성했고, 검출·분할 전이에서도 지도 사전학습을 크게 앞선다.
비전 Transformer를 3B 파라미터와 1536px 해상도로 키울 때 만나는 세 가지 벽 — 깊은 층 활성 폭주, 사전학습-미세조정 해상도 격차, GPU 메모리 — 을 res-post-norm, scaled cosine attention, 로그 간격 연속 위치 바이어스로 해결한다. SwinV2-G는 COCO 63.1 AP, ADE20K 59.9 mIoU 등 4개 벤치마크 SOTA를 갱신했다.
어텐션을 7×7 국소 윈도우 안으로 제한해 복잡도를 이미지 크기에 선형으로 만들고, 블록마다 윈도우를 반 칸 이동시켜 윈도우 간 정보를 섞는다. patch merging으로 CNN식 4단계 계층 feature를 복원해, 분류를 넘어 COCO 검출과 ADE20K 분할까지 전 태스크 SOTA를 달성한 범용 백본이다.
순환도 합성곱도 없이 어텐션만으로 구성한 인코더-디코더 아키텍처를 제안한다. Scaled dot-product attention과 multi-head attention으로 임의 위치 간 경로 길이를 O(1)로 줄이고 완전 병렬 학습을 가능하게 해, WMT14 En-De 28.4 BLEU를 훨씬 적은 학습 비용으로 달성했다.
이미지를 16×16 패치 시퀀스로 잘라 표준 Transformer 인코더에 그대로 넣는 Vision Transformer를 제안한다. ImageNet만으로는 ResNet에 밀리지만 JFT-300M 사전학습에서는 압도한다 — 데이터가 충분하면 대규모 학습이 CNN의 inductive bias를 이긴다는 것이 핵심 논지다.
raw waveform을 CNN으로 인코딩하고 잠재 표현의 span을 마스킹해, Transformer의 출력이 해당 위치의 양자화된 표현을 distractor들 사이에서 맞히는 대조 학습으로 사전학습한다. 라벨 없는 5.3만 시간 사전학습 후 라벨 10분 미세조정만으로 LibriSpeech WER 4.8/8.2를 달성했다.