PAPER 컴퓨터 비전 · 비전 트랜스포머
Swin V2: 3B 파라미터, 1536px — 비전 백본 스케일링의 공학
비전 Transformer를 3B 파라미터와 1536px 해상도로 키울 때 만나는 세 가지 벽 — 깊은 층 활성 폭주, 사전학습-미세조정 해상도 격차, GPU 메모리 — 을 res-post-norm, scaled cosine attention, 로그 간격 연속 위치 바이어스로 해결한다. SwinV2-G는 COCO 63.1 AP, ADE20K 59.9 mIoU 등 4개 벤치마크 SOTA를 갱신했다.