PAPER 컴퓨터 비전 · 합성곱 신경망
AlexNet: 딥러닝이 컴퓨터 비전을 접수한 날
5개 conv + 3개 FC, 60M 파라미터의 대형 CNN을 ReLU, dropout, 데이터 증강, 2-GPU 분산으로 ImageNet에서 학습해 ILSVRC-2012 top-5 오류 15.3%로 2위(26.2%)를 압도했다. 딥러닝 기반 컴퓨터 비전 시대를 연 논문.
#ImageNet
0 Beiträge · 5 Paper-Reviews (insgesamt 5)
PAPER
Paper-Reviews
PAPER 컴퓨터 비전 · 합성곱 신경망
ResNet: 항등 지름길로 152층을 학습하다
깊은 plain 망이 얕은 망보다 학습 오류조차 높아지는 열화 문제를 지적하고, 층이 H(x) 대신 잔차 F(x) = H(x) - x를 배우게 하는 항등 지름길 연결로 이를 해결한다. 152층 ResNet으로 ILSVRC-2015 우승(top-5 3.57%), residual connection은 이후 모든 딥러닝 아키텍처의 기본 부품이 됐다.
PAPER 컴퓨터 비전 · 합성곱 신경망
SENet: 채널에 어텐션을 달다
전역 평균 풀링으로 채널별 통계를 짜내고(squeeze) 두 FC층의 게이트로 채널별 중요도를 계산해(excitation) feature map을 재보정하는 SE 블록을 제안한다. 계산량 0.26% 추가로 ImageNet 오류를 일관되게 낮추며 ILSVRC-2017에서 우승했다.
PAPER 컴퓨터 비전 · 합성곱 신경망
VGG: 3×3만으로 깊이를 증명하다
필터를 3×3 하나로 통일하고 깊이만 11층에서 19층까지 늘리는 통제 실험으로, 깊이가 CNN 성능의 핵심 변수임을 보였다. VGG16/19는 ILSVRC-2014 준우승과 함께 이후 수년간 전이학습의 표준 backbone이 됐다.
PAPER 컴퓨터 비전 · 비전 트랜스포머
ViT: 이미지는 16×16 단어들이다
이미지를 16×16 패치 시퀀스로 잘라 표준 Transformer 인코더에 그대로 넣는 Vision Transformer를 제안한다. ImageNet만으로는 ResNet에 밀리지만 JFT-300M 사전학습에서는 압도한다 — 데이터가 충분하면 대규모 학습이 CNN의 inductive bias를 이긴다는 것이 핵심 논지다.