#ImageNet

ブログ 0件 · 論文レビュー 5件 (全5件)

PAPER

論文レビュー

PAPER 컴퓨터 비전 · 합성곱 신경망

ResNet: 항등 지름길로 152층을 학습하다

깊은 plain 망이 얕은 망보다 학습 오류조차 높아지는 열화 문제를 지적하고, 층이 H(x) 대신 잔차 F(x) = H(x) - x를 배우게 하는 항등 지름길 연결로 이를 해결한다. 152층 ResNet으로 ILSVRC-2015 우승(top-5 3.57%), residual connection은 이후 모든 딥러닝 아키텍처의 기본 부품이 됐다.

続きを読む
PAPER 컴퓨터 비전 · 비전 트랜스포머

ViT: 이미지는 16×16 단어들이다

이미지를 16×16 패치 시퀀스로 잘라 표준 Transformer 인코더에 그대로 넣는 Vision Transformer를 제안한다. ImageNet만으로는 ResNet에 밀리지만 JFT-300M 사전학습에서는 압도한다 — 데이터가 충분하면 대규모 학습이 CNN의 inductive bias를 이긴다는 것이 핵심 논지다.

続きを読む