PAPER 컴퓨터 비전 · 비전 트랜스포머
DeiT: JFT 없이, 증류 토큰으로 ViT를 ImageNet에서 학습하다
강한 증강·정규화 레시피와 convnet 교사의 hard label을 어텐션으로 받는 증류 토큰으로, JFT-300M 없이 ImageNet-1k만으로 ViT를 학습한다. DeiT-B 증류 모델은 8-GPU 3일 학습으로 top-1 85.2%(384px)에 도달해 JFT 사전학습 ViT-B를 넘어섰다.
#지식 증류
0 posts · 1 paper reviews (1 total)
PAPER