#MAE

MAE: 75%를 가리고 픽셀을 복원하다 — 비전의 BERT 순간

패치의 75%를 무작위로 가리고, 인코더는 보이는 25%만 처리하며, 가벼운 디코더가 마스크 토큰으로 픽셀을 복원하는 비대칭 masked autoencoder를 제안한다. 3배 이상 빠른 사전학습으로 ViT-H가 ImageNet-1k만으로 87.8%를 달성했고, 검출·분할 전이에서도 지도 사전학습을 크게 앞선다.