jepetolee's Insight
PAPER

MAE: 75%를 가리고 픽셀을 복원하다 — 비전의 BERT 순간

Masked Autoencoders Are Scalable Vision Learners Kaiming He, Xinlei Chen, Saining Xie, Yanghao Li, Piotr Dollár, Ross Girshick · CVPR · 2022
컴퓨터 비전CVPRMeta AIMAE자기지도학습Transformer

한 줄 요약

BERT의 마스킹이 왜 비전에서는 늦었나 — 이미지는 언어와 달리 공간 중복이 심해서 15% 마스킹으로는 이웃 보간만으로 풀린다. MAE의 답은 셋이다: 75%를 가려라(중복 제거, 전체적 이해 강제), 인코더에는 보이는 패치만 넣어라(계산 3배 절감 + 마스크 토큰의 분포 왜곡 제거), 디코더는 가볍게 분리하라(픽셀 복원은 사전학습 후 버릴 보조 기관). 이 비대칭 설계로 ImageNet-1k만 쓰고 ViT-H 87.8% — 비전 자기지도의 판을 예측 계열로 되돌린 논문이다.

핵심 기여

  • 비전-언어의 비대칭 분석: (1) 정보 밀도 — 언어는 의미가 밀집된 신호라 단어 몇 개 예측도 고도의 이해를 요구하지만, 이미지의 빠진 패치는 저수준 통계로 복원 가능하다 → 마스킹 비율로 보상. (2) 디코더의 역할 — BERT의 디코더는 MLP면 되지만(타깃이 의미 단위), 픽셀 복원은 비자명해서 디코더 설계가 표현의 의미 수준을 좌우한다 → 인코더와 분리된 전용 디코더. (3) 아키텍처 — 마스크 토큰과 위치 임베딩은 conv와 궁합이 나빴고 ViT가 그 장벽을 치웠다.

  • 비대칭 인코더-디코더: 인코더(ViT)는 마스크 토큰 없이 보이는 25% 패치만 처리한다. 디코더(8블록, 512-d — 인코더 대비 토큰당 9% FLOPs)가 인코딩된 패치 + 학습형 마스크 토큰을 받아 픽셀을 복원한다. 손실은 마스크된 패치에서만, 패치별 정규화 픽셀에 대한 MSE(정규화가 +0.5%p). 구현은 셔플→앞 25%만 인코딩→마스크 토큰 붙여 언셔플→디코딩 — sparse 연산 불필요.

  • 75%가 왜 되는가: 마스킹 비율 ablation이 극적이다 — linear probing이 마스킹 10%→75%에서 ~20%p 상승. 낮은 비율에서는 보간으로 풀리는 과제가, 높은 비율에서는 물체·장면의 전체적 이해를 요구하는 과제로 바뀐다. 전략은 block/grid보다 균일 random이 최선(중심 편향 없음 + 최대 속도 이득).

  • 효율: 인코더가 25%만 보므로 FLOPs 3.3배 절감, 벽시계 2.8~4.1배 단축. 에폭당 데이터의 25%만 보는 셈이라 1600에폭까지도 포화가 없다(MoCo v3는 300에폭 포화). 증강도 crop만으로 충분 — 대조 계열의 강한 증강 의존을 무작위 마스킹이 대체한다.

주요 결과

  • ImageNet-1k only: ViT-H/14 86.9%, 448px에서 87.8% — 외부 데이터 없는 방법 중 최고. BEiT(85.2%, dVAE 토크나이저 필요)를 단순한 픽셀 타깃으로 넘었다.
  • 미세조정 vs linear probing의 균열: linear probing은 MoCo v3가 높지만(77.6 vs 73.5), 블록 4개만 부분 미세조정해도 역전된다(84.5 vs 82.3). “선형 분리성은 표현 품질의 유일한 잣대가 아니다” — 대조 표현과 예측 표현의 성격 차이를 정면으로 짚은 대목.
  • 전이: COCO 검출 ViT-L 53.3 box AP(지도 사전학습 대비 +4.0), ADE20K 53.6 mIoU(+3.7), iNaturalist/Places SOTA, ImageNet-A 강건성 68.2%(지도 33.1%).

계보에서의 위치

BERT의 masked LM을 ViT 위에 “비전의 물성에 맞게” 번역한, 자기지도학습 세 갈래 중 예측 계열의 결정판이다. ViT 원논문의 예비 실험(masked patch prediction, 79.9%)이 남긴 숙제를 비대칭 설계로 풀었고, “미세조정 전제의 backbone 사전학습”의 기본값이 됐다 — 특히 검출·분할 파이프라인(ViTDet)에서. 대조/증류 계열(DINO)과의 상보성 — MAE는 미세조정에, DINO는 frozen feature에 강하다 — 은 이후 두 손실을 결합하는 하이브리드(DINOv2의 iBOT 손실 흡수)로 정리된다. Kaiming He가 ResNet에 이어 다시 한 번 분야의 기본 부품을 갈아 끼운 사례이기도 하다.