ArcFace: 각도 마진으로 임베딩 사이를 벌리다
임베딩과 클래스 가중치를 정규화해 로짓을 각도의 코사인으로 환원하고, 정답 클래스의 각도에 가산 마진 m을 더하는 additive angular margin(AAM) softmax를 제안한다. 초구면 위 측지 거리에 정확히 대응하는 마진으로 얼굴 인식 벤치마크를 석권했고, 이후 화자 검증 임베딩 학습의 표준 손실로 이식됐다.
컴퓨터 비전과 패턴 인식 분야의 대표 최상위 학회. 0 entradas · 6 reseñas (6 en total)
임베딩과 클래스 가중치를 정규화해 로짓을 각도의 코사인으로 환원하고, 정답 클래스의 각도에 가산 마진 m을 더하는 additive angular margin(AAM) softmax를 제안한다. 초구면 위 측지 거리에 정확히 대응하는 마진으로 얼굴 인식 벤치마크를 석권했고, 이후 화자 검증 임베딩 학습의 표준 손실로 이식됐다.
Global average pooling 뒤의 선형 분류 가중치를 conv feature map에 되돌려 곱하면, 클래스별로 판별에 기여한 영역의 지도(Class Activation Map)를 얻을 수 있음을 보인다. 위치 라벨 없이 학습한 분류기만으로 ILSVRC 약지도 위치추정 top-5 오류 37.1%를 달성했다.
패치의 75%를 무작위로 가리고, 인코더는 보이는 25%만 처리하며, 가벼운 디코더가 마스크 토큰으로 픽셀을 복원하는 비대칭 masked autoencoder를 제안한다. 3배 이상 빠른 사전학습으로 ViT-H가 ImageNet-1k만으로 87.8%를 달성했고, 검출·분할 전이에서도 지도 사전학습을 크게 앞선다.
깊은 plain 망이 얕은 망보다 학습 오류조차 높아지는 열화 문제를 지적하고, 층이 H(x) 대신 잔차 F(x) = H(x) - x를 배우게 하는 항등 지름길 연결로 이를 해결한다. 152층 ResNet으로 ILSVRC-2015 우승(top-5 3.57%), residual connection은 이후 모든 딥러닝 아키텍처의 기본 부품이 됐다.
전역 평균 풀링으로 채널별 통계를 짜내고(squeeze) 두 FC층의 게이트로 채널별 중요도를 계산해(excitation) feature map을 재보정하는 SE 블록을 제안한다. 계산량 0.26% 추가로 ImageNet 오류를 일관되게 낮추며 ILSVRC-2017에서 우승했다.
비전 Transformer를 3B 파라미터와 1536px 해상도로 키울 때 만나는 세 가지 벽 — 깊은 층 활성 폭주, 사전학습-미세조정 해상도 격차, GPU 메모리 — 을 res-post-norm, scaled cosine attention, 로그 간격 연속 위치 바이어스로 해결한다. SwinV2-G는 COCO 63.1 AP, ADE20K 59.9 mIoU 등 4개 벤치마크 SOTA를 갱신했다.