PAPER 컴퓨터 비전 · 비전-언어 모델
SigLIP: softmax를 버리고 쌍별 sigmoid로 CLIP을 다시 학습하다
CLIP의 softmax 대조 손실을 이미지-텍스트 쌍마다 독립인 sigmoid 이진 분류로 바꿔, 배치 전체에 대한 전역 정규화와 그로 인한 메모리·통신 비용을 제거한다. 작은 배치에서 softmax를 크게 앞서고, TPUv4 4개·이틀 만에 ImageNet 제로샷 84.5%(SigLiT)를 달성했으며, 배치 100만까지 키워도 32k에서 포화함을 보였다.