PAPER 컴퓨터 비전 · 비전-언어 모델
CLIP: 자연어가 이미지 분류기의 라벨 공간이 되다
웹에서 모은 4억 쌍의 (이미지, 텍스트)로 이미지 인코더와 텍스트 인코더를 대조 학습해, 배치 내 올바른 짝을 맞히는 사전학습만으로 임의의 분류 태스크를 프롬프트로 제로샷 수행한다. ImageNet 제로샷 76.2%로 지도학습 ResNet-50과 대등하며, 분포 이동 강건성에서 지도 모델을 압도한다.
#멀티모달
ブログ 0件 · 論文レビュー 2件 (全2件)
PAPER
論文レビュー
PAPER 컴퓨터 비전 · 비전-언어 모델
SigLIP: softmax를 버리고 쌍별 sigmoid로 CLIP을 다시 학습하다
CLIP의 softmax 대조 손실을 이미지-텍스트 쌍마다 독립인 sigmoid 이진 분류로 바꿔, 배치 전체에 대한 전역 정규화와 그로 인한 메모리·통신 비용을 제거한다. 작은 배치에서 softmax를 크게 앞서고, TPUv4 4개·이틀 만에 ImageNet 제로샷 84.5%(SigLiT)를 달성했으며, 배치 100만까지 키워도 32k에서 포화함을 보였다.