컴퓨터 비전 전반의 이론과 응용 연구를 다루는 격년제 최상위 학회. 0 posts · 4 paper reviews (4 total)
convolution의 고정된 k×k 샘플링 격자에 학습된 2D offset을 더해, 필터가 물체의 크기와 형태를 따라 휘어지게 만드는 deformable convolution을 제안한다. 분수 offset은 bilinear 보간으로 처리하며, ResNet-101의 마지막 3개 conv층만 교체해도 COCO 검출과 semantic segmentation이 크게 개선된다.
클래스 점수의 그래디언트를 feature map에 대해 전역 평균한 값을 채널 중요도로 삼아, GAP 구조 요구와 재학습 없이 임의의 CNN에서 클래스 판별적 히트맵을 뽑는 Grad-CAM을 제안한다. GAP-선형 구조에서 CAM과 수학적으로 일치함을 증명해 엄밀한 일반화임을 보였다.
CLIP의 softmax 대조 손실을 이미지-텍스트 쌍마다 독립인 sigmoid 이진 분류로 바꿔, 배치 전체에 대한 전역 정규화와 그로 인한 메모리·통신 비용을 제거한다. 작은 배치에서 softmax를 크게 앞서고, TPUv4 4개·이틀 만에 ImageNet 제로샷 84.5%(SigLiT)를 달성했으며, 배치 100만까지 키워도 32k에서 포화함을 보였다.
어텐션을 7×7 국소 윈도우 안으로 제한해 복잡도를 이미지 크기에 선형으로 만들고, 블록마다 윈도우를 반 칸 이동시켜 윈도우 간 정보를 섞는다. patch merging으로 CNN식 4단계 계층 feature를 복원해, 분류를 넘어 COCO 검출과 ADE20K 분할까지 전 태스크 SOTA를 달성한 범용 백본이다.