PAPER 컴퓨터 비전 · 자기지도학습
DINOv2: 텍스트 없이 만든 비전 파운데이션 모델
12억 장의 웹 이미지에서 검색 기반으로 큐레이션한 LVD-142M 위에, DINO(이미지 수준)와 iBOT(패치 수준 마스킹) 손실을 결합해 1.1B ViT-g를 학습하고 소형 모델로 증류한다. frozen feature만으로 OpenCLIP을 넘는, 텍스트 감독 없는 범용 시각 backbone을 실증했다.
#파운데이션 모델
블로그 0편 · 논문 리뷰 2편 (총 2편)
PAPER
논문 리뷰
PAPER 컴퓨터 비전 · 자기지도학습
DINOv3: Gram anchoring으로 7B 자기지도 비전 모델을 완성하다
자기지도 비전 모델을 ViT-7B와 17억 장 큐레이션 데이터로 스케일링하며, 장기 학습에서 dense feature가 열화되는 문제를 초기 체크포인트의 Gram 행렬에 패치 특징을 정박시키는 Gram anchoring으로 해결한다. frozen backbone만으로 분할·깊이·대응 등 dense 태스크에서 자기·약지도 모델 전부를 크게 앞선다.