POST 개념 정리
자기지도학습의 세 갈래: 예측, 대조, 자기증류
라벨 없이 표현을 배우는 자기지도학습을 세 계열로 정리한다 — 가려진 것을 맞히는 예측(MAE), 같은 것끼리 당기고 다른 것끼리 미는 대조 학습(SimCLR), 그리고 negative 없이 교사-학생의 출력을 맞추는 자기증류(BYOL/DINO). 각 계열이 붕괴(collapse)를 어떻게 피하는지가 핵심 축이다.
#자기지도학습
1 Beiträge · 6 Paper-Reviews (insgesamt 7)
POST
Blogbeiträge
PAPER
Paper-Reviews
PAPER 컴퓨터 비전 · 자기지도학습
DINOv2: 텍스트 없이 만든 비전 파운데이션 모델
12억 장의 웹 이미지에서 검색 기반으로 큐레이션한 LVD-142M 위에, DINO(이미지 수준)와 iBOT(패치 수준 마스킹) 손실을 결합해 1.1B ViT-g를 학습하고 소형 모델로 증류한다. frozen feature만으로 OpenCLIP을 넘는, 텍스트 감독 없는 범용 시각 backbone을 실증했다.
PAPER 컴퓨터 비전 · 자기지도학습
DINOv3: Gram anchoring으로 7B 자기지도 비전 모델을 완성하다
자기지도 비전 모델을 ViT-7B와 17억 장 큐레이션 데이터로 스케일링하며, 장기 학습에서 dense feature가 열화되는 문제를 초기 체크포인트의 Gram 행렬에 패치 특징을 정박시키는 Gram anchoring으로 해결한다. frozen backbone만으로 분할·깊이·대응 등 dense 태스크에서 자기·약지도 모델 전부를 크게 앞선다.
PAPER 음성 처리 · 음성 인식
HuBERT: 나쁜 클러스터라도, 마스킹 예측이면 배운다
MFCC의 k-means 클러스터를 의사 라벨로 삼아 마스킹된 프레임의 클러스터를 맞히는 BERT식 masked prediction으로 음성 표현을 사전학습하고, 배운 표현을 다시 클러스터링해 타깃을 반복 개선한다. 손실을 마스킹 영역에만 걸면 타깃 품질이 나빠도 학습이 성립하며, wav2vec 2.0을 전 구간에서 앞선다.
PAPER 컴퓨터 비전 · 자기지도학습
MAE: 75%를 가리고 픽셀을 복원하다 — 비전의 BERT 순간
패치의 75%를 무작위로 가리고, 인코더는 보이는 25%만 처리하며, 가벼운 디코더가 마스크 토큰으로 픽셀을 복원하는 비대칭 masked autoencoder를 제안한다. 3배 이상 빠른 사전학습으로 ViT-H가 ImageNet-1k만으로 87.8%를 달성했고, 검출·분할 전이에서도 지도 사전학습을 크게 앞선다.
PAPER 컴퓨터 비전 · 자기지도학습
SimCLR: 대조 학습에는 트릭이 아니라 조합이 필요하다
메모리 뱅크나 특수 구조 없이 — 강한 증강 조합, ResNet 인코더, projection head, NT-Xent 손실, 큰 배치 — 만으로 대조 학습의 SOTA를 크게 끌어올린 프레임워크. linear evaluation에서 ResNet-50(4×) 76.5%로 지도학습 베이스라인과 대등해졌다.
PAPER 음성 처리 · 음성 인식
wav2vec 2.0: 라벨 10분으로 음성 인식하기 — 음성의 자기지도 사전학습
raw waveform을 CNN으로 인코딩하고 잠재 표현의 span을 마스킹해, Transformer의 출력이 해당 위치의 양자화된 표현을 distractor들 사이에서 맞히는 대조 학습으로 사전학습한다. 라벨 없는 5.3만 시간 사전학습 후 라벨 10분 미세조정만으로 LibriSpeech WER 4.8/8.2를 달성했다.