jepetolee's Insight

#Meta AI

오픈 모델, 컴퓨터 비전, 추천, 자기지도학습, 생성 AI 연구를 수행하는 Meta 연구 조직. 博客 0 篇 · 论文评述 6 篇 (共 6 篇)

ORGANIZATION 6 项

代表性研究者

Yann LeCunJoelle PineauPiotr DollarRoss Girshick

按年份整理

2025

  1. PAPER
    DINOv3: Gram anchoring으로 7B 자기지도 비전 모델을 완성하다

    DINOv3 · arXiv

2024

  1. PAPER
    DINOv2: 텍스트 없이 만든 비전 파운데이션 모델

    DINOv2: Learning Robust Visual Features without Supervision · TMLR

2022

  1. PAPER
    MAE: 75%를 가리고 픽셀을 복원하다 — 비전의 BERT 순간

    Masked Autoencoders Are Scalable Vision Learners · CVPR

2021

  1. PAPER
    DeiT: JFT 없이, 증류 토큰으로 ViT를 ImageNet에서 학습하다

    Training data-efficient image transformers & distillation through attention · ICML

  2. PAPER
    HuBERT: 나쁜 클러스터라도, 마스킹 예측이면 배운다

    HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units · IEEE/ACM TASLP

2020

  1. PAPER
    wav2vec 2.0: 라벨 10분으로 음성 인식하기 — 음성의 자기지도 사전학습

    wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations · NeurIPS

PAPER

论文评述

PAPER 컴퓨터 비전 · 비전 트랜스포머

DeiT: JFT 없이, 증류 토큰으로 ViT를 ImageNet에서 학습하다

강한 증강·정규화 레시피와 convnet 교사의 hard label을 어텐션으로 받는 증류 토큰으로, JFT-300M 없이 ImageNet-1k만으로 ViT를 학습한다. DeiT-B 증류 모델은 8-GPU 3일 학습으로 top-1 85.2%(384px)에 도달해 JFT 사전학습 ViT-B를 넘어섰다.

컴퓨터 비전ICMLMeta AIDeiT지식 증류Transformer
阅读更多
PAPER 컴퓨터 비전 · 자기지도학습

DINOv2: 텍스트 없이 만든 비전 파운데이션 모델

12억 장의 웹 이미지에서 검색 기반으로 큐레이션한 LVD-142M 위에, DINO(이미지 수준)와 iBOT(패치 수준 마스킹) 손실을 결합해 1.1B ViT-g를 학습하고 소형 모델로 증류한다. frozen feature만으로 OpenCLIP을 넘는, 텍스트 감독 없는 범용 시각 backbone을 실증했다.

컴퓨터 비전Meta AIDINOv2자기지도학습파운데이션 모델데이터셋
阅读更多
PAPER 컴퓨터 비전 · 자기지도학습

DINOv3: Gram anchoring으로 7B 자기지도 비전 모델을 완성하다

자기지도 비전 모델을 ViT-7B와 17억 장 큐레이션 데이터로 스케일링하며, 장기 학습에서 dense feature가 열화되는 문제를 초기 체크포인트의 Gram 행렬에 패치 특징을 정박시키는 Gram anchoring으로 해결한다. frozen backbone만으로 분할·깊이·대응 등 dense 태스크에서 자기·약지도 모델 전부를 크게 앞선다.

컴퓨터 비전Meta AIDINOv3자기지도학습파운데이션 모델
阅读更多
PAPER 음성 처리 · 음성 인식

HuBERT: 나쁜 클러스터라도, 마스킹 예측이면 배운다

MFCC의 k-means 클러스터를 의사 라벨로 삼아 마스킹된 프레임의 클러스터를 맞히는 BERT식 masked prediction으로 음성 표현을 사전학습하고, 배운 표현을 다시 클러스터링해 타깃을 반복 개선한다. 손실을 마스킹 영역에만 걸면 타깃 품질이 나빠도 학습이 성립하며, wav2vec 2.0을 전 구간에서 앞선다.

ASRMeta AIHuBERT자기지도학습Transformer
阅读更多
PAPER 컴퓨터 비전 · 자기지도학습

MAE: 75%를 가리고 픽셀을 복원하다 — 비전의 BERT 순간

패치의 75%를 무작위로 가리고, 인코더는 보이는 25%만 처리하며, 가벼운 디코더가 마스크 토큰으로 픽셀을 복원하는 비대칭 masked autoencoder를 제안한다. 3배 이상 빠른 사전학습으로 ViT-H가 ImageNet-1k만으로 87.8%를 달성했고, 검출·분할 전이에서도 지도 사전학습을 크게 앞선다.

컴퓨터 비전CVPRMeta AIMAE자기지도학습Transformer
阅读更多
PAPER 음성 처리 · 음성 인식

wav2vec 2.0: 라벨 10분으로 음성 인식하기 — 음성의 자기지도 사전학습

raw waveform을 CNN으로 인코딩하고 잠재 표현의 span을 마스킹해, Transformer의 출력이 해당 위치의 양자화된 표현을 distractor들 사이에서 맞히는 대조 학습으로 사전학습한다. 라벨 없는 5.3만 시간 사전학습 후 라벨 10분 미세조정만으로 LibriSpeech WER 4.8/8.2를 달성했다.

ASRNeurIPSMeta AIwav2vec자기지도학습TransformerCTC
阅读更多