POST 개념 정리
CNN 해부학: convolution 연산의 수학과 변형들의 분류
convolution이 왜 이미지에 맞는 연산인지(국소성, 가중치 공유, 평행이동 등변성)부터 stride/padding/dilation이 출력 크기와 수용 영역을 결정하는 수식, 그리고 grouped/depthwise/pointwise/separable/deformable로 이어지는 변형 연산들의 계보까지 한 번에 정리한다.
#컴퓨터 비전
이미지와 비디오 인식, 생성, 검출, 분할 모델. 2 posts · 24 paper reviews (26 total)
POST
Blog posts
POST 개념 정리
자기지도학습의 세 갈래: 예측, 대조, 자기증류
라벨 없이 표현을 배우는 자기지도학습을 세 계열로 정리한다 — 가려진 것을 맞히는 예측(MAE), 같은 것끼리 당기고 다른 것끼리 미는 대조 학습(SimCLR), 그리고 negative 없이 교사-학생의 출력을 맞추는 자기증류(BYOL/DINO). 각 계열이 붕괴(collapse)를 어떻게 피하는지가 핵심 축이다.
PAPER
Paper reviews
PAPER 컴퓨터 비전 · 합성곱 신경망
AlexNet: 딥러닝이 컴퓨터 비전을 접수한 날
5개 conv + 3개 FC, 60M 파라미터의 대형 CNN을 ReLU, dropout, 데이터 증강, 2-GPU 분산으로 ImageNet에서 학습해 ILSVRC-2012 top-5 오류 15.3%로 2위(26.2%)를 압도했다. 딥러닝 기반 컴퓨터 비전 시대를 연 논문.
PAPER 컴퓨터 비전 · 얼굴 인식
ArcFace: 각도 마진으로 임베딩 사이를 벌리다
임베딩과 클래스 가중치를 정규화해 로짓을 각도의 코사인으로 환원하고, 정답 클래스의 각도에 가산 마진 m을 더하는 additive angular margin(AAM) softmax를 제안한다. 초구면 위 측지 거리에 정확히 대응하는 마진으로 얼굴 인식 벤치마크를 석권했고, 이후 화자 검증 임베딩 학습의 표준 손실로 이식됐다.
PAPER 컴퓨터 비전 · 모델 해석
CAM: 분류기가 어디를 보고 판단했는지 지도화하다
Global average pooling 뒤의 선형 분류 가중치를 conv feature map에 되돌려 곱하면, 클래스별로 판별에 기여한 영역의 지도(Class Activation Map)를 얻을 수 있음을 보인다. 위치 라벨 없이 학습한 분류기만으로 ILSVRC 약지도 위치추정 top-5 오류 37.1%를 달성했다.
PAPER 컴퓨터 비전 · 합성곱 신경망
CBAM: 무엇을 볼지, 어디를 볼지 — 채널과 공간의 이중 어텐션
SE의 채널 어텐션에 공간 어텐션을 직렬로 추가한 경량 모듈을 제안한다. 채널 축에서는 avg+max 이중 풀링과 공유 MLP로 "무엇을", 공간 축에서는 채널 방향 풀링과 7×7 conv로 "어디를" 강조하며, 채널→공간 순서가 최적임을 ablation으로 보였다.
PAPER 컴퓨터 비전 · 비전-언어 모델
CLIP: 자연어가 이미지 분류기의 라벨 공간이 되다
웹에서 모은 4억 쌍의 (이미지, 텍스트)로 이미지 인코더와 텍스트 인코더를 대조 학습해, 배치 내 올바른 짝을 맞히는 사전학습만으로 임의의 분류 태스크를 프롬프트로 제로샷 수행한다. ImageNet 제로샷 76.2%로 지도학습 ResNet-50과 대등하며, 분포 이동 강건성에서 지도 모델을 압도한다.
PAPER 컴퓨터 비전 · 합성곱 신경망
Deformable CNN: 고정 격자를 버리고 샘플링 위치를 학습하다
convolution의 고정된 k×k 샘플링 격자에 학습된 2D offset을 더해, 필터가 물체의 크기와 형태를 따라 휘어지게 만드는 deformable convolution을 제안한다. 분수 offset은 bilinear 보간으로 처리하며, ResNet-101의 마지막 3개 conv층만 교체해도 COCO 검출과 semantic segmentation이 크게 개선된다.
PAPER 컴퓨터 비전 · 비전 트랜스포머
DeiT: JFT 없이, 증류 토큰으로 ViT를 ImageNet에서 학습하다
강한 증강·정규화 레시피와 convnet 교사의 hard label을 어텐션으로 받는 증류 토큰으로, JFT-300M 없이 ImageNet-1k만으로 ViT를 학습한다. DeiT-B 증류 모델은 8-GPU 3일 학습으로 top-1 85.2%(384px)에 도달해 JFT 사전학습 ViT-B를 넘어섰다.
PAPER 컴퓨터 비전 · 자기지도학습
DINOv2: 텍스트 없이 만든 비전 파운데이션 모델
12억 장의 웹 이미지에서 검색 기반으로 큐레이션한 LVD-142M 위에, DINO(이미지 수준)와 iBOT(패치 수준 마스킹) 손실을 결합해 1.1B ViT-g를 학습하고 소형 모델로 증류한다. frozen feature만으로 OpenCLIP을 넘는, 텍스트 감독 없는 범용 시각 backbone을 실증했다.
PAPER 컴퓨터 비전 · 자기지도학습
DINOv3: Gram anchoring으로 7B 자기지도 비전 모델을 완성하다
자기지도 비전 모델을 ViT-7B와 17억 장 큐레이션 데이터로 스케일링하며, 장기 학습에서 dense feature가 열화되는 문제를 초기 체크포인트의 Gram 행렬에 패치 특징을 정박시키는 Gram anchoring으로 해결한다. frozen backbone만으로 분할·깊이·대응 등 dense 태스크에서 자기·약지도 모델 전부를 크게 앞선다.
PAPER 컴퓨터 비전 · 합성곱 신경망
EfficientNet: 깊이·너비·해상도를 하나의 계수로 함께 키우다
깊이, 너비, 해상도 중 하나만 키우면 정확도가 조기 포화됨을 보이고, 세 축을 α^φ, β^φ, γ^φ로 함께 키우는 compound scaling을 제안한다. NAS로 찾은 MBConv+SE 기반 B0에 이를 적용한 B7이 8.4배 적은 파라미터로 ImageNet 84.3%를 달성했다.
PAPER 컴퓨터 비전 · 모델 해석
Grad-CAM: 그래디언트로 CAM을 모든 구조로 일반화하다
클래스 점수의 그래디언트를 feature map에 대해 전역 평균한 값을 채널 중요도로 삼아, GAP 구조 요구와 재학습 없이 임의의 CNN에서 클래스 판별적 히트맵을 뽑는 Grad-CAM을 제안한다. GAP-선형 구조에서 CAM과 수학적으로 일치함을 증명해 엄밀한 일반화임을 보였다.
PAPER 컴퓨터 비전 · 합성곱 신경망
LeNet: 국소 수용 영역, 가중치 공유, 서브샘플링 — CNN의 설계도
국소 수용 영역, 가중치 공유, 서브샘플링이라는 세 원리로 이동·왜곡 불변성을 구조에 내장한 convolutional network(LeNet-5)를 집대성하고, MNIST를 구축해 손글씨 숫자 인식 오류율 0.95%(왜곡 증강 시 0.8%)를 달성한다. 미분 가능한 모듈의 합성으로 시스템 전체를 end-to-end 학습한다는 사상까지 담은 CNN의 원전.
PAPER 컴퓨터 비전 · 자기지도학습
MAE: 75%를 가리고 픽셀을 복원하다 — 비전의 BERT 순간
패치의 75%를 무작위로 가리고, 인코더는 보이는 25%만 처리하며, 가벼운 디코더가 마스크 토큰으로 픽셀을 복원하는 비대칭 masked autoencoder를 제안한다. 3배 이상 빠른 사전학습으로 ViT-H가 ImageNet-1k만으로 87.8%를 달성했고, 검출·분할 전이에서도 지도 사전학습을 크게 앞선다.
PAPER 컴퓨터 비전 · 합성곱 신경망
MobileNet: depthwise separable로 30배 가벼운 CNN
표준 convolution을 depthwise(채널별 공간 필터)와 pointwise(1×1 채널 혼합)로 분해해 계산량을 8~9배 줄인 경량 아키텍처를 제안한다. 너비 배수 α와 해상도 배수 ρ로 지연시간-정확도 트레이드오프를 연속적으로 조절하며, VGG16의 1/30 계산량으로 거의 같은 ImageNet 정확도를 낸다.
PAPER 컴퓨터 비전 · 합성곱 신경망
ResNet: 항등 지름길로 152층을 학습하다
깊은 plain 망이 얕은 망보다 학습 오류조차 높아지는 열화 문제를 지적하고, 층이 H(x) 대신 잔차 F(x) = H(x) - x를 배우게 하는 항등 지름길 연결로 이를 해결한다. 152층 ResNet으로 ILSVRC-2015 우승(top-5 3.57%), residual connection은 이후 모든 딥러닝 아키텍처의 기본 부품이 됐다.
PAPER 컴퓨터 비전 · 합성곱 신경망
SENet: 채널에 어텐션을 달다
전역 평균 풀링으로 채널별 통계를 짜내고(squeeze) 두 FC층의 게이트로 채널별 중요도를 계산해(excitation) feature map을 재보정하는 SE 블록을 제안한다. 계산량 0.26% 추가로 ImageNet 오류를 일관되게 낮추며 ILSVRC-2017에서 우승했다.
PAPER 컴퓨터 비전 · 비전-언어 모델
SigLIP: softmax를 버리고 쌍별 sigmoid로 CLIP을 다시 학습하다
CLIP의 softmax 대조 손실을 이미지-텍스트 쌍마다 독립인 sigmoid 이진 분류로 바꿔, 배치 전체에 대한 전역 정규화와 그로 인한 메모리·통신 비용을 제거한다. 작은 배치에서 softmax를 크게 앞서고, TPUv4 4개·이틀 만에 ImageNet 제로샷 84.5%(SigLiT)를 달성했으며, 배치 100만까지 키워도 32k에서 포화함을 보였다.
PAPER 컴퓨터 비전 · 자기지도학습
SimCLR: 대조 학습에는 트릭이 아니라 조합이 필요하다
메모리 뱅크나 특수 구조 없이 — 강한 증강 조합, ResNet 인코더, projection head, NT-Xent 손실, 큰 배치 — 만으로 대조 학습의 SOTA를 크게 끌어올린 프레임워크. linear evaluation에서 ResNet-50(4×) 76.5%로 지도학습 베이스라인과 대등해졌다.
PAPER 컴퓨터 비전 · 비전 트랜스포머
Swin V2: 3B 파라미터, 1536px — 비전 백본 스케일링의 공학
비전 Transformer를 3B 파라미터와 1536px 해상도로 키울 때 만나는 세 가지 벽 — 깊은 층 활성 폭주, 사전학습-미세조정 해상도 격차, GPU 메모리 — 을 res-post-norm, scaled cosine attention, 로그 간격 연속 위치 바이어스로 해결한다. SwinV2-G는 COCO 63.1 AP, ADE20K 59.9 mIoU 등 4개 벤치마크 SOTA를 갱신했다.
PAPER 컴퓨터 비전 · 비전 트랜스포머
Swin Transformer: 이동 윈도우로 계층적 백본을 되찾다
어텐션을 7×7 국소 윈도우 안으로 제한해 복잡도를 이미지 크기에 선형으로 만들고, 블록마다 윈도우를 반 칸 이동시켜 윈도우 간 정보를 섞는다. patch merging으로 CNN식 4단계 계층 feature를 복원해, 분류를 넘어 COCO 검출과 ADE20K 분할까지 전 태스크 SOTA를 달성한 범용 백본이다.
PAPER 컴퓨터 비전 · 합성곱 신경망
VGG: 3×3만으로 깊이를 증명하다
필터를 3×3 하나로 통일하고 깊이만 11층에서 19층까지 늘리는 통제 실험으로, 깊이가 CNN 성능의 핵심 변수임을 보였다. VGG16/19는 ILSVRC-2014 준우승과 함께 이후 수년간 전이학습의 표준 backbone이 됐다.
PAPER 컴퓨터 비전 · 비전 트랜스포머
ViT: 이미지는 16×16 단어들이다
이미지를 16×16 패치 시퀀스로 잘라 표준 Transformer 인코더에 그대로 넣는 Vision Transformer를 제안한다. ImageNet만으로는 ResNet에 밀리지만 JFT-300M 사전학습에서는 압도한다 — 데이터가 충분하면 대규모 학습이 CNN의 inductive bias를 이긴다는 것이 핵심 논지다.
PAPER 컴퓨터 비전 · 생성 모델
DDPM: 노이즈 예측으로 여는 확산 생성 모델
데이터에 가우시안 노이즈를 점진적으로 더하는 forward process를 거꾸로 되돌리는 reverse process를 신경망으로 학습해 이미지를 생성한다. 노이즈 자체를 예측하는 ε-parameterization과 단순화된 손실 L_simple로 확산 모델을 실용적인 생성 모델링 방법으로 끌어올렸다.
PAPER 컴퓨터 비전 · 생성 모델
Flow Matching: 시뮬레이션 없이 배우는 결정론적 생성 경로
Continuous Normalizing Flow를 시뮬레이션(ODE 적분) 없이 회귀만으로 학습하는 Flow Matching을 제안한다. 고정된 조건부 확률 경로의 벡터장을 직접 회귀하는 것만으로 확산 모델과 동등하거나 더 나은 성능을, 훨씬 적은 샘플링 스텝으로 달성한다.