jepetolee's Insight
PAPER

LeNet: 국소 수용 영역, 가중치 공유, 서브샘플링 — CNN의 설계도

Gradient-Based Learning Applied to Document Recognition Yann LeCun, Léon Bottou, Yoshua Bengio, Patrick Haffner · Proceedings of the IEEE · 1998
컴퓨터 비전인공신경망LeNetCNNMNIST문자 인식

한 줄 요약

fully-connected 망으로 이미지를 다루면 파라미터가 폭발하고, 무엇보다 이동·왜곡에 대한 불변성이 구조에 없다 — 같은 특징 검출기를 위치마다 새로 배워야 한다. 이 논문은 그 해법을 세 원리로 집대성한다: 국소 수용 영역(픽셀의 2D 국소 상관 활용), 가중치 공유(한 번 배운 특징은 모든 위치에서 유효), 서브샘플링(정확한 위치를 버려 왜곡에 둔감하게). 그 구현이 LeNet-5이고, 평가를 위해 만든 데이터셋이 MNIST다 — 이후 모든 CNN의 설계도이자, “미분 가능한 모듈들의 합성은 전체를 end-to-end로 학습할 수 있다”는 사상의 선언문.

핵심 기여

  • 왜 convolution인가 — 원리의 명문화: 이미지의 변수들은 공간적으로 이웃할수록 강하게 상관되고(에지·코너 같은 국소 특징), 한 곳에서 유용한 특징 검출기는 모든 곳에서 유용하다. 가중치 공유는 이동 불변성을 “학습으로 얻는” 게 아니라 구조로 강제하고, 부수 효과로 자유 파라미터를 줄여 일반화 격차를 좁힌다 — LeNet-5는 연결 340,908개에 자유 파라미터 60,000개다. Hubel-Wiesel의 단순/복잡 세포와 Fukushima의 Neocognitron(전역 학습 절차가 없었다)을 명시적 계보로 인용하고, 시간축의 같은 아이디어인 TDNN도 나란히 놓는다.

  • LeNet-5: 32×32 입력 → C1(6@28×28, 5×5) → S2(2×2 평균 서브샘플링 × 학습 계수 + 바이어스 → 시그모이드) → C3(16맵, S2와의 부분 연결 — 대칭을 깨 상보적 특징을 강제하고 연결 수를 억제) → S4 → C5(120) → F6(84) → 출력. conv와 서브샘플링의 교대가 만드는 “bi-pyramid”(해상도는 줄고 표현 풍부도는 늘고)가 계층적 불변성의 요체다. 서브샘플링의 논리가 선명하다 — “특징이 검출되면 정확한 위치는 오히려 해롭다(인스턴스마다 흔들리므로), 다른 특징과의 상대 위치만 남겨라.”

  • 출력층과 손실의 설계: 출력은 클래스별 RBF 유닛(파라미터 벡터와의 유클리드 거리) — 혼동하기 쉬운 문자들이 비슷한 코드를 갖는 분산 출력 코드로, 후단 언어 처리기와의 결합을 겨냥했다. 손실은 MSE에서 출발해, 오답 클래스의 벌점을 끌어올리는 판별적(MAP) 기준으로 확장 — softmax 교차엔트로피 이전 시대의 마진 있는 손실 설계다.

  • MNIST의 탄생: NIST의 SD-3(공무원 필체, 깨끗함)와 SD-1(고등학생 필체, 어려움)이 학습/테스트로 나뉘어 있던 것을 필자 단위로 섞어 재구성한 것이 MNIST다 — “학습과 테스트의 분포를 맞춘다”는 벤치마크 설계 원칙까지 이 논문의 기여.

  • 거시적 사상 — 미분 가능한 시스템: 논문 후반부는 개별 문자 분류를 넘어, 분할·인식·언어 모델을 그래프 변환기(GTN)로 잇고 시스템 전체를 하나의 전역 손실로 역전파하는 수표 판독 시스템을 다룬다(상업 배치까지). “손으로 설계한 파이프라인을 미분 가능한 모듈의 합성으로 대체하고 end-to-end로 학습한다” — Deep Speech 2와 Whisper까지 이어지는 사상이 1998년에 완성문으로 쓰여 있다.

주요 결과 (MNIST 테스트 오류율)

  • 선형 분류기 12.0% / k-NN 5.0% / 최고 SVM(poly) 1.1~0.8% / LeNet-5 0.95%, 아핀 왜곡 증강 시 0.8%, boosted LeNet-4는 0.7%.
  • 데이터를 15k→60k로 늘릴수록 개선이 계속되고(Fig. 6), 저자들은 “전용 구조로도 데이터가 더 있으면 더 좋아질 것”이라 못박는다 — 14년 뒤 AlexNet이 확인하는 명제다.
  • SGD가 과적합 없이 수렴하며, 큰 학습률의 요동이 넓은 최솟값을 선호하는 정규화처럼 작동한다는 관찰(flat minima 논의의 이른 등장)도 흥미롭다.

계보에서의 위치

Backpropagation이 “미분 가능하면 배운다”를 주었다면, LeNet은 “이미지라는 도메인의 구조를 아키텍처에 어떻게 새길 것인가”에 대한 답 — CNN 해부학에서 정리한 inductive bias 전부 — 을 주었다. 이후 10여 년간 SVM과 수공 특징에 밀려 있다가 AlexNet이 GPU와 ImageNet으로 이 설계도를 그대로 확대하면서 역사가 재개된다: C1~S4는 conv+pooling 스택으로, RBF 출력은 softmax로, 시그모이드는 ReLU로 바뀌었지만 골격은 LeNet-5다. MNIST는 지금도 살아 있는 가장 오래된 벤치마크이고, “end-to-end 미분 가능 시스템”이라는 후반부의 사상은 딥러닝 시대 전체가 뒤늦게 도착한 결론이다.