GPT-3: 스케일이 만드는 인컨텍스트 학습

한 줄 요약

GPT-2가 “제로샷이 가능하다”는 존재 증명이었다면, GPT-3는 모델을 175B까지 키웠을 때 프롬프트 안의 예시 몇 개(gradient 업데이트 없음)만으로 태스크를 배우는 능력 — 인컨텍스트 학습 — 이 실용 수준에 도달하며, 그 능력이 모델 크기에 대해 부드럽게 스케일함을 보였다. “미세조정 없이 시연으로”라는 사용법 자체가 이 논문이 만든 것이다.

핵심 기여

평가 프레임의 재정의: 태스크 적응을 zero-shot(자연어 지시만), one-shot(시연 1개), few-shot(문맥 창에 들어가는 만큼, $K$ =10~100)으로 구분한다. 셋 모두 가중치 업데이트가 없다 — 태스크 학습이 순전히 forward pass의 활성 안에서 일어난다. 미세조정을 피하는 이유로 데이터셋별 허위 상관 학습과 분포 외 일반화 문제를 든다.
아키텍처와 스케일: GPT-2 구조에 dense/locally banded sparse attention을 교대로 배치. 125M부터 175B까지 8개 크기를 같은 조건으로 학습해 스케일링 곡선 자체를 실험 대상으로 삼았다. 175B는 96층, $d_{model}=12288$ , 96헤드, 문맥 2048토큰. 전 모델 300B 토큰 학습.
데이터: 필터링한 Common Crawl 410B 토큰(가중 60%), WebText2 19B(22%), Books1/Books2, Wikipedia(3.4에폭 반복) — 품질 높은 소스를 크기 대비 과대 샘플링하는 가중 혼합. 벤치마크와의 중복(오염) 분석을 별도 절로 다뤘다.
핵심 관찰 — 스케일과 인컨텍스트 학습의 결합: zero/one/few-shot 성능 격차가 모델이 클수록 벌어진다. 즉 큰 모델일수록 문맥 내 정보를 더 효율적으로 활용한다. 42개 벤치마크 집계 곡선에서 few-shot 성능이 크기에 대해 가장 가파르게 상승 — “meta-learning이 스케일의 함수”라는 이 관찰이 논문의 진짜 논지다.

주요 결과

LAMBADA few-shot 86.4%(기존 SOTA +18%p), TriviaQA 71.2%(검색 기반 open-domain SOTA와 대등), CoQA F1 85.0(인간 -3), SuperGLUE 평균 71.8(8개 중 4개에서 미세조정된 BERT-Large 초과), Fr↔En 번역 39.2 BLEU.
합성 태스크의 창발: 2자리 덧셈 100%, 2자리 뺄셈 98.9%(4자리 덧셈은 25.5%로 급락), 철자 재배열, SAT 유추 65.2%(대학 지원자 평균 57%). 작은 모델에서는 거의 0이던 능력이 규모에서 갑자기 나타난다.
뉴스 생성: 사람이 GPT-3가 쓴 기사를 진짜와 구분하는 정확도가 52% — 우연 수준. 이 결과가 Broader Impacts 절(오남용, 편향, 에너지)을 이례적으로 길게 쓰게 만든 배경이다.
한계도 명확: 문장 비교류 태스크(WiC 49.4% — 랜덤 수준), ANLI, 독해(RACE 46.8%)에서 약하다. 저자들은 단방향 자기회귀 구조의 한계와 사전학습 목적함수의 표본 비효율을 원인 후보로 꼽는다.

계보에서의 위치

GPT-2의 “태스크의 프롬프트 조건화” 논제를 두 자릿수 큰 스케일에서 검증하며, 사실상 프롬프트 엔지니어링과 LLM-as-a-product 시대를 연 논문이다. 8개 크기의 매끈한 스케일링 곡선은 같은 해 나온 scaling laws 연구와 함께 “더 키우면 더 된다”는 투자 논리를 완성했다. 한편 few-shot으로도 안 되는 것들 — 지시 따르기, 사실성, 유해성 — 의 목록은 그대로 InstructGPT(RLHF)가 풀어야 할 문제 정의가 된다.