T5: 모든 NLP 태스크를 text-to-text 하나로

한 줄 요약

BERT 이후 난립한 사전학습 변형들(목적함수, 아키텍처, 데이터, 전이 전략)은 서로 다른 조건에서 평가되어 비교가 불가능했다. T5는 모든 태스크를 “텍스트 입력 → 텍스트 출력”으로 통일한 하나의 실험 프레임 안에서 이 선택지들을 전부 동일 조건으로 재평가하고, 살아남은 조합(인코더-디코더 + span corruption + 대규모 청정 데이터 + 스케일)을 11B 파라미터로 밀어붙여 당시 벤치마크를 정리했다. 방법론적 신규성보다 체계적 비교가 기여인 논문이다.

핵심 기여

• Text-to-text 프레임: 태스크를 자연어 접두사로 지정한다 — translate English to German: That is good. → Das ist gut., 분류는 라벨 단어를 그대로 생성. 회귀(STS-B)조차 숫자 문자열 생성으로 처리한다. 모든 태스크가 같은 모델·손실·디코딩·하이퍼파라미터를 쓰게 되어 비교 연구가 가능해진다. GPT-2의 “태스크를 프롬프트로 조건화”와 같은 정신이지만, 목적이 제로샷이 아니라 공정한 실험 통제다.

• C4 (Colossal Clean Crawled Corpus): Common Crawl 월간 덤프(~20TB)에서 종결 부호로 끝나는 줄만 유지, 3문장 미만 페이지 제거, 욕설/보일러플레이트/코드 필터링, 3문장 span 중복 제거, langdetect 영어 확률 0.99 이상 등 휴리스틱으로 750GB의 청정 영어 텍스트를 추출해 공개했다 — 이후 수많은 LLM 사전학습의 기반 데이터가 된다.

• 아키텍처 비교: 같은 파라미터 규모에서 인코더-디코더 + denoising이 GLUE 83.28로 최고. 순수 디코더 LM은 74.70으로 크게 뒤지고, prefix LM(입력 구간은 양방향, 출력은 자기회귀)이 81.82로 중간. 인코더-디코더의 파라미터를 공유해도 82.81로 거의 손해가 없다.

• 목적함수 비교: denoising(빈칸 복원)이 LM보다 확실히 낫고, 그 안에서는 BERT식 i.i.d. 마스킹보다 연속 span을 sentinel 토큰 하나로 치환하는 span corruption(평균 span 길이 3, 손상률 15%)이 약간 우세하며 타깃 시퀀스가 짧아져 계산도 싸다. 손상률은 10~50% 범위에서 둔감. 결론: “목적함수 간 차이는 크지 않으니 계산 효율로 골라라.”

• 베이스라인과 스케일링: 베이스라인은 양쪽이 BERT-base 크기인 인코더-디코더(총 ~220M), SentencePiece 32k, 배치 128×512토큰으로 $2^{19}$스텝(≈34B 토큰) 사전학습 + $2^{18}$스텝 미세조정, AdaFactor. 여기서 얻은 교훈을 모두 합쳐 Small(60M)부터 11B까지 스케일 — 개선은 규모에 대해 일관적이었다.

주요 결과

• 최종(11B): GLUE 90.3, SuperGLUE 88.9(인간 89.8 근접), SQuAD EM 91.3, CNN/DM ROUGE-2 26.6 — 당시 대부분의 이해 벤치마크 SOTA.
• 다중 태스크 혼합 학습은 개별 미세조정과 사실상 동률(83.36 vs 83.28) — “multi-task로 한 번에”의 이득은 아직 크지 않았다.
• 사전학습의 이득은 저자원 태스크에서 크고, WMT En-Fr처럼 데이터가 많은 태스크에서는 미미하다.
• 모델, 코드, C4를 전부 공개해 이후 연구(mT5, UL2, FLAN-T5 계열)의 토대가 됐다.

계보에서의 위치

Transformer의 원형(인코더-디코더)으로 돌아가 BERT 이후의 사전학습 아이디어들을 하나의 자로 재측정한, 사전학습 1세대의 결산 보고서다. “무엇이 정말 중요한가”라는 질문에 대한 답 — 목적함수 디테일보다 데이터 품질과 스케일 — 은 이듬해 GPT-3와 scaling laws가 극단으로 밀어붙이는 방향과 정확히 일치한다. text-to-text 통일은 이후 instruction tuning(모든 태스크를 자연어 지시문으로)의 직계 조상이고, FLAN-T5를 거쳐 현대 정렬 파이프라인의 기본 문법이 된다.