PAPER 자연어 처리 · 언어 모델
BERT: 마스킹으로 모든 층을 양방향으로 사전학습하다
토큰의 15%를 가리고 원래 토큰을 맞히는 Masked LM으로, 좌우 문맥을 모든 층에서 동시에 조건화하는 깊은 양방향 Transformer 인코더를 사전학습한다. 출력층 하나만 얹는 미세조정으로 GLUE, SQuAD 등 11개 태스크의 SOTA를 갈아치웠다.
#언어 모델
0 entradas · 6 reseñas (6 en total)
PAPER
Reseñas de artículos
PAPER 자연어 처리 · 언어 모델
GPT-1: 생성적 사전학습 + 판별적 미세조정이라는 레시피
Transformer 디코더를 대규모 비지도 텍스트로 언어 모델링 사전학습한 뒤, 태스크별 아키텍처 대신 입력 변환만으로 각 태스크에 미세조정하는 2단계 프레임을 제시한다. 단일 task-agnostic 모델이 12개 벤치마크 중 9개에서 SOTA를 경신했다.
PAPER 자연어 처리 · 언어 모델
GPT-3: 스케일이 만드는 인컨텍스트 학습
175B 파라미터 자기회귀 언어 모델을 300B 토큰으로 학습하면, 그래디언트 업데이트 없이 프롬프트 안의 시연 몇 개만으로 새 태스크를 수행하는 few-shot 인컨텍스트 학습이 창발하며 그 효율이 모델 크기에 따라 부드럽게 상승함을 보인다.
PAPER 자연어 처리 · 언어 모델
Scaling Laws: 언어 모델 성능은 멱법칙을 따른다
언어 모델의 교차엔트로피 손실이 모델 크기, 데이터 크기, 학습 연산량 각각에 대해 6~8 자릿수에 걸친 멱법칙을 따름을 실증한다. 아키텍처 모양은 거의 무관하며, 고정된 연산 예산에서는 아주 큰 모델을 수렴 전에 멈추는 것이 최적이라는 compute-optimal 학습 원칙을 도출했다.
PAPER 자연어 처리 · 언어 모델
T5: 모든 NLP 태스크를 text-to-text 하나로
번역, 요약, 분류, QA를 전부 "텍스트 입력 → 텍스트 출력"으로 통일한 프레임 위에서, 아키텍처·목적함수·데이터·학습 전략을 동일 조건으로 체계 비교한 대규모 연구. C4 데이터셋을 공개하고, 그 결론들을 모아 11B 모델로 GLUE 90.3, SuperGLUE 88.9를 달성했다.
PAPER 자연어 처리 · 언어 모델
GPT-2: 언어 모델은 이미 비지도 멀티태스크 학습자다
대규모 웹 텍스트(WebText)로 학습한 언어 모델이 별도의 지도학습이나 태스크별 아키텍처 없이도 독해, 번역, 요약, 질의응답 등 다양한 태스크를 제로샷으로 수행할 수 있음을 보인다. 1.5B 파라미터 GPT-2는 테스트한 8개 언어모델링 데이터셋 중 7개에서 SOTA를 달성했다.