PAPER 자연어 처리 · 언어 모델
GPT-1: 생성적 사전학습 + 판별적 미세조정이라는 레시피
Transformer 디코더를 대규모 비지도 텍스트로 언어 모델링 사전학습한 뒤, 태스크별 아키텍처 대신 입력 변환만으로 각 태스크에 미세조정하는 2단계 프레임을 제시한다. 단일 task-agnostic 모델이 12개 벤치마크 중 9개에서 SOTA를 경신했다.
#GPT-1
Записей: 0 · Разборов статей: 1 (всего 1)
PAPER