PAPER 자연어 처리 · 언어 모델
BERT: 마스킹으로 모든 층을 양방향으로 사전학습하다
토큰의 15%를 가리고 원래 토큰을 맞히는 Masked LM으로, 좌우 문맥을 모든 층에서 동시에 조건화하는 깊은 양방향 Transformer 인코더를 사전학습한다. 출력층 하나만 얹는 미세조정으로 GLUE, SQuAD 등 11개 태스크의 SOTA를 갈아치웠다.
#사전학습
0 entradas · 4 reseñas (4 en total)
PAPER
Reseñas de artículos
PAPER 자연어 처리 · 언어 모델
ELMo: 단어 벡터를 문맥의 함수로 바꾸다
대규모 코퍼스로 학습한 양방향 LSTM 언어 모델의 내부 상태들을 태스크별 가중합으로 결합해, 단어 하나에 고정 벡터 하나가 아니라 문장 전체의 함수인 문맥화된 표현을 부여한다. 기존 모델에 이 표현을 이어붙이는 것만으로 QA, NLI, SRL 등 6개 태스크에서 일제히 SOTA를 경신했다.
PAPER 자연어 처리 · 언어 모델
GPT-1: 생성적 사전학습 + 판별적 미세조정이라는 레시피
Transformer 디코더를 대규모 비지도 텍스트로 언어 모델링 사전학습한 뒤, 태스크별 아키텍처 대신 입력 변환만으로 각 태스크에 미세조정하는 2단계 프레임을 제시한다. 단일 task-agnostic 모델이 12개 벤치마크 중 9개에서 SOTA를 경신했다.
PAPER 자연어 처리 · 언어 모델
T5: 모든 NLP 태스크를 text-to-text 하나로
번역, 요약, 분류, QA를 전부 "텍스트 입력 → 텍스트 출력"으로 통일한 프레임 위에서, 아키텍처·목적함수·데이터·학습 전략을 동일 조건으로 체계 비교한 대규모 연구. C4 데이터셋을 공개하고, 그 결론들을 모아 11B 모델로 GLUE 90.3, SuperGLUE 88.9를 달성했다.