PAPER 자연어 처리 · 언어 모델
BERT: 마스킹으로 모든 층을 양방향으로 사전학습하다
토큰의 15%를 가리고 원래 토큰을 맞히는 Masked LM으로, 좌우 문맥을 모든 층에서 동시에 조건화하는 깊은 양방향 Transformer 인코더를 사전학습한다. 출력층 하나만 얹는 미세조정으로 GLUE, SQuAD 등 11개 태스크의 SOTA를 갈아치웠다.
#NAACL
북미 ACL 계열 자연어 처리 학회. 0 articles · 2 analyses (2 au total)
CONFERENCE 2 éléments
Chercheurs représentatifs
Christopher ManningRegina BarzilayNoah SmithLuke Zettlemoyer
Par année
2019
- PAPER
2018
- PAPER
PAPER
Analyses d’articles
PAPER 자연어 처리 · 언어 모델
ELMo: 단어 벡터를 문맥의 함수로 바꾸다
대규모 코퍼스로 학습한 양방향 LSTM 언어 모델의 내부 상태들을 태스크별 가중합으로 결합해, 단어 하나에 고정 벡터 하나가 아니라 문장 전체의 함수인 문맥화된 표현을 부여한다. 기존 모델에 이 표현을 이어붙이는 것만으로 QA, NLI, SRL 등 6개 태스크에서 일제히 SOTA를 경신했다.