PAPER 자연어 처리 · 언어 모델
BERT: 마스킹으로 모든 층을 양방향으로 사전학습하다
토큰의 15%를 가리고 원래 토큰을 맞히는 Masked LM으로, 좌우 문맥을 모든 층에서 동시에 조건화하는 깊은 양방향 Transformer 인코더를 사전학습한다. 출력층 하나만 얹는 미세조정으로 GLUE, SQuAD 등 11개 태스크의 SOTA를 갈아치웠다.
#BERT
ブログ 0件 · 論文レビュー 1件 (全1件)
PAPER
ブログ 0件 · 論文レビュー 1件 (全1件)
토큰의 15%를 가리고 원래 토큰을 맞히는 Masked LM으로, 좌우 문맥을 모든 층에서 동시에 조건화하는 깊은 양방향 Transformer 인코더를 사전학습한다. 출력층 하나만 얹는 미세조정으로 GLUE, SQuAD 등 11개 태스크의 SOTA를 갈아치웠다.