#ELMo

ELMo: 단어 벡터를 문맥의 함수로 바꾸다

대규모 코퍼스로 학습한 양방향 LSTM 언어 모델의 내부 상태들을 태스크별 가중합으로 결합해, 단어 하나에 고정 벡터 하나가 아니라 문장 전체의 함수인 문맥화된 표현을 부여한다. 기존 모델에 이 표현을 이어붙이는 것만으로 QA, NLI, SRL 등 6개 태스크에서 일제히 SOTA를 경신했다.