PAPER 자연어 처리 · 언어 모델
ELMo: 단어 벡터를 문맥의 함수로 바꾸다
대규모 코퍼스로 학습한 양방향 LSTM 언어 모델의 내부 상태들을 태스크별 가중합으로 결합해, 단어 하나에 고정 벡터 하나가 아니라 문장 전체의 함수인 문맥화된 표현을 부여한다. 기존 모델에 이 표현을 이어붙이는 것만으로 QA, NLI, SRL 등 6개 태스크에서 일제히 SOTA를 경신했다.
#단어 임베딩
블로그 0편 · 논문 리뷰 3편 (총 3편)
PAPER
논문 리뷰
PAPER 자연어 처리 · 단어 임베딩
GloVe: 동시등장 통계를 직접 회귀하는 전역 단어 벡터
단어 벡터의 선형 유추 구조가 어디서 오는지 분석하고, 동시등장 확률의 비율을 인코딩하도록 로그-쌍선형 회귀 목적함수를 유도한다. 전역 동시등장 행렬의 0이 아닌 원소만으로 학습해 word analogy 75%로 당시 SOTA를 달성했다.
PAPER 자연어 처리 · 단어 임베딩
Word2Vec: 단어의 의미를 벡터 산술로 만들다
은닉층을 제거한 두 가지 로그-선형 아키텍처(CBOW, Skip-gram)로 대규모 코퍼스에서 단어 벡터를 하루 안에 학습할 수 있음을 보인다. 학습된 벡터는 vector("King") - vector("Man") + vector("Woman") ≈ vector("Queen") 같은 벡터 산술로 의미적·구문적 관계를 포착한다.