PAPER 자연어 처리 · 단어 임베딩
GloVe: 동시등장 통계를 직접 회귀하는 전역 단어 벡터
단어 벡터의 선형 유추 구조가 어디서 오는지 분석하고, 동시등장 확률의 비율을 인코딩하도록 로그-쌍선형 회귀 목적함수를 유도한다. 전역 동시등장 행렬의 0이 아닌 원소만으로 학습해 word analogy 75%로 당시 SOTA를 달성했다.
#GloVe
0 posts · 1 paper reviews (1 total)
PAPER
0 posts · 1 paper reviews (1 total)
단어 벡터의 선형 유추 구조가 어디서 오는지 분석하고, 동시등장 확률의 비율을 인코딩하도록 로그-쌍선형 회귀 목적함수를 유도한다. 전역 동시등장 행렬의 0이 아닌 원소만으로 학습해 word analogy 75%로 당시 SOTA를 달성했다.