PAPER 자연어 처리 · 시퀀스 모델링
Bahdanau Attention: 고정 벡터 병목을 정렬 학습으로 풀다
인코더-디코더의 고정 길이 벡터 병목을 지적하고, 디코더가 매 출력 단어마다 소스 문장의 관련 위치를 미분 가능한 soft alignment로 골라 읽는 어텐션 메커니즘을 제안한다. 긴 문장에서의 성능 붕괴를 해소하고 번역과 정렬을 하나의 목적함수로 동시에 학습한다.
#RNN
블로그 0편 · 논문 리뷰 3편 (총 3편)
PAPER
논문 리뷰
PAPER 자연어 처리 · 시퀀스 모델링
LSTM: 상수 오차 회전목마로 1000스텝의 시간 간격을 건너다
RNN의 역전파 오차가 시간을 거슬러 갈수록 지수적으로 소멸하거나 폭발함을 분석하고, 자기 재귀 가중치를 1.0으로 고정한 선형 유닛(상수 오차 회전목마)에 곱셈형 입력/출력 게이트를 붙인 메모리 셀 아키텍처로 1000스텝이 넘는 최소 시간 간격을 학습할 수 있음을 보인다.
PAPER 강화학습 · World Models
World Models: 꿈 속에서 정책을 학습하다
에이전트가 환경의 압축된 내부 모델을 학습하고, 그 모델이 만든 가상 환경(꿈) 안에서 정책을 훈련한다는 월드 모델 계열의 출발점.