#시퀀스 모델링

LSTM: 상수 오차 회전목마로 1000스텝의 시간 간격을 건너다

RNN의 역전파 오차가 시간을 거슬러 갈수록 지수적으로 소멸하거나 폭발함을 분석하고, 자기 재귀 가중치를 1.0으로 고정한 선형 유닛(상수 오차 회전목마)에 곱셈형 입력/출력 게이트를 붙인 메모리 셀 아키텍처로 1000스텝이 넘는 최소 시간 간격을 학습할 수 있음을 보인다.