PAPER 자연어 처리 · 언어 모델
GPT-3: 스케일이 만드는 인컨텍스트 학습
175B 파라미터 자기회귀 언어 모델을 300B 토큰으로 학습하면, 그래디언트 업데이트 없이 프롬프트 안의 시연 몇 개만으로 새 태스크를 수행하는 few-shot 인컨텍스트 학습이 창발하며 그 효율이 모델 크기에 따라 부드럽게 상승함을 보인다.
#인컨텍스트 학습
0 posts · 1 paper reviews (1 total)
PAPER
0 posts · 1 paper reviews (1 total)
175B 파라미터 자기회귀 언어 모델을 300B 토큰으로 학습하면, 그래디언트 업데이트 없이 프롬프트 안의 시연 몇 개만으로 새 태스크를 수행하는 few-shot 인컨텍스트 학습이 창발하며 그 효율이 모델 크기에 따라 부드럽게 상승함을 보인다.