PAPER 자연어 처리 · 언어 모델
Scaling Laws: 언어 모델 성능은 멱법칙을 따른다
언어 모델의 교차엔트로피 손실이 모델 크기, 데이터 크기, 학습 연산량 각각에 대해 6~8 자릿수에 걸친 멱법칙을 따름을 실증한다. 아키텍처 모양은 거의 무관하며, 고정된 연산 예산에서는 아주 큰 모델을 수렴 전에 멈추는 것이 최적이라는 compute-optimal 학습 원칙을 도출했다.
#스케일링 법칙
0 Beiträge · 2 Paper-Reviews (insgesamt 2)
PAPER
Paper-Reviews
PAPER 컴퓨터 비전 · 비전 트랜스포머
Swin V2: 3B 파라미터, 1536px — 비전 백본 스케일링의 공학
비전 Transformer를 3B 파라미터와 1536px 해상도로 키울 때 만나는 세 가지 벽 — 깊은 층 활성 폭주, 사전학습-미세조정 해상도 격차, GPU 메모리 — 을 res-post-norm, scaled cosine attention, 로그 간격 연속 위치 바이어스로 해결한다. SwinV2-G는 COCO 63.1 AP, ADE20K 59.9 mIoU 등 4개 벤치마크 SOTA를 갱신했다.