텍스트, 언어 모델, 토큰화, 임베딩, 번역과 생성. 1 posts · 26 paper reviews (27 total)
고전 강화학습의 부품들이 LLM에서 어떻게 재조립되는지를 하나의 지도로 잇는다 — 보상을 인간 선호에서 배우는 RLHF(Christiano→InstructGPT)와 그것이 사실상 1-스텝 밴딧 문제라는 관찰, RL을 수식 변형으로 제거한 DPO와 미명세를 고친 APO, 추론을 행동 공간으로 만든 chain-of-thought, 보상·가치의 세 형태인 ORM/PRM/GRM, 그리고 o1-like 훈련의 두 노선 — 검증 가능한 보상 위의 순수 RL(GRPO→R1→DAPO)과 결정 시점 탐색(rStar-Math의 MCTS) — 까지. 각 단계마다 (1)~(9)의 어느 개념이 재등장하는지를 짚는다.
DPO류 대조 정렬의 두 가지 미명세를 진단한다 — 선호 쌍이 무엇이 다른지(데이터), 학습 중 우도가 어느 방향으로 움직여야 하는지(목적 함수)가 지정되지 않는다는 것. 데이터 쪽은 모델 출력을 최소한으로 고쳐 만든 대조 쌍(CLAIR)으로, 목적 함수 쪽은 승자/패자 우도의 절대 방향까지 명시하는 앵커드 목적 함수 가족(APO-zero/APO-down)으로 답하며, "내 모델보다 데이터가 나은가"에 따라 목적 함수를 골라야 함을 보인 논문.
프롬프트의 few-shot 예시에 정답만이 아니라 정답에 이르는 중간 추론 단계를 함께 써 주면, 충분히 큰 언어 모델이 새 문제에서도 단계적 추론을 흉내 내며 산술·상식·기호 추론 성능이 뛰어오른다는 것을 보인 논문. 이 효과가 모델 규모에 대해 창발적으로 나타난다는 관찰과 함께, 이후 추론 모델 전체가 딛고 서는 "생각을 토큰으로 펼친다"는 기본 형식을 만들었다.
o1·R1급 추론 RL의 은폐된 훈련 세부를 재현 가능하게 공개한 시스템 논문 — GRPO를 그대로 쓰면 부딪히는 네 가지 실패(엔트로피 붕괴, 무효 그래디언트 집단, 긴 응답의 신용 희석, 잘린 응답의 보상 잡음)를 Clip-Higher, Dynamic Sampling, 토큰 수준 손실, Overlong Reward Shaping으로 하나씩 수술해, Qwen2.5-32B로 AIME 2024 50점을 절반의 스텝으로 달성하고 코드·데이터·알고리즘 전부를 공개했다.
Common Crawl에서 캐낸 120B 토큰의 수학 코퍼스로 7B 모델을 사전학습해 수학 특화 오픈 모델의 기준을 올리고, PPO의 가치망(critic)을 "같은 문제에 대한 G개 응답의 집단 내 상대 보상"으로 대체한 GRPO(Group Relative Policy Optimization)를 제안한다. critic 메모리를 통째로 없애면서 MATH 51.7%를 달성한 이 알고리즘이 이후 R1과 오픈소스 추론 RL 전체의 기본 최적화기가 된다.
베이스 모델에 SFT 없이 규칙 기반 정오·형식 보상만으로 GRPO를 돌린 R1-Zero에서, 긴 chain-of-thought와 자기 검증·반성이 학습 과정에서 저절로 자라나는 것(aha moment)을 보인다 — AIME pass@1 15.6%에서 71.0%까지. 가독성 문제를 고치기 위해 콜드스타트 SFT와 다단계 파이프라인을 얹은 R1은 o1급 성능에 도달했고, 그 추론을 소형 모델로 증류한 체크포인트까지 공개해 o1-like 훈련의 공개 레시피가 된 논문.
KL 제약 보상 최대화 문제의 최적 정책이 닫힌 형태로 풀린다는 사실을 역이용해, 보상을 정책의 로그 확률비로 재매개변수화하고 Bradley-Terry 선호 우도에 대입한다 — 그 결과 보상 모델 학습도, 샘플링도, PPO도 없이 선호 데이터에 대한 단일 분류 손실만으로 RLHF와 같은 최적해를 겨냥하는 Direct Preference Optimization. RLHF의 3단계 파이프라인을 지도학습 한 단계로 접은, 정렬 실무를 바꾼 논문.
판별식 분류기로 학습되던 검증자를 "이 풀이가 맞는가? Yes/No"의 다음 토큰 예측으로 재정식화한다 — 그 순간 검증자가 LLM의 모든 능력을 상속한다. 지시 튜닝과의 결합, 검증 자체에 대한 chain-of-thought(GenRM-CoT), 여러 검증 추론에 대한 다수결로 추론 시점 컴퓨트를 검증에도 투입하는 것까지 — 판별식 RM·LLM-as-a-Judge·자기검증을 일관되게 넘어서며 생성형 보상 모델(GRM) 노선을 연 논문.
추론 풀이의 최종 답 정오만 감독하는 ORM과 각 추론 단계의 타당성을 감독하는 PRM을 MATH 벤치마크에서 정면 비교해, 과정 감독이 유의미하게 강력함을 보인다(best-of-1860 기준 PRM 78.2% vs ORM 72.4% vs 다수결 69.6%). 단계 라벨 80만 개의 PRM800K 공개, 라벨링 효율을 높이는 능동 학습, "정렬 관점에서도 과정 감독이 낫다"는 논증까지 — 추론에 대한 밀한 신용 할당의 기준점이 된 논문.
1.5B~7B급 소형 모델이 MCTS 기반 깊은 사고(deep thinking)로 o1급 수학 추론에 도달함을 보인다 — 각 추론 단계에 파이썬 코드를 붙여 실행 검증하는 code-augmented CoT로 MCTS 롤아웃의 단계별 품질을 보증하고, MCTS의 Q값을 점수 라벨이 아니라 선호쌍으로 바꿔 과정 선호 모델(PPM)을 학습하며, 정책과 PPM을 4라운드에 걸쳐 상호 진화시킨다. Qwen2.5-Math-7B가 MATH 58.8→90.0%, AIME 53.3%로 o1-preview를 넘어선, 탐색 노선의 대표 실증.
초등 수학 문장제 벤치마크 GSM8K를 공개하고, 생성기를 키우는 대신 생성된 풀이의 정답 여부를 판별하는 검증자(verifier)를 따로 학습해 테스트 시 다수의 후보 풀이 중 최고 점수를 고르는 방법을 제안한다. 검증 기반 선택이 파인튜닝만 한 30배 큰 모델과 맞먹는 효과를 낸다는 것 — 결과 기반 보상 모델(ORM)과 test-time compute 스케일링의 원점이 된 논문.
인코더-디코더의 고정 길이 벡터 병목을 지적하고, 디코더가 매 출력 단어마다 소스 문장의 관련 위치를 미분 가능한 soft alignment로 골라 읽는 어텐션 메커니즘을 제안한다. 긴 문장에서의 성능 붕괴를 해소하고 번역과 정렬을 하나의 목적함수로 동시에 학습한다.
토큰의 15%를 가리고 원래 토큰을 맞히는 Masked LM으로, 좌우 문맥을 모든 층에서 동시에 조건화하는 깊은 양방향 Transformer 인코더를 사전학습한다. 출력층 하나만 얹는 미세조정으로 GLUE, SQuAD 등 11개 태스크의 SOTA를 갈아치웠다.
웹에서 모은 4억 쌍의 (이미지, 텍스트)로 이미지 인코더와 텍스트 인코더를 대조 학습해, 배치 내 올바른 짝을 맞히는 사전학습만으로 임의의 분류 태스크를 프롬프트로 제로샷 수행한다. ImageNet 제로샷 76.2%로 지도학습 ResNet-50과 대등하며, 분포 이동 강건성에서 지도 모델을 압도한다.
대규모 코퍼스로 학습한 양방향 LSTM 언어 모델의 내부 상태들을 태스크별 가중합으로 결합해, 단어 하나에 고정 벡터 하나가 아니라 문장 전체의 함수인 문맥화된 표현을 부여한다. 기존 모델에 이 표현을 이어붙이는 것만으로 QA, NLI, SRL 등 6개 태스크에서 일제히 SOTA를 경신했다.
단어 벡터의 선형 유추 구조가 어디서 오는지 분석하고, 동시등장 확률의 비율을 인코딩하도록 로그-쌍선형 회귀 목적함수를 유도한다. 전역 동시등장 행렬의 0이 아닌 원소만으로 학습해 word analogy 75%로 당시 SOTA를 달성했다.
Transformer 디코더를 대규모 비지도 텍스트로 언어 모델링 사전학습한 뒤, 태스크별 아키텍처 대신 입력 변환만으로 각 태스크에 미세조정하는 2단계 프레임을 제시한다. 단일 task-agnostic 모델이 12개 벤치마크 중 9개에서 SOTA를 경신했다.
175B 파라미터 자기회귀 언어 모델을 300B 토큰으로 학습하면, 그래디언트 업데이트 없이 프롬프트 안의 시연 몇 개만으로 새 태스크를 수행하는 few-shot 인컨텍스트 학습이 창발하며 그 효율이 모델 크기에 따라 부드럽게 상승함을 보인다.
SFT → 보상 모델 학습 → PPO라는 3단계 RLHF 파이프라인으로 GPT-3를 사용자 지시에 정렬한다. 인간 평가에서 1.3B InstructGPT의 출력이 100배 큰 175B GPT-3보다 선호되었고, 사전학습 그래디언트 혼합(PPO-ptx)으로 정렬세를 상쇄하는 방법까지 제시했다.
RNN의 역전파 오차가 시간을 거슬러 갈수록 지수적으로 소멸하거나 폭발함을 분석하고, 자기 재귀 가중치를 1.0으로 고정한 선형 유닛(상수 오차 회전목마)에 곱셈형 입력/출력 게이트를 붙인 메모리 셀 아키텍처로 1000스텝이 넘는 최소 시간 간격을 학습할 수 있음을 보인다.
언어 모델의 교차엔트로피 손실이 모델 크기, 데이터 크기, 학습 연산량 각각에 대해 6~8 자릿수에 걸친 멱법칙을 따름을 실증한다. 아키텍처 모양은 거의 무관하며, 고정된 연산 예산에서는 아주 큰 모델을 수렴 전에 멈추는 것이 최적이라는 compute-optimal 학습 원칙을 도출했다.
인코더 LSTM이 입력 문장을 고정 차원 벡터로 압축하고 디코더 LSTM이 그 벡터를 조건으로 출력 문장을 생성하는 end-to-end 번역 모델을 제시한다. 입력 문장을 뒤집는 트릭과 4층 deep LSTM으로 WMT14 En-Fr에서 순수 신경망 번역이 처음으로 구문 기반 SMT 베이스라인을 넘어섰다.
CLIP의 softmax 대조 손실을 이미지-텍스트 쌍마다 독립인 sigmoid 이진 분류로 바꿔, 배치 전체에 대한 전역 정규화와 그로 인한 메모리·통신 비용을 제거한다. 작은 배치에서 softmax를 크게 앞서고, TPUv4 4개·이틀 만에 ImageNet 제로샷 84.5%(SigLiT)를 달성했으며, 배치 100만까지 키워도 32k에서 포화함을 보였다.
번역, 요약, 분류, QA를 전부 "텍스트 입력 → 텍스트 출력"으로 통일한 프레임 위에서, 아키텍처·목적함수·데이터·학습 전략을 동일 조건으로 체계 비교한 대규모 연구. C4 데이터셋을 공개하고, 그 결론들을 모아 11B 모델로 GLUE 90.3, SuperGLUE 88.9를 달성했다.
순환도 합성곱도 없이 어텐션만으로 구성한 인코더-디코더 아키텍처를 제안한다. Scaled dot-product attention과 multi-head attention으로 임의 위치 간 경로 길이를 O(1)로 줄이고 완전 병렬 학습을 가능하게 해, WMT14 En-De 28.4 BLEU를 훨씬 적은 학습 비용으로 달성했다.
은닉층을 제거한 두 가지 로그-선형 아키텍처(CBOW, Skip-gram)로 대규모 코퍼스에서 단어 벡터를 하루 안에 학습할 수 있음을 보인다. 학습된 벡터는 vector("King") - vector("Man") + vector("Woman") ≈ vector("Queen") 같은 벡터 산술로 의미적·구문적 관계를 포착한다.
대규모 웹 텍스트(WebText)로 학습한 언어 모델이 별도의 지도학습이나 태스크별 아키텍처 없이도 독해, 번역, 요약, 질의응답 등 다양한 태스크를 제로샷으로 수행할 수 있음을 보인다. 1.5B 파라미터 GPT-2는 테스트한 8개 언어모델링 데이터셋 중 7개에서 SOTA를 달성했다.