# [논문 리뷰] Training language models to follow instructions with human feedback (InstructGPT)
> **저자:** Long Ouyang et al. (OpenAI)
> **학회/년도:** NeurIPS 2022
> **논문 링크:** [arXiv:2203.02155](https://arxiv.org/abs/2203.02155)
---
목차
- 1. Summary
- 2. Introduction & Motivation
- 3. Methodology
- 4. Experiments & Results
- 5. Discussion & Takeaways
1. Summary
이 논문이 해결하고자 하는 핵심 문제와 해결 방법을 요약합니다.
"Making language models bigger does not inherently make them better at following a user’s intent. For example, large language models can generate outputs that are untruthful, toxic, or simply not helpful to the user."
- 모델 스케일링의 한계 직시: 단순히 파라미터 수를 키우는 스케일링만으로는 LLM이 사용자의 실제 의도(Intent)를 파악하고 지시에 따르게 만들 수 없음을 지적합니다.
- RLHF 기반 정렬(Alignment): 인간의 선호 피드백을 보상 신호로 활용하여 모델을 파인튜닝하는 RLHF(Reinforcement Learning from Human Feedback) 방법론을 제시합니다.
- 압도적인 효율성 증명: RLHF로 학습된 1.3B 크기의 InstructGPT가 100배 이상 큰 175B GPT-3보다 인간 평가자들에게 훨씬 더 안전하고 유용한 답변을 생성하는 것으로 선호됨을 확인했습니다.
2. Introduction & Motivation
"This is because the language modeling objective used for many recent large LMs—predicting the next token on a webpage from the internet—is different from the objective 'follow the user’s instructions helpfully and safely'."
- What is the limit?: 기존 GPT-3 모델의 목적 함수는 인터넷 본문에서 **'다음 토큰 예측(Next-token prediction)'**을 수행하도록 설계되었습니다. 이 모델은 사용자에게 도움을 주거나 유해성을 검열하려는 내재적 목적이 없기 때문에, 지시와 무관한 텍스트를 나열하거나 거짓 정보를 사실처럼 말하는 환각(Hallucination), 적대적인 답변 등의 오정렬(Misalignment) 문제를 유발합니다.
-
What is the key idea?:
논문은 Askell et al. (2021)의 정의를 인용하여 모델이 **Helpful(유익성), Honest(진실성), Harmless(무해성)**라는 세 가지 핵심 가치(3Hs)에 부합하도록 정렬(Alignment)되어야 함을 강조합니다.
"Using the language of Askell et al. (2021), we want language models to be helpful (they should help the user solve their task), honest (they shouldn’t fabricate information or mislead the user), and harmless (they should not cause harm to people or the environment)."
이를 위해 실제 사용자의 API 입력 프롬프트와 전문 레이블러(Labeler) 그룹의 평가를 결합한 **RLHF 3단계 파이프라인**을 제안합니다.
3. Methodology
InstructGPT의 학습 프로세스는 Supervised Fine-Tuning(SFT), Reward Modeling(RM), 그리고 강화학습(PPO) 세 단계로 나뉩니다.
3.1 핵심 아키텍처 및 데이터셋
각 학습 과정에 쓰인 데이터셋의 규모와 성격은 다음과 같이 상세히 구별됩니다.
- SFT 데이터셋 (약 13k prompts): 레이블러가 직접 프롬프트를 작성하고 그에 맞는 정답(Demonstration)을 수작업으로 적어 만든 데이터셋입니다.
- RM 데이터셋 (약 33k prompts): 모델이 생성한 여러 답변 후보에 대해 레이블러가 선호도 순위를 매긴 데이터셋입니다.
- PPO 데이터셋 (약 31k prompts): 인간의 라벨링 피드백 없이, 실제 API 환경에서 사용자가 제출한 다양한 프롬프트로만 구성되어 강화학습 루프에 공급됩니다.
3.2 수식 및 목적 함수
논문에서 다루는 핵심 수식 두 가지를 상세히 분석합니다.
A. 보상 모델(Reward Model, RM)의 손실 함수
인간의 상대적 선호도를 효과적으로 학습하기 위해, 하나의 프롬프트 $x$에 대해 출력한 여러 답변들($K$개, 실제 실험에서는 $K=4$에서 $K=9$ 사이의 값 사용)을 레이블러가 정렬한 정보를 기반으로 Pairwise 비교를 수행합니다.
$$ \text{loss}(\theta) = -\frac{1}{\binom{K}{2}} \mathbb{E}_{(x, y_w, y_l) \sim D} \left[ \log \sigma (r_\theta(x, y_w) - r_\theta(x, y_l)) \right] $$- $r_\theta(x, y)$는 파라미터 $\theta$를 가진 보상 모델이 프롬프트 $x$와 답변 $y$에 대해 매긴 스칼라 점수입니다.
- $y_w$(winner)는 인간이 선호하는 답변, $y_l$(loser)는 덜 선호하는 답변입니다. 두 답변 간의 점수 차이가 커지도록 모델을 학습시킵니다.
- 단순 Pairwise를 넘어 한 번에 $\binom{K}{2}$쌍의 비교 결과를 하나의 미니 배치로 처리하여 연산 효율성(Overfitting 방지 포함)을 크게 높였습니다.
B. PPO-ptx 목적 함수 (강화학습 핵심 수식)
보상 모델을 해킹하여 문장이 붕괴되는 현상(Reward Hacking)과 기존 언어 모델 성능의 유실(Alignment Tax)을 방지하기 위해 설계된 복합 목적 함수입니다.
$$ \text{obj}(\theta) = \mathbb{E}_{(x, y) \sim D_{\pi_\theta^{\text{RL}}}} \left[ R_\psi(x, y) - \beta D_{\text{KL}}(\pi_\theta^{\text{RL}}(y|x) \parallel \pi^{\text{SFT}}(y|x)) \right] + \gamma \mathbb{E}_{x \sim D_{\text{pretrain}}} \left[ \log \pi_\theta^{\text{RL}}(x) \right] $$- 보상 최대화 ($R_\psi(x, y)$): 보상 모델로부터 고득점을 유도하여 인간의 의도에 어울리는 응답을 만듭니다.
- KL Divergence 제약 ($\beta D_{\text{KL}}$): 강화학습 중인 정책 모델($\pi_\theta^{\text{RL}}$)이 초기 지도학습 모델($\pi^{\text{SFT}}$)과 급격히 달라지는 것을 막아, 리워드 모델의 빈틈을 파고드는 기만적인 답변(Reward Hacking) 생성을 억제합니다.
- 사전 학습 손실 추가 ($\gamma \mathbb{E}[\log \pi_\theta^{\text{RL}}(x)]$): 공공 NLP 벤치마크 데이터셋 등에서 모델의 전반적인 지식 수준이 저하되는 현상인 **정렬 세금(Alignment Tax)**을 완화하기 위해 기존 pre-training 데이터셋 $D_{\text{pretrain}}$의 그래디언트를 일정 비율로 섞어주는 장치입니다.
4. Experiments & Results
논문이 제시하는 구체적인 수치와 실험 데이터는 다음과 같습니다.
"when compared directly, 175B InstructGPT outputs are preferred to GPT-3 outputs 85 ± 3% of the time, and preferred 71 ± 4% of the time to few-shot GPT-3."
- 인간 선호도 비교 우위: 175B InstructGPT는 원래의 GPT-3 대비 85 ± 3%의 승률을 기록했으며, 정밀한 Few-shot 프롬프트를 먹인 GPT-3와 직접 대조해도 71 ± 4%의 높은 확률로 선호되었습니다.
- 진실성(Truthfulness) 및 안전성: TruthfulQA 벤치마크 평가 결과, InstructGPT는 거짓 정보를 출력하거나 편향된 답변을 생성하는 경우가 유의미하게 억제되었습니다.
- 학술용 벤치마크 데이터와의 괴리 발견: FLAN 및 T0와 같이 학계에서 구축한 Instruction 파인튜닝 데이터로 학습시킨 모델보다 InstructGPT가 월등히 우수한 선호도를 보였습니다. 논문은 그 이유를 아래와 같이 분석합니다.
"We believe this is partly because academic datasets focus on tasks where performance is easily measured, like classification and QA, while our API distribution consists of mostly (about 57%) open-ended generation tasks."
즉, 학술용 벤치마크는 분류나 단순 질의응답 중심이었지만, 실제 유저들이 사용한 API 환경은 약 57%가 자유도가 높은 열린 결말 형태의 텍스트 생성(Open-ended generation)이었기 때문에 실전 대응 능력에서 차이가 벌어진 것입니다.
5. Discussion & Takeaways
이 논문이 모델 연구자들에게 전하는 진정한 교훈과 한계점입니다.
- 강점 (Pros) - 효율적 정렬: 파라미터 모델을 100배 증설하지 않고도, **소규모 선호도 라벨 데이터와 RLHF 설계**를 통해 100배 큰 모델을 유용성 측면에서 능가할 수 있음을 입증했습니다. 이는 거대 인프라 비용 장벽에 막힌 AI 업계에 스케일만이 전부가 아니라는 중요한 돌파구를 제시했습니다.
- 한계점 (Cons) - 평가 집단의 편향성: 훈련 데이터를 라벨링한 약 40명의 작업자(contractors) 집단이 전 인류의 보편적인 윤리적, 문화적 합의를 대변할 수 없다는 태생적 한계가 존재합니다. 모델의 가치관 정렬이 특정 소수 라벨러의 성향에 지나치게 좁혀지는 **'정렬 가치 판단(Whose alignment?)'** 문제가 발생합니다.
- 적용 방안 (Future Work): 최근 LLM 연구에서는 RLHF의 높은 자원 소모와 불안정성을 대체하기 위해, 보상 모델 없이 동작하는 DPO(Direct Preference Optimization)나, 대규모 언어 모델을 피드백 파트너로 이용하는 RLAIF(AI Feedback)로 발전해가고 있습니다. InstructGPT의 3단계 설계 구조는 이러한 Preference Alignment 연구의 모든 모태가 되고 있으므로 확실하게 짚고 넘어가야 합니다.
