Defeating the Training-Inference Mismatch via FP16** (FP16을 통한 학습-추론 불일치 문제 해결)

배경 및 개요

최근 대규모 언어 모델(LLM)의 성능을 특정 작업에 맞춰 극대화하기 위해 강화학습(Reinforcement Learning, RL)을 사용한 파인튜닝(Fine-tuning)이 핵심적인 패러다임으로 자리 잡았습니다. 하지만 RL 파인튜닝은 훈련 과정이 매우 불안정하고, 하이퍼파라미터에 민감하며, 종종 훈련 붕괴(training collapse) 현상을 겪는다는 고질적인 문제를 안고 있습니다.

이러한 불안정성의 핵심 원인 중 하나로 “학습-추론 불일치(Training-Inference Mismatch)” 문제가 지목되어 왔습니다. 현대의 RL 프레임워크는 시스템 효율성을 극대화하기 위해, 빠른 샘플링(rollout)을 위한 추론 엔진과 그래디언트를 계산하는 학습 엔진을 분리하여 사용합니다. 이 두 엔진은 수학적으로는 동일한 연산을 수행해야 하지만, 하드웨어 최적화나 CUDA 커널 구현의 미세한 차이로 인해 수치적으로 다른 결과를 출력하게 됩니다. 이 사소해 보이는 불일치가 자기회귀적(auto-regressive)으로 토큰을 생성하는 과정에서 누적되면서, 학습 정책(π)과 추론 정책(μ) 간의 상당한 괴리를 유발하고, 이는 결국 편향된 그래디언트(biased gradient)와 학습 불안정으로 이어집니다.

기존 연구들은 이 문제를 해결하기 위해 주로 알고리즘적 접근법을 사용했습니다. 예를 들어, 토큰 레벨 또는 시퀀스 레벨의 중요도 샘플링(Importance Sampling, IS)을 도입하여 불일치를 보정하려는 시도가 있었습니다. 그러나 이러한 방법들은 다음과 같은 근본적인 한계를 가집니다.

1. 계산 비효율성: 중요도 샘플링 비율을 계산하기 위해 추가적인 정방향 연산(forward pass)이 필요하며, 이는 약 25%의 추가적인 훈련 비용을 발생시킵니다.

2. 배포 격차(Deployment Gap) 미해결: 알고리즘 보정은 ‘학습 엔진’의 확률 분포에 모델을 최적화할 뿐, 실제 배포 환경에서 사용되는 ‘추론 엔진’에 최적화된 모델을 만들지는 못합니다. 이는 최종 모델의 성능 저하로 이어질 수 있습니다.

3. 편향-분산 트레이드오프(Bias-Variance Tradeoff): 분산을 줄이기 위해 제안된 기법들(예: Truncated IS)은 약간의 편향을 도입하게 되어 완벽한 해결책이 되지 못합니다.

본 논문은 이러한 복잡한 알고리즘적 해결책에서 한 걸음 물러나, 문제의 근본 원인이 부동소수점 정밀도(floating-point precision) 자체에 있음을 밝혀냅니다. 현재 LLM 훈련에 널리 사용되는 BF16(BFloat16) 형식은 넓은 동적 범위(dynamic range)를 가져 사전학습(pre-training)에는 유리하지만, 정밀도(precision)가 낮아(가수부 7비트) RL 파인튜닝 시 발생하는 미세한 반올림 오차를 증폭시켜 학습-추론 불일치를 심화시키는 주범이라는 것입니다.

이에 대한 해결책으로 논문은 놀랍도록 간단한 방법을 제시합니다: RL 파인튜닝 시, 데이터 타입을 BF16에서 FP16(Float16)으로 전환하는 것입니다. FP16은 동적 범위는 좁지만(지수부 5비트), BF16보다 높은 정밀도(가수부 10비트)를 가집니다. 이 높은 정밀도가 학습 엔진과 추론 엔진 간의 미세한 구현 차이에서 오는 오차를 흡수하여, 두 정책의 출력을 거의 동일하게 만듭니다. 결과적으로, 이 간단한 변경만으로도 복잡한 알고리즘 수정 없이 학습-추론 불일치 문제를 거의 완벽하게 해소할 수 있으며, 이는 더 안정적인 최적화, 빠른 수렴, 그리고 최종적으로 더 높은 성능으로 이어진다는 것을 실험을 통해 증명합니다.

모델별 각 테스트 결과

본 연구는 제안의 유효성을 입증하기 위해 다양한 모델, 알고리즘, 프레임워크, 학습 체계에 걸쳐 광범위한 실험을 수행했으며, 모든 실험에서 FP16의 우월성이 일관되게 나타났습니다.

1. 핵심 비교: BF16 vs. FP16 (Sanity Test)

*알고리즘**: GRPO, GRPO-Token-TIS, GRPO-Seq-MIS, GSPO, PG-Seq-IS 등 다양한 RL 알고리즘을 테스트했습니다.

*결과**: Figure 1에서 볼 수 있듯이, 모든 알고리즘에서 BF16(파란색 선)으로 학습할 경우 조기에 학습이 붕괴되거나 불안정한 모습을 보인 반면, FP16(초록색 선)으로 전환하자 훈련이 매우 안정적으로 진행되었고 최종 보상(reward)도 월등히 높았습니다. 특히, BF16 환경에서는 불안정성 때문에 사용하기 어려웠던 순수 정책 그래디언트(PG-Seq-IS) 알고리즘이 FP16 환경에서는 가장 뛰어난 성능을 보였습니다. 이는 FP16이 불일치 문제를 근본적으로 해결하여 알고리즘 본연의 성능을 이끌어낼 수 있음을 시사합니다.

2. 대규모 모델 및 다양한 아키텍처에서의 일반화

*Mixture-of-Experts (MoE) 모델**: MoE 모델(Qwen3–30B-A3B-Base)은 구조적 특성상 불일치 문제가 더 심각하여 훈련이 특히 불안정합니다. 실험 결과(Figure 1 (i), (j), (k)), BF16 환경에서는 훈련이 매우 불안정했지만, FP16을 적용했을 때 안정성과 최종 성능이 크게 향상되었습니다.

*대규모 Dense 모델**: 140억 파라미터의 대규모 모델(Qwen3–14B-Base)을 사용한 실험(Figure 1 (l))에서도 FP16이 BF16보다 훨씬 빠르게 보상을 높여가며 안정적인 학습을 달성했습니다. 이는 제안된 방법이 모델 규모에 상관없이 효과적임을 보여줍니다.

*LoRA (Low-Rank Adaptation) RL**: 파라미터 효율적 파인튜닝 기법인 LoRA를 사용한 RL에서도 BF16 기반 훈련은 약 600 스텝 이후 붕괴했지만, FP16은 전체 훈련 과정에서 안정성을 유지했습니다(Figure 1 (h)).

*다른 모델 계열**: Qwen 기반 모델 외에 Llama3.2–3B를 기반으로 한 OctoThinker-3B 모델 실험에서도 BF16은 150 스텝 이후 불안정해진 반면, FP16은 안정적인 학습을 지속했습니다(Figure 1 (g)).

3. 정밀도 조합에 대한 Ablation Study (절제 연구)

• 학습과 추론의 정밀도를 다르게 조합하여 효과를 분석했습니다(Figure 5).

*BF16 학습 + FP32 추론**: 추론 정밀도를 높이자 안정성은 향상되었지만, 추론 속도가 3배 가까이 느려져 비현실적이었습니다.

*FP16 학습 + FP16 추론**: 가장 낮은 학습-추론 불일치를 보였고, 가장 안정적인 훈련 동역학을 나타냈으며, 속도 저하 없이 거의 100%의 훈련 정확도를 달성했습니다. 이는 안정성과 효율성 측면에서 최적의 조합임을 증명합니다.

4. 프레임워크 간 교차 검증

• 구현에 따른 편향을 배제하기 위해 두 개의 독립적인 RL 프레임워크(VeRL, Oat)에서 실험을 진행했습니다. 두 프레임워크 모두에서 FP16이 BF16보다 월등한 안정성과 성능을 보여, 이 결과가 특정 구현에 국한되지 않는 보편적인 현상임을 확인했습니다.

테스트 데이터 셋 목록 및 내용

연구의 신뢰도를 높이기 위해 목적에 따라 여러 데이터셋을 사용했습니다.

1. Sanity Test를 위한 “Perfectible Dataset”

*소스 데이터셋**: MATH dataset (수학 문제 해결 데이터셋).

*구축 방법**: 초기 모델(DeepSeek-R1-Distill-Qwen-1.5B)을 사용하여 MATH 데이터셋의 모든 문제에 대해 40개의 응답을 생성했습니다. 이 중, 초기 정답률이 20%에서 80% 사이인 문제들만 필터링하여 1,460개의 질문으로 구성된 데이터셋을 만들었습니다.

*목적**: 이 데이터셋은 너무 쉽지도, 너무 어렵지도 않은 ‘해결 가능한’ 문제들로만 구성되어 있습니다. 따라서 신뢰할 수 있는 RL 알고리즘이라면 이론적으로 100%에 가까운 훈련 정확도를 달성해야 합니다. 알고리즘의 잠재력과 안정성을 명확하게 평가하기 위한 “리트머스 시험지” 역할을 합니다.

2. 오프라인 분석 및 온라인 평가를 위한 벤치마크

*AMC (American Mathematics Competitions) 및 AIME (American Invitational Mathematics Examination)**: 수학적 추론 능력을 평가하기 위한 표준 벤치마크입니다. 오프라인 분석(Table 2) 및 온라인 평가(Figure 3, 4, 6)에서 모델의 최종 성능을 측정하는 데 사용되었습니다.

3. 일반화 실험을 위한 훈련 데이터셋

*DAPO-Math-17k**: MoE RL 실험에서 훈련 데이터로 사용되었습니다.

*종합 수학 추론 데이터셋**: 대규모 Dense 모델 실험을 위해 OR1, DAPO, DeepScaler 등 여러 최신 수학 추론 데이터셋을 집계, 중복 제거 및 필터링하여 구축한 54.4k 샘플 규모의 데이터셋입니다.

연구 방법론 및 결론

연구 방법론

본 연구는 문제 정의, 가설 설정, 체계적인 검증 단계를 거치는 과학적 방법론을 충실히 따랐습니다.

1. 문제의 근본 원인 재정의: RL 파인튜닝의 불안정성 문제를 알고리즘이 아닌, BF16의 낮은 정밀도로 인한 수치적 불일치 문제로 재정의했습니다.

2. 오프라인 정량 분석: 실제 RL 훈련에 앞서, 동일 모델 가중치를 사용하여 추론 엔진(μ)과 학습 엔진(π)에서 각각 토큰 확률을 계산하고 비교했습니다. BF16의 불일치(KL[μ||π])가 FP16보다 약 24배 더 크고, 시퀀스 길이가 길어질수록 지수적으로 증가함을 시각적으로 보여주었습니다(Figure 2). 이는 가설을 강력하게 뒷받침하는 초기 증거가 되었습니다.

3. 통제된 환경에서의 실험 (Sanity Test): 위에서 설명한 “Perfectible Dataset”을 사용하여, 외부 요인을 최소화하고 오직 알고리즘과 정밀도의 영향만을 평가할 수 있는 통제된 환경을 구축했습니다.

4. 광범위한 비교 및 일반화 검증: 단일 실험에 그치지 않고, 다양한 RL 알고리즘, 모델 아키텍처(Dense, MoE), 파인튜닝 기법(Full-tuning, LoRA), 모델 크기, 그리고 두 개의 독립적인 프레임워크에 걸쳐 실험을 확장하여 제안의 일반성과 강건함(robustness)을 입증했습니다.

5. 절제 연구 (Ablation Study): 학습과 추론의 정밀도를 분리하여 테스트함으로써, ‘FP16 학습 + FP16 추론’ 조합이 최적임을 명확히 밝혔습니다.

결론

LLM의 RL 파인튜닝에서 발생하는 주요 불안정성의 원인인 학습-추론 불일치는 근본적으로 수치 정밀도의 문제입니다. 현재 업계 표준처럼 사용되는 BF16 데이터 타입을 FP16으로 변경하는 간단한 조치만으로 이 불일치를 사실상 제거할 수 있습니다. 이 단일하고 효율적인 변경은 복잡하고 비효율적인 기존의 알고리즘적 해결책들을 능가하며, 다음과 같은 명백한 이점을 제공합니다.

*더 안정적인 훈련**: 훈련 붕괴 현상을 현저히 줄입니다.

*더 빠른 수렴**: 목표 성능에 더 빠르게 도달합니다.

*더 우수한 최종 성능**: 배포 격차를 해소하여 모델의 실제 성능을 향상시킵니다.

따라서, LLM의 견고한 RL 파인튜닝을 위한 기초적인 옵션으로 FP16을 재고해야 한다는 것이 이 논문의 최종 결론입니다.

시사점

이 연구는 LLM RL 파인튜닝 분야에 매우 중요하고 실질적인 시사점을 던져줍니다.

1. RL 파인튜닝 스택의 단순화: 그동안 커뮤니티는 불일치 문제를 해결하기 위해 점점 더 복잡한 알고리즘(TIS, MIS 등)을 개발하는 데 집중해왔습니다. 이 연구는 문제의 본질이 다른 곳에 있었음을 보여주며, 훨씬 근본적이고 간단한 해결책을 제시합니다. 이는 RL 파인튜닝 프레임워크의 복잡성을 낮추고, 개발자들이 알고리즘 자체의 개선에 더 집중할 수 있게 만듭니다.

2. BF16의 역할에 대한 재평가: BF16은 넓은 동적 범위 덕분에 수렴 안정성이 중요한 사전학습 단계에서는 여전히 유효한 선택지입니다. 하지만, 오차가 누적되기 쉬운 반복적이고 민감한 RL 파인튜닝 단계에서는 낮은 정밀도가 오히려 독이 될 수 있음을 명확히 보여주었습니다. 이는 딥러닝 스택에서 데이터 타입 선택이 ‘만능’이 아니라, ‘상황에 맞는(context-dependent)’ 전략이어야 함을 상기시킵니다.

3. 효율성 증대 및 접근성 향상: FP16을 사용함으로써 추가 연산이 필요한 알고리즘적 보정을 피할 수 있고, 잦은 훈련 실패로 인한 재시도 비용을 줄일 수 있습니다. 이는 한정된 컴퓨팅 자원을 가진 연구 그룹이나 기업에게 RL 파인튜닝의 진입 장벽을 낮추는 효과를 가져올 것입니다.

4. ‘배포 격차’ 문제의 실질적 해결: 이 연구가 제시한 방법은 학습과 배포 환경의 불일치를 직접적으로 줄여주기 때문에, 벤치마크 점수뿐만 아니라 실제 서비스 환경에서의 모델 성능을 더욱 신뢰할 수 있게 만듭니다.

5. 향후 연구 방향 제시: 이 연구는 정밀도 트레이드오프에 대한 중요성을 환기시킵니다. 향후 FP8과 같은 더 낮은 정밀도 데이터 타입을 RL 파인튜닝에 적용하는 연구나, FP16의 좁은 동적 범위를 극복하기 위한 공학적 기법(예: 동적 손실 스케일링의 발전)에 대한 연구를 촉진할 수 있습니다.

— -

LLM #ReinforcementLearning #FineTuning #FP16 #BF16 #AIExpert

거대언어모델 #강화학습 #파인튜닝 #안정성 #AI전문가 #학습추론불일치

자료 출처: Qi, P., Liu, Z., Zhou, X., Pang, T., Du, C., Lee, W. S., & Lin, M. (2025). Defeating the Training-Inference Mismatch via FP16. arXiv preprint arXiv:2510.26788.