[NVIDIA & DICTA] 추론의 효율성: DeepSeek-R1과 GPT-OSS의 사고 과정(Reasoning Traces)이 소형 언어 모델 학습에 미치는 영향 분석

Background and Overview

최근 거대언어모델(LLM) 연구의 핵심 트렌드는 단연 ‘추론(Reasoning)’ 능력의 강화입니다. OpenAI의 o1 시리즈나 DeepSeek-R1과 같은 최신 모델들은 사용자의 질문에 즉답하는 대신, 내부적인 사고 과정을 거치는 ‘테스트 타임 스케일링(Test-Time Scaling)’ 기법을 통해 복잡한 문제를 해결합니다. 이 모델들은 최종 답변을 내놓기 전에 ‘생각의 사슬(Chain of Thought)’을 형성하여 문제를 이해하고, 계획을 수립하며, 자체 검증하는 과정을 거칩니다. 이러한 추론 과정에서 생성된 데이터, 즉 ‘추론 흔적(Reasoning Traces)’은 그 자체로 소형 및 중형 언어 모델(SLM/Mid-sized LLM)을 학습시키는 고품질의 합성 데이터(Synthetic Data)로 활용되고 있습니다. 비싼 비용의 인간 라벨링 없이도 모델에게 ‘생각하는 법’을 가르칠 수 있기 때문입니다.

그러나 현재 공개된 주요 추론 모델들은 사고를 전개하는 스타일에서 큰 차이를 보입니다. 예를 들어, DeepSeek-R1은 매우 상세하고 긴 호흡으로 사고를 전개하는 반면, OpenAI의 gpt-oss 계열 모델들은 상대적으로 간결하고 핵심적인 추론 방식을 취합니다. 여기서 중요한 연구 질문이 제기됩니다. “과연 더 길고 장황한 사고 과정이 소형 모델의 학습에 더 효과적인가, 아니면 간결한 방식이 더 효율적인가?”

본 연구는 NVIDIA와 DICTA 연구진이 공동으로 수행한 것으로, 서로 다른 스타일의 추론 데이터를 12B 파라미터 규모의 중형 모델에 학습시켰을 때 발생하는 성능과 효율성의 차이를 심도 있게 분석했습니다. 특히 수학 문제 해결 능력을 중심으로, 두 가지 상반된 추론 스타일이 모델의 정확도와 추론 속도에 미치는 영향을 정량적으로 검증하여, 향후 효율적인 AI 에이전트 개발을 위한 중요한 가이드라인을 제시합니다.

Model-Specific Test Results

연구진은 12B 파라미터 크기의 베이스 모델인 ‘Mistral-Nemo-Base-2407’과 ‘NVIDIA-Nemotron-Nano-12B-v2-Base’를 실험 대상으로 선정했습니다. 이 모델들에 각각 DeepSeek-R1(장황한 스타일)과 gpt-oss-120b(간결한 스타일)가 생성한 추론 데이터를 미세 조정(Fine-tuning)하여 성능을 비교했습니다.

실험 결과는 매우 흥미로운 사실을 시사합니다. 두 가지 다른 스타일로 학습된 모델들은 주요 수학 벤치마크에서 거의 대동소이한 정확도(Pass@8)를 기록했습니다. 예를 들어 Mistral-Nemo 모델을 기준으로 GSM8K 벤치마크에서 gpt-oss 스타일로 학습된 모델은 96.4%, DeepSeek-R1 스타일은 97.2%의 정확도를 보였으며, MATH-500에서도 각각 88.8%와 88.0%로 유의미한 성능 차이가 없었습니다.

하지만 효율성(Efficiency) 측면에서는 극명한 차이가 발생했습니다. DeepSeek-R1 스타일로 학습된 모델은 답변 생성을 위해 평균적으로 약 15,500개의 토큰을 사용하는 반면, gpt-oss 스타일로 학습된 모델은 약 3,500개의 토큰만을 사용했습니다. 이는 gpt-oss 스타일이 약 4배 더 적은 토큰을 사용하면서도 동등한 수준의 정답률을 달성했음을 의미합니다. 결과적으로 간결한 추론 스타일을 학습한 모델은 추론 시간(Latency)과 연산 비용을 획기적으로 절감할 수 있었습니다.

Test Datasets

본 연구의 신뢰성을 확보하기 위해 연구진은 엄격한 데이터 필터링 과정을 거쳤습니다.

기반 데이터: Nemotron-Post-Training-Dataset-v1에서 약 300,000개의 수학 관련 대화 데이터를 샘플링했습니다.

데이터 정제: DeepSeek-R1과 gpt-oss-120b가 생성한 답변이 실제 정답(Ground Truth)과 일치하는지 검증하기 위해 Qwen3–30B 모델을 심판(Judge) 모델로 활용했습니다. 두 모델 모두 정답을 맞힌 샘플만을 선별하여 최종적으로 242,000개의 고품질 데이터셋을 구축했습니다.

평가 벤치마크: 모델의 성능 평가는 GSM8K(초등학교 수학), AIME 2025(미국 수학 경시 대회), MATH-500(고난도 수학 문제) 등 공신력 있는 세 가지 수학 벤치마크를 통해 이루어졌습니다.

Research Methodology and Conclusion

실험은 NVIDIA DGX Cloud의 H200 GPU 클러스터와 NVIDIA NeMo 프레임워크를 기반으로 수행되었습니다. 각 모델은 약 3,000 스텝 동안 학습되었으며, 글로벌 배치 크기는 64로 설정되었습니다. 학습 과정에서 흥미로운 점은 손실(Loss) 값의 변화였습니다. DeepSeek-R1 데이터로 학습할 때는 초기 손실 값이 낮게 시작하여 일정하게 유지된 반면, gpt-oss 데이터로 학습할 때는 높은 손실 값에서 시작하여 점차 감소하는 경향을 보였습니다. 이는 베이스 모델 중 하나인 Nemotron-Nano가 사전 학습 단계에서 이미 DeepSeek-R1의 데이터 분포를 일부 학습했기 때문으로 분석됩니다.

결론적으로 연구진은 “더 많은 토큰을 사용한 추론이 반드시 더 나은 성능을 보장하지 않는다”는 점을 입증했습니다. 모델은 훈련 데이터의 스타일에 따라 추론 패턴을 유연하게 학습할 수 있으며, 간결한 추론 데이터를 사용함으로써 성능 저하 없이 추론 효율성을 극대화할 수 있음을 확인했습니다. 이는 모델이 특정 추론 형식에 고착되지 않으며, 효율적인 패턴을 채택하도록 훈련될 수 있음을 시사합니다.

Implications

이 연구 결과는 AI 모델 개발 및 상용화 전략에 있어 매우 중요한 시사점을 던져줍니다.

첫째, 비용 효율적인 AI 서비스 구축의 가능성입니다. 테스트 타임 스케일링을 적용한 모델들은 추론 비용이 매우 높다는 단점이 있었습니다. 그러나 본 연구 결과에 따르면, 간결한 추론 스타일을 증류(Distillation)하여 학습시킬 경우, 서비스 지연 시간과 운영 비용을 1/4 수준으로 줄이면서도 고성능의 추론 능력을 유지할 수 있습니다.

둘째, 데이터 큐레이션 전략의 변화입니다. 기존에는 ‘생각의 과정’이 길수록 모델이 더 깊게 사고한다고 가정하여 무조건 긴 CoT 데이터를 선호하는 경향이 있었습니다. 하지만 이제는 도메인(예: 수학)에 따라 최적의 ‘추론 길이’가 존재하며, 불필요하게 장황한 데이터보다는 핵심을 찌르는 간결한 데이터가 학습 효율성 면에서 더 우수할 수 있음을 고려해야 합니다.

셋째, 하이브리드 학습의 필요성입니다. 이번 연구는 수학 도메인에 한정되었지만, 코딩이나 창의적 글쓰기와 같이 ‘상세한 설명’이 필요한 영역에서는 결과가 다를 수 있습니다. 따라서 문제의 난이도나 유형에 따라 추론의 길이를 조절할 수 있도록 다양한 스타일의 데이터를 혼합하여 학습하는 기법이 향후 주요 연구 주제가 될 것입니다.

References

[1] arXiv:2511.19333v1 [cs.CL], “Learning to Reason: Training LLMs with GPT-OSS or DeepSeek R1 Reasoning Traces”

[2] NVIDIA Developer Blog, “Introducing NVIDIA DGX Cloud Lepton”

Tags

English: #LLM #ReasoningTraces #DeepSeekR1 #GPT-OSS #ModelDistillation #AIResearch

Korean: #거대언어모델 #추론능력 #지식증류 #인공지능연구 #모델경량화 #엔비디아