arXiv — AutoTTS: 에이전트 기반 테스트 시간 스케일링(Test-Time Scaling) 전략 자동 발견 프레임워크

1. Executive Summary & Background

최근 대규모 언어 모델(LLM)의 성능을 극대화하기 위해 추론 시점에 더 많은 계산 자원을 할당하는 테스트 시간 스케일링(Test-Time Scaling, 이하 TTS) 전략이 주목받고 있습니다. 그러나 기존의 TTS 전략은 대부분 연구자의 직관에 의존하여 ‘언제 가지를 칠 것인가(branch)’, ‘언제 멈출 것인가(stop)’ 등의 규칙을 수동으로 설계하는 Hand-crafted 방식에 머물러 있었습니다. 이는 거대한 계산 자원 할당 탐색 공간을 충분히 활용하지 못한다는 한계가 있습니다.

본 연구에서 제안하는 AutoTTS는 연구자의 역할을 ‘개별 TTS 휴리스틱 설계’에서 ‘TTS 전략이 자동으로 발견될 수 있는 환경(Environment) 구축’으로 전환하는 혁신적인 프레임워크입니다. AutoTTS는 저비용의 오프라인 리플레이 환경을 통해 LLM 에이전트가 스스로 최적의 TTS 제어 정책을 코드로 작성하고 최적화하도록 유도하며, 단 $39.9의 비용과 160분의 탐색 시간만으로 기존 수동 설계된 최첨단 베이스라인을 능가하는 성능을 입증했습니다.

2. Core Concepts & Architecture Deep Dive

AutoTTS의 핵심 아키텍처는 인간이 정의한 환경 내에서 에이전트가 반복적으로 전략을 개선하는 에이전틱 발견 루프(Agentic Discovery Loop)로 구성됩니다.

A. 환경 구축 및 오프라인 리플레이(Offline Replay Environment)

가장 큰 기술적 장벽인 ‘탐색 중 반복적인 LLM 호출 비용’을 해결하기 위해 본 시스템은 오프라인 리플레이 방식을 채택합니다.

• 데이터 사전 수집: 대상 모델로부터 각 문제에 대해 여러 개의 추론 궤적(Trajectories)을 미리 생성하고, 이를 일정한 토큰 단위(Interval)로 분절하여 저장합니다.
• 상태(State) 정의: 제어기는 현재 활성화된 가지 수, 각 가지의 깊이(토큰 소모량), 중간 단계에서 확인된 프로브(Probe) 신호(중간 정답), 그리고 남은 예산을 관찰합니다.
• 결정론적 평가: 에이전트가 작성한 제어 코드는 실시간 생성이 아닌 미리 수집된 데이터를 ‘재생’하며 동작하므로, 평가 속도가 매우 빠르고 비용이 거의 들지 않습니다.

B. 베타 매개변수화(Beta Parameterization)

에이전트가 탐색 과정에서 수많은 하이퍼파라미터를 남발하여 탐색 공간이 비대해지거나 특정 데이터셋에 과적합(Overfitting)되는 것을 방지하기 위한 장치입니다.

• 단일 제어 노브: 모든 제어기는 단 하나의 스칼라 값인 $\beta \in [0, 1]$만을 외부 노브로 노출합니다.
• 단조 함수 매핑: 제어기 내부의 모든 하이퍼파라미터(예: 가지 포기 인내심, 정지 임계값 등)는 이 $\beta$에 대한 단조 함수(Monotonic Function)로 정의됩니다. 이를 통해 예산과 성능 사이의 매끄러운 파레토 프론티어(Pareto Frontier) 형성을 보장합니다.

C. 실행 추적 피드백(Execution Trace Feedback)

단순히 ‘정확도’라는 스칼라 결과값만 제공하는 것이 아니라, 제어기가 추론 과정에서 내린 모든 결정(어느 시점에 가지를 쳤고, 왜 특정 가지를 버렸는지 등)을 기록한 실행 로그(Trace)를 에이전트에게 전달합니다. 이를 통해 에이전트는 자신의 코드가 실패한 원인을 진단하고 다음 라운드에서 구체적인 개선안을 제시할 수 있습니다.

D. 발견된 전략: 신뢰도 모멘텀 제어기(CMC)

AutoTTS가 최종적으로 발견한 Confidence Momentum Controller(CMC)는 다음과 같은 고도화된 메커니즘을 포함합니다.

• 트렌드 기반 정지: 순간적인 신뢰도 급증에 속지 않도록 지수 이동 평균(EMA)을 사용하여 신뢰도 트렌드가 안정적이고 상승 중일 때만 추론을 종료합니다.
• 결합된 너비-깊이 제어: 신뢰도 개선 속도가 정체되면 새로운 가지를 생성(Widening)하고, 신뢰도가 빠르게 상승하면 기존 가지를 더 깊게 탐색(Deepening)하도록 너비와 깊이를 유기적으로 연결합니다.
• 정렬 인식 깊이 할당: 현재 합의된 정답과 일치하는 가지에 더 많은 계산 자원을 우선적으로 할당합니다.

3. Experimental Results & Benchmark Analysis

수학적 추론 벤치마크(AIME24, AIME25, HMMT25)를 통해 Qwen3 계열 모델(0.6B ~ 8B)에서 성능을 검증했습니다.

• 성능 우위: 발견된 전략은 거의 모든 설정에서 수동 설계된 베이스라인(Self-Consistency, ASC, ESC, Parallel-Probe)보다 우수한 정확도-비용 효율성을 보여주었습니다.
• 비용 절감: $\beta=0.5$ 설정 시, SC@64 대비 정확도는 동등한 수준을 유지하면서도 토큰 소모량을 약 69.5% 절감했습니다.
• 최고 성능 갱신: $\beta=1.0$ 설정 시, 가용한 모든 계산 자원을 효율적으로 배분하여 수동 설계된 전략들이 도달하지 못한 최고 정확도 지점을 갱신했습니다.
• 범용성 증명: 수학 이외의 영역(GPQA-Diamond) 및 다른 모델 제품군(DeepSeek-R1-Distill-Llama-8B)에서도 별도의 추가 탐색 없이 발견된 전략이 유효하게 작동함을 확인했습니다.

4. Research Methodology & Evaluation Protocol

본 연구는 실험의 객관성을 확보하기 위해 엄격한 프로토콜을 준수했습니다.

• 탐색 및 평가 분리: AIME24를 탐색 세트로 사용하고, AIME25와 HMMT25를 완전히 격리된 홀드아웃(Held-out) 세트로 구성하여 일반화 성능을 측정했습니다.
• 통계적 유의성: 결과의 변동성을 줄이기 위해 각 제어기는 128개의 수집된 궤적 중 무작위 부분 집합을 사용하여 64회 독립 실행 후 평균치를 산출했습니다.
• 탐색 효율성: Claude Code를 에이전트로 활용하여 총 5라운드의 탐색 루프를 수행했습니다.

5. Strategic Implications

AutoTTS의 등장은 LLM 엔지니어링 및 인프라 운영 측면에서 다음과 같은 전략적 변화를 시사합니다.

• 연구 패러다임의 전환: TTS 연구의 핵심은 이제 ‘최적의 정지 규칙’을 찾는 것이 아니라, 모델의 특성을 잘 반영할 수 있는 ‘최적의 탐색 환경’을 설계하는 것으로 옮겨가야 합니다.
• 인프라 효율성 극대화: 기업용 AI 시스템에서 추론 비용은 가장 큰 운영 부담 중 하나입니다. AutoTTS가 발견한 전략처럼 동적으로 예산을 관리하는 메커니즘은 성능 저하 없이 운영 비용을 획기적으로 낮출 수 있는 실질적인 해법을 제공합니다.
• 에이전트 기반 자동화의 확장: 알고리즘 설계 자체를 LLM 에이전트에게 맡기는 방식이 하드코딩된 로직보다 더 복잡하고 정교한 제어(예: 모멘텀 기반 제어)를 수행할 수 있음을 입증함으로써, 향후 다양한 소프트웨어 엔지니어링 영역으로의 확장이 기대됩니다.

References:

1. Agentic Discovery for Test-Time Scaling (https://github.com/zhengkid/AutoTTS)

Tags:

TestTimeScaling #AutoTTS #LargeLanguageModels #AgenticDiscovery #InferenceOptimization #MachineLearningResearch #테스트시간스케일링 #LLM추론최적화 #AI에이전트 #기계학습 #인공지능연구 #알고리즘자동발견