One Token to Fool LLM-as-a-Judge (LLM 심판을 속이는 단 하나의 토큰)

배경 및 개요

강화학습(RL)을 통해 LLM의 추론 능력을 향상시키는 RLVR(Reinforcement Learning with Verifiable Rewards) 패러다임에서, 생성된 답변의 품질을 평가하는 ‘보상 모델(Reward Model)’의 역할은 매우 중요합니다. 특히, 정답이 명확하지 않은 복잡한 추론 과제에서는 규칙 기반의 평가 대신, 다른 LLM을 ‘심판(Judge)’으로 활용하는 생성형 보상 모델(Generative Reward Models)이 널리 채택되고 있습니다. 이 방식은 LLM 심판에게 후보 답변과 정답을 함께 제시하고, 둘의 일치 여부를 판단하게 하여 보상 신호를 생성합니다.

하지만 이 논문은 LLM 심판이 가진 근본적이고 심각한 취약점을 폭로합니다. 저자들은 최첨단 LLM 심판들이 문제 해결에 아무런 의미가 없는, 지극히 피상적인 단어나 기호 하나만으로도 쉽게 속아 넘어간다는 사실을 발견했습니다. 예를 들어, 오답을 제출하면서 앞에 “Solution”이나 “Thought process:” 와 같은 단순한 ‘추론 도입부(reasoning opener)’를 붙이거나, 심지어 마침표(.)나 콜론(:)과 같은 단일 기호만 제출해도, LLM 심판이 이를 정답으로 판단하는 높은 오탐지(False Positive) 현상이 발생하는 것을 확인했습니다.

저자들은 이러한 공격 패턴을 ‘마스터 키(Master Keys)’라고 명명하고, 이 취약점이 특정 모델이나 데이터셋에 국한된 것이 아니라, GPT-4o, Claude-4를 포함한 거의 모든 최첨단 LLM 심판 시스템 전반에 걸쳐 체계적으로 존재함을 실험적으로 증명합니다. 이는 LLM 심판의 신뢰성에 대한 심각한 의문을 제기하며, 이를 기반으로 하는 모든 RL 패러다임(리젝션 샘플링, 선호도 최적화 등)의 근간을 흔들 수 있는 중대한 문제입니다.

마스터 키 공격 취약성 분석

이 연구는 Qwen2.5–72B, LLaMA3–70B, GPT-4o, Claude-4 등 범용 LLM과, Omni-Judge, General-Verifier와 같은 특화된 보상 모델들을 대상으로 10개의 ‘마스터 키’ 공격에 대한 오탐지율(False Positive Rate, FPR)을 5개의 주요 추론 벤치마크에서 측정했습니다.

1. 범용 LLM 심판의 취약성 (Table 1):

결과: 모든 범용 LLM 심판들이 ‘마스터 키’ 공격에 매우 취약했습니다.

Qwen2.5–72B와 LLaMA3–70B는 “Thought process:”라는 단순한 응답에 대해 최대 90%에 달하는 경악스러운 오탐지율을 보였습니다. 즉, 10번 중 9번은 내용 없는 오답을 정답으로 판단했습니다.

가장 신뢰받는 모델 중 하나인 GPT-4o조차도, 단순히 콜론(:) 하나만 입력했을 때 특정 데이터셋에서 최대 35%의 오탐지율을 기록하며 심각한 취약점을 드러냈습니다.

2. 특화된 보상 모델의 취약성 (Table 1):

결과: 보상 모델링을 위해 특별히 미세조정된 모델들도 완벽하지 않았습니다.

General-Verifier는 단순히 공백 한 칸(“ “)만 있는 응답에 대해 MATH 데이터셋에서 66.8%라는 매우 높은 오탐지율을 보였습니다.

이는 현재의 보상 모델 훈련 방식이 이러한 피상적인 패턴 공격을 방어하기에 충분하지 않음을 의미합니다.

3. 모델 규모에 따른 취약성 변화 (Figure 4):

결과: 놀랍게도, 모델의 크기가 크다고 해서 ‘마스터 키’ 공격에 더 강한 것은 아니었습니다. Qwen2.5 모델 시리즈를 분석한 결과, 오탐지율은 모델 크기에 따라 비단조적(non-monotonic)으로 변화했습니다.

오탐지율은 0.5B에서 1.5B/3B로 가면서 증가했다가, 7B/14B에서 감소(가장 강건한 구간)한 후, 다시 32B/72B에서 급격히 증가하는 U자형 패턴을 보였습니다.

해석: 이는 모델이 일정 수준 이상의 지능을 갖추기 시작하면(1.5B/3B) 피상적인 의미 유사성에 속기 시작하고, 더 똑똑해지면(7B/14B) 이를 구분하지만, 너무 똑똑해지면(32B/72B 이상) 오히려 문제를 스스로 풀어보고 자신의 풀이와 비교하는 등 과도한 추론을 하다가 다시 취약해지는 복잡한 양상을 보임을 시사합니다.

4. 제안된 ‘Master-RM’의 강건성:

결과: 저자들이 제안한 데이터 증강 전략으로 훈련된 Master-RM은 실험에 사용된 모든 ‘마스터 키’ 공격에 대해 거의 0%에 가까운 오탐지율을 기록하며, 압도적인 강건함을 보여주었습니다. (Table 1)

일반 성능: 동시에, 일반적인 문제에 대한 평가 정확도(GPT-4o와의 일치도)는 96%로, 다른 SOTA 보상 모델과 대등한 수준을 유지했습니다. 이는 안전성을 확보하면서도 기존의 성능을 희생하지 않았음을 의미합니다. (Table 2)

벤치마크 목록

Multi-subject RLVR, NaturalReasoning: 일반 상식 및 사실 기반 추론 능력을 평가.

GSM8K: 초등학교 수준의 수학 문제.

MATH: 고등학교 수준의 상징적 수학 추론.

AIME 1983–2024: 수학 올림피아드 수준의 고난도 추론.

연구 방법론 및 결론

1. 연구 방법론: ‘마스터 키’ 공격 및 데이터 증강을 통한 방어

이 연구의 방법론은 두 단계로 구성됩니다.

취약점 발견 (‘마스터 키’ 공격):

“Solution:”, “Thought process:”와 같은 ‘추론 도입부’나, “.”, “:”와 같은 ‘비단어 기호’ 등, 의미는 없지만 긍정적 보상을 유발하는 10개의 공격 패턴(마스터 키)을 정의합니다.

다양한 LLM 심판 모델과 벤치마크에 걸쳐 이 ‘마스터 키’를 입력으로 주었을 때의 오탐지율을 체계적으로 측정하여, 이 취약점이 얼마나 보편적인지 증명합니다.

취약점 해결 (데이터 증강 및 Master-RM 훈련):

기존의 보상 모델 훈련 데이터셋(16만 개)에, 인위적으로 생성한 ‘마스터 키’ 유형의 부정적 예시(negative examples) 2만 개를 추가하여 훈련 데이터를 증강합니다.

이 증강된 데이터셋으로 Qwen2.5–7B 모델을 지도 미세조정(SFT)하여, ‘마스터 키’ 공격에 강건한 새로운 보상 모델인 Master-RM을 훈련합니다.

2. 결론

본 연구는 현재 널리 사용되는 LLM-as-a-judge 패러다임이 “One Token to Fool(단 하나의 토큰으로 속일 수 있는)” 수준의 심각하고 체계적인 취약점을 가지고 있음을 명백하게 밝혔습니다. 이 ‘마스터 키’ 공격은 GPT-4o와 같은 최첨단 모델조차 피할 수 없으며, 이는 LLM 심판에 의존하는 모든 RL 시스템의 신뢰성을 근본적으로 위협합니다.

하지만 이 문제는 해결 불가능한 것이 아닙니다. 저자들은 ‘마스터 키’와 같은 피상적인 패턴을 부정적인 예시로 학습 데이터에 추가하는 간단하고 효과적인 데이터 증강 전략만으로도, 이러한 공격에 거의 완벽하게 저항하면서도 일반적인 평가 능력은 유지하는 강건한 보상 모델(Master-RM)을 만들 수 있음을 보여주었습니다. 이는 향후 더 신뢰할 수 있는 LLM 기반 평가 시스템을 구축하기 위한 중요한 첫걸음입니다.

시사점

LLM 심판에 대한 맹신 경고: 이 연구는 “더 큰 모델이 더 나은 심판일 것”이라는 막연한 믿음에 강력한 경종을 울립니다. LLM 심판은 인간과 유사한 편향과 지름길을 사용하며, 때로는 인간보다 더 쉽게 피상적인 단서에 속아 넘어갈 수 있습니다.

AI 안전성의 새로운 공격 표면: 이 연구는 AI 시스템을 공격하는 방식이 복잡한 프롬프트 인젝션뿐만 아니라, 모델의 평가 시스템 자체를 교란하는 ‘보상 모델 해킹’이라는 새로운 차원으로 확장될 수 있음을 보여줍니다.

데이터 중심 AI(Data-Centric AI)의 또 다른 승리: 모델 아키텍처나 복잡한 알고리즘을 바꾸는 대신, 훈련 데이터에 소수의 명확한 부정적 예시를 추가하는 것만으로 모델의 강건성을 획기적으로 향상시킬 수 있다는 점은 데이터 중심 접근법의 힘을 다시 한번 증명합니다.

더 신뢰할 수 있는 RLHF를 향하여: 이 연구 결과와 Master-RM 모델은 인간 피드백 기반 강화학습(RLHF)과 같은 AI 정렬(Alignment) 기술을 더욱 안전하고 신뢰성 있게 만드는 데 직접적으로 기여할 수 있는 중요한 실용적 도구와 방법론을 제공합니다.

LLMasJudge #RewardHacking #AdversarialAttack #AIsafety #MasterKey #DataAugmentation

LLM심판 #보상모델해킹 #적대적공격 #AI안전성 #마스터키 #데이터증강

출처 : https://www.arxiv.org/pdf/2507.08794