[UC Berkeley & MIT] — AI 자율 발견 시스템의 숨은 함정: 모든 문제에 완벽한 ‘탐색 하네스’는 없다

1. 한눈에 보는 핵심 요약 (Executive Summary)

• 해결하려는 핵심 문제: 최근 거대언어모델(LLM)을 활용해 알고리즘이나 수학적 해법을 자율적으로 찾으려는 자율 발견 시스템(Autonomous Discovery Systems) 연구가 활발합니다. 이때 이전 발견물 중 어떤 코드를 바탕으로 다음 탐색을 이어갈지 결정하는 제어 알고리즘을 ‘하네스(Harness)’라고 부릅니다. 기존 연구들은 특정 하네스 조합을 단일 공식처럼 제시해 왔지만, 과연 특정 하네스 구조가 모든 문제와 모델에서 최선의 성능을 내는지 검증이 부족했습니다.

• 트렌드 관점의 중요성: 310만 회 이상의 LLM 롤아웃(Rollout)을 분석한 대규모 연구 결과, 모든 상황에서 압도적으로 우수한 ‘만능 하네스’는 존재하지 않음이 밝혀졌습니다. 복잡한 기능(다중 섬, 모듈식 탐색 등)을 가득 넣은 하네스가 오히려 가벼운 기본 구조보다 성과가 떨어지는 현상도 확인되었습니다. 결국 하네스는 고정된 정답이 아니라, 문제와 모델 성격에 맞게 동적으로 조정해야 하는 하이퍼파라미터입니다.

2. 핵심 개념 및 아키텍처 쉽게 이해하기 (Core Concepts)

탐색 하네스는 비유하자면 미지의 광산에서 보물을 찾기 위해 “어떤 탐사대원(과거 코드)에게 다음 굴을 더 파게 할지” 결정하는 탐사 지침서와 같습니다.

• Sequential Best-of-N (기본 탐욕 탐색): 지금까지 발견된 가장 뛰어난 결과(Top-1) 하나만 집중적으로 계속 수정 및 확장해 나가는 단순한 방식입니다.
• OpenEvolve 계열 (진화형 탐색): Top-1에만 고집하지 않고 상위 K개 보관함(Top-K Archive)에서 부모를 고르거나, 일정 확률($\epsilon$-greedy)로 전체 탐색 기록에서 무작위 부모를 선택합니다. 여기에 다중 섬(Multi-island) 구조 및 아이디어 조합(Inspiration sampling)을 얹어 다양한 경로를 동시에 탐색합니다.
• TTT-Discover 계열 (트리 기반 탐색): 과거 코드의 단반향 점수만 보지 않고, 해당 코드 하위로 확장된 서브트리의 잠재 가치(Subtree value)와 방문 횟수 보상(UCT), 순위 기반 사전 확률(PUCT)을 종합하여 부모 노드를 신중하게 발굴합니다.

3. 실험 결과 및 성능 지표 (Benchmark & Results)

연구진은 30개 하네스 조합을 12개 모델-문제 쌍에 적용하여 총 310만 회 이상의 롤아웃 실험을 거쳤습니다. 실험 대상 모델로는 Qwen2.5–3B-Instruct, Qwen3–4B-Instruct-2507, GPT-OSS-20B, GPT-OSS-120B가 활용되었습니다.

복잡한 요소를 결합한 OpenEvolve 풀 패키지는 다수 문제에서 오히려 성능이 저하되는 양상을 보였습니다. 반면, 간단한 $\epsilon$-greedy 방식이나 UCT/PUCT 계열의 중간 단계 구조가 평균적으로 더 고른 성능을 기록했습니다.

• 실험 핵심 결론: 단일 하네스에 연산 예산을 전부 올인하는 방식(82.49%)보다, 초반 성과를 관찰하며 약한 트랙을 가지치기(Pruning)하고 남은 자원을 우수 트랙에 몰아주는 실시간 동적 할당(85.75%)이 가장 우수한 성능을 나타냈습니다.

4. 연구의 한계점 및 주의할 점 (Limitations)

• 하네스 일반화 한계: 특정 모델과 특정 문제(예: Circle Packing, Heilbronn Triangle 등) 조합에서 뛰어났던 하네스 설정이라 하더라도, 타 문제로 옮겨가면 성능이 급격히 떨어질 위험이 존재합니다.
• 초기 피드백 신호의 불확실성: 탐색 초기 10% 지점에서는 관찰된 점수와 최종 성과 사이의 상관관계가 낮습니다. 적어도 전체 예산의 50% 지점은 지나야 스피어만 순위 상관계수(Spearman correlation)가 0.7 이상으로 상승하여 신뢰할 만한 가지치기 판단이 가능해집니다.

5. MVP가 제안하는 실무 활용 팁 (Strategic Implications)

실무에서 자율 코드 생성이나 알고리즘 최적화 파이프라인을 구축할 때 가장 경계해야 할 부분은 “특정 하네스를 정답으로 가정하고 고정하는 것”입니다.

💡 실무 엔지니어 & 리더를 위한 실행 가이드

무조건 복잡한 하네스 프레임워크를 신뢰하지 마세요: 다중 섬 모델이나 복잡한 진화 구조가 항상 고성능을 내지 않습니다. 경우에 따라 단순한 Sequential BoN이나 기본 UCT/PUCT 탐색이 연산 효율 측면에서 더 나을 수 있습니다.

온라인 동적 자원 재할당(Adaptive Allocation) 구조 도입: 초기 연산 예산을 1개 하네스에 올인하지 말고, 여러 하네스 후보를 가볍게 동시 실행한 뒤 25%, 50% 시점에서 상위 성과 트랙을 선별하세요.

GPU 연산 예산 절감(Early Stopping 연동): 50% 지점까지 중간 성적이 저조한 탐색 트랙을 중단하고, 검증된 리더 트랙에 남은 연산(LLM Call) 자원을 밀어주는 3단계 Pruning(12$\rightarrow$5$\rightarrow$2$\rightarrow$1) 방식을 적용하면 동일 비용 대비 최고 성능을 끌어낼 수 있습니다.

References:

1. Automated Discovery Has No Universally Superior Harness (https://github.com/akshat57/harness-generalization)