[Shanghai AI Laboratory] LatentMem: 멀티 에이전트 시스템을 위한 맞춤형 잠재 메모리 프레임워크

배경 및 개요

최근 LLM 기반의 멀티 에이전트 시스템(Multi-Agent Systems, MAS)은 복잡한 문제를 해결하기 위해 여러 에이전트가 협업하는 구조로 진화하고 있습니다. 하지만 이 과정에서 두 가지 치명적인 병목 현상이 발생합니다. 첫째는 ‘메모리 균질화(Memory Homogenization)’입니다. 모든 에이전트가 동일한 대화 기록이나 데이터를 공유하다 보니, 각 에이전트의 고유한 역할(Role)이 흐릿해지고 서로의 판단을 단순히 모방하는 현상이 나타납니다. 둘째는 ‘정보 과부하(Information Overload)’입니다. 상호작용이 늘어날수록 컨텍스트 윈도우에 포함되는 데이터 양이 기하급수적으로 증가하여, 추론 비용은 상승하고 정작 중요한 정보는 소실되는 문제가 발생합니다.

이러한 한계를 극복하기 위해 등장한 것이 바로 LatentMem입니다. LatentMem은 단순히 과거 데이터를 저장하는 수준을 넘어, 각 에이전트의 특성에 맞춰 정보를 압축하고 맞춤화된 ‘잠재 메모리(Latent Memory)’를 생성하는 학습 가능한 프레임워크입니다. 이는 에이전트가 자신의 역할에 가장 적합한 정보만을 효율적으로 추출하여 의사결정에 활용할 수 있도록 돕습니다.

​

모델별 테스트 결과

LatentMem의 성능은 기존의 SOTA(State-of-the-Art) 메모리 관리 기법들과 비교했을 때 압도적인 우위를 점했습니다. 연구진은 GPT-4o 및 Llama-3–70B와 같은 최신 모델을 백본으로 활용하여 테스트를 진행했습니다.

주요 결과에 따르면, LatentMem을 적용한 시스템은 기존의 단순 검색 기반 메모리(RAG 기반)나 전체 기록을 참조하는 방식보다 높은 작업 성공률을 기록했습니다. 특히 ‘토큰 효율성’ 측면에서 혁신적인 성과를 보였는데, 원본 경험 데이터의 단 5~10% 수준의 토큰만으로도 전체 데이터를 입력했을 때와 대등하거나 오히려 더 정교한 추론 결과를 도출해냈습니다. 이는 에이전트 간의 불필요한 노이즈를 제거하고, 역할 수행에 핵심적인 정보만을 ‘잠재 공간’에서 재구성했기에 가능한 결과입니다.

​

테스트 데이터셋

이번 연구에서는 LatentMem의 범용성을 검증하기 위해 세 가지 핵심 영역의 데이터셋을 활용했습니다.

첫째는 ‘MMLU-Agent’와 ‘HumanEval-MAS’입니다. 이는 복잡한 지식 추론과 코드 생성 환경에서 여러 에이전트가 얼마나 효율적으로 협업하여 정답을 찾아내는지를 측정합니다. 둘째는 ‘Werewolf(늑대인간 게임)’와 같은 전략적 경쟁 환경입니다. 에이전트가 자신의 정체를 숨기면서 상대의 의도를 파악해야 하는 고도의 심리전에서 LatentMem이 각 에이전트의 페르소나를 얼마나 잘 유지하는지 검증했습니다. 셋째는 장기 대화 데이터셋입니다. 수천 단계의 상호작용이 일어나는 시나리오에서 메모리 압축이 정보 손실 없이 유지되는지를 확인했습니다.

​

연구 방법론 및 결론

LatentMem 아키텍처는 크게 두 가지 핵심 컴포넌트로 구성됩니다. 먼저 ‘Experience Bank’는 에이전트의 상호작용 궤적을 경량화된 형태로 저장하는 저장소 역할을 합니다. 다음으로 본 연구의 핵심인 ‘Memory Composer’는 검색된 경험 데이터와 해당 에이전트의 구체적인 컨텍스트(역할, 목표 등)를 결합하여 압축된 잠재 메모리를 생성합니다.

특히 주목할 점은 ‘Latent Memory Policy Optimization(LMPO)’이라는 새로운 학습 최적화 기법입니다. 이는 생성된 잠재 메모리가 실제 에이전트의 다음 행동과 의사결정에 긍정적인 영향을 미쳤는지를 피드백 받아 메모리 구성 정책을 강화학습 형태로 미세 조정합니다. 결과적으로 이 시스템은 시간이 흐를수록 각 에이전트에게 어떤 정보가 유용한지 스스로 학습하게 됩니다. 연구진은 이를 통해 MAS의 메모리 시스템이 ‘단순 저장’에서 ‘동적 최적화’ 단계로 진화했음을 결론지었습니다.

​

시사점

이번 연구는 엔터프라이즈 급 AI 솔루션을 설계하는 설계자들에게 매우 중요한 시사점을 던집니다.

첫째, 운영 비용의 획기적 절감입니다. 멀티 에이전트 시스템 도입을 주저하게 만드는 가장 큰 요인 중 하나가 높은 토큰 비용이었으나, LatentMem 식의 압축 메모리 기법은 이를 구조적으로 해결할 수 있는 길을 제시했습니다. 둘째, 에이전트의 전문화입니다. 보안, 개발, 마케팅 등 각기 다른 역할을 수행하는 에이전트들이 자신에게 최적화된 기억만을 가짐으로써 협업의 품질을 인간 전문가 그룹 수준으로 끌어올릴 수 있습니다. 마지막으로, 개인화(Personalization)의 진화입니다. 사용자 개개인의 특성에 맞춰 메모리를 구성하는 이 방식은 향후 ‘나를 가장 잘 이해하는 AI 비서’를 구현하는 핵심 기술이 될 것입니다. 15년의 현장 경험에 비추어 볼 때, 이러한 메모리 혁신이야말로 LLM이 진정한 ‘자율 에이전트’로 거듭나기 위한 마지막 퍼즐 조각이 될 것이라 확신합니다.

References:

• [1] https://arxiv.org/abs/2602.03036 (LatentMem: Customizing Latent Memory for Multi-Agent Systems)
• [2] https://github.com/KANABOON1/LatentMem (Official Implementation Repository)
• [3] Shanghai AI Laboratory Research Publications 2026.

Tags: #MultiAgentSystems #LatentMem #LLM #ArtificialIntelligence #MemoryOptimization #AIArchitecture #멀티에이전트 #잠재메모리 #생성형AI #인공지능아키텍처 #토큰최적화 #상하이AI연구소