Weekly AI Insights (2026.05월 5주차)

지난주 구글 IO가 에이전트 시대의 개막을 선언했다면, 이번 주는 그 지능을 실제로 굴릴 때 드러나는 토큰 경제학(Token Economics)이 눈에 띕니다.

골드만삭스는 에이전트의 확산으로 토큰 사용량이 5년 내 24배 폭증할 것이라는 파격적인 전망을 내놨습니다. 하지만 정작 현장에서는 예산 초과로 인한 ‘AI 배급제’가 시작되는 아이러니한 상황이 연출되고 있습니다.

한편, 중국의 DeepSeek은 캐시 비용을 극한으로 낮추며 실리콘밸리가 쌓아온 ‘토큰 유료화’라는 성벽을 무너뜨리고 있으며, MIT의 MeMo나 스타트업 XCENA는 지능의 병목이 연산이 아닌 ‘메모리’에 있음을 증명하며 아키텍처의 근본적인 변화를 예고하고 있습니다.

이제 AI는 단순히 “무엇을 아느냐”를 넘어, “어떻게 비용 효율적으로 끝까지 실행하느냐”의 싸움으로 번지고 있습니다. 이번 주 놓치지 말아야 할 7가지 주요 소식을 정리해 드립니다.

📊 이번 주 AI 주요 동향 (Top 7)

1. 골드만삭스: AI 에이전트가 토큰 사용량 24배 늘린다… 빅테크 현금흐름 반전 온다.
2. DeepSeek가 무너뜨린 실리콘밸리의 “Token Moat”
3. MeMo(Memory as a Model): 지식 저장과 추론 엔진을 분리한 새로운 LLM 아키텍처
4. 기업용 AI 에이전트, 이제는 똑똑함보다 안정성이 경쟁력이다.
5. XCENA: AI의 진짜 병목은 연산이 아니라 메모리다. 5억 7천만 달러 가치로 1억 3,500만 달러 유치
6. 3개월 만에 1년 예산 소진: AI 비용이 부른 제동
7. 안전한 모델도 흔들린다. 다중 에이전트 세계가 드러낸 AI 자율성의 위험

1. 골드만삭스: AI 에이전트가 토큰 사용량 24배 늘린다… 빅테크 현금흐름 반전 온다.

AI Agents Forecast to Boost Tech Cash Flow as Usage Soars

Summary

• 골드만삭스는 에이전트형 AI 확산으로 2026년부터 2030년까지 월간 토큰 사용량이 24배 늘어 120경 개 수준에 이를 것으로 전망합니다.
• 에이전트형 AI는 단순히 질문에 답하는 챗봇과 달리 여러 작업을 이어서 수행하므로, 같은 요청이라도 토큰 사용량이 10배, 20배, 50배까지 커질 수 있다고 설명합니다.
• 소비자 영역에서는 온라인 쇼핑, 스마트폰 조작, 이메일 정리, 여행 예약 같은 에이전트 사용이 늘고, LLM 일일 질의는 2030년까지 연평균 40% 성장해 110억 건에 이를 것으로 봅니다.
• 기업 영역은 코드 작성, 고객센터, 업무 자동화 등에서 더 큰 잠재력이 있지만, 테스트·시스템 통합·문서화·규정 준수 같은 절차 때문에 실제 도입에는 시간이 걸릴 것으로 봅니다.
• 골드만삭스는 2030년에는 지식근로자의 12%, 2040년에는 37%가 에이전트형 AI를 사용할 것으로 전망하며, 기업 도입은 긴 꼬리를 가진 점진적 확산이 될 것이라고 설명합니다.
• 동시에 추론 토큰당 비용은 반도체 효율 개선과 데이터센터 구조 개선으로 매년 60~70%씩 낮아지고 있어, 토큰 수요 증가가 곧바로 비용 부담만 키우지는 않을 것으로 봅니다.
• 이 때문에 하이퍼스케일러와 모델 제공업체는 토큰 수요 증가와 비용 하락이 맞물리며 매출총이익률과 영업현금흐름이 개선되는 전환점을 맞을 수 있다고 봅니다.
• 다만 AI 활용 사례가 너무 빠르게 바뀌고 있어 반도체 생산 능력이 즉시 따라가기 어렵고, 향후 12~18개월은 칩 부족이 이어질 수 있으며 약 2년 뒤에야 수급이 맞춰질 가능성이 있다고 말합니다.
• 모든 AI 업무의 경제성이 좋은 것은 아니며, 코딩 에이전트는 효율적일 수 있지만 실시간 음성 에이전트처럼 지연시간이 중요한 업무는 현재 사람 비용보다 LLM 비용이 더 높을 수 있다고 지적합니다.
• 최종적으로 골드만삭스는 에이전트형 AI가 AI 인프라 기업에 단순한 비용 부담이 아니라, 토큰 사용량 폭증과 단가 하락이 맞물린 현금흐름 개선 기회가 될 수 있다고 주장합니다.

Insights

• 에이전트형 AI의 핵심 가치는 “더 똑똑한 답변”보다 한 번의 사용자 요청을 수십 번의 내부 작업으로 쪼개 토큰 소비를 폭발시키는 구조에 있습니다. 즉 AI 산업의 수요 단위가 ‘질문 수’에서 ‘작업 경로 수’로 바뀌고 있습니다.
• 토큰 단가가 계속 떨어져도 총수요가 더 빠르게 늘면, AI 기업의 경쟁력은 모델 성능보다 토큰을 얼마나 많이 팔 수 있는 사용 시나리오를 장악하느냐로 이동할 수 있습니다.
• 칩 부족은 단순 공급 문제가 아니라, 어떤 에이전트 사용 사례가 뜰지 예측하기 어려운 데서 오는 수요 형태의 불확실성 문제입니다. 앞으로 AI 인프라는 “얼마나 많이 만들까”보다 “어떤 토큰 부하에 맞춰 만들까”가 더 중요해질 수 있습니다.

2. DeepSeek가 무너뜨린 실리콘밸리의 “Token Moat”

How DeepSeek’s radical architecture is shattering Silicon Valley’s token moat

Summary

• 딥시크가 주력 모델 V4 Pro의 75% 인하 가격을 영구 적용하면서, 막대한 자본에 의존하는 실리콘밸리 선도 기업들의 사업 모델을 직접 위협하고 있습니다.
• V4 Pro는 입력 기준 7배, 출력 기준 17배 저렴해 클로드 소네트나 GPT-5.5-Med 같은 서구권 모델을 크게 밑돌고, 경량 모델 V4 Flash는 클로드 하이쿠보다 10~25배 저렴합니다.
• 이 가격 인하는 특히 캐시와 관련된 하드웨어·소프트웨어 혁신 덕분이며, 중국 내 호스팅 시 캐시 읽기 가격이 서구권 클라우드보다 87배까지 저렴합니다.
• 핵심 기술은 압축 희소 어텐션(CSA)과 고압축 어텐션(HCA)을 결합한 하이브리드 방식으로, 100만 토큰 맥락 구간에서 KV 캐시 사용량을 90%까지 줄입니다.
• CSA는 짧은 구간의 텍스트를 압축된 블록으로 묶는 국소 필터 역할을, HCA는 긴 대화 기록을 고밀도 요약으로 압축하는 전역 색인 역할을 합니다.
• 또한 멀티헤드 잠재 어텐션(MLA)으로 칩 사이의 역할을 나눠, 작게 압축된 색인(Key)만 GPU에 두고 무거운 데이터 본체(Value)는 더 싼 시스템 메모리·저장소로 넘긴 뒤 필요할 때만 불러옵니다.
• 한 전문가는 요즘 에이전트가 쓰는 토큰의 80~90%가 캐시 읽기 토큰이라며, 따라서 캐시 가격이 사실상 가장 중요하고 나머지는 거의 무의미해졌다고 지적합니다.
• 실제로 스마트폰 업체 샤오미는 새로 배포한 미모(MiMo) 아키텍처의 가격을 딥시크와 똑같은 수준으로 맞췄습니다.
• 기업들도 코어위브·람다·크루소 같은 추론 중심 AI 클라우드로 옮겨가(비중 30.2%→35.9%), 딥시크 모델을 직접 돌릴 기반을 깔며 서구권 API 업체의 웃돈을 걷어내고 있습니다.
• 다만 당분간 실리콘밸리의 호황은 이어질 전망인데, 앤트로픽은 클로드 코드의 폭넓은 도입에 힘입어 기업 시장에서 강한 성장세를 유지하고 있습니다.

Insights

• 중국 DeepSeek의 진짜 위협은 “더 싼 모델”이 아니라, AI 에이전트가 반복해서 읽는 cache-read token을 거의 원가에 가깝게 낮춰 토큰 과금의 핵심 이윤 구간을 무너뜨린 것입니다.
• 앞으로 모델 경쟁은 “누가 더 똑똑한가”보다 긴 컨텍스트를 얼마나 싸게 다시 읽고, 저장하고, 재사용하게 해주는가로 이동할 가능성이 큽니다.
• AI 기업의 방어선은 모델 성능이 아니라 보안·규제·엔터프라이즈 신뢰가 될 수 있으며, 이는 기술 격차가 아니라 “도입 리스크 격차”로 수익을 지키는 구조입니다.

3. MeMo(Memory as a Model): 지식 저장과 추론 엔진을 분리한 새로운 LLM 아키텍처

MeMo: Memory as a Model

Summary

• MIT CSAIL와 싱가포르 국립대 등이 함께 만든 MeMo(Memory as a Model)는 새 지식을 본체 LLM에 직접 넣지 않고, 지식만 기억하는 별도의 작은 ‘MEMORY 모델’을 따로 학습시키는 방법입니다.
• MeMo는 새 지식을 기존 LLM에 직접 다시 학습시키지 않고, 별도의 작은 MEMORY 모델에 저장한 뒤 EXECUTIVE LLM이 이를 질의해 답을 만드는 구조입니다.
• 기존 RAG는 문서를 프롬프트에 넣어 쓰기 때문에 context 한계, 검색 노이즈, 지연 시간이 있고, 파인튜닝은 비용이 크며 기존 능력을 잊을 위험이 있습니다.
• MeMo는 raw 문서를 그대로 쓰지 않고, GENERATOR 모델이 문서를 여러 질문-답변 형태의 “reflection”으로 바꾼 뒤 MEMORY 모델을 학습시킵니다.
• 사용자가 질문하면 EXECUTIVE 모델이 복잡한 질문을 작은 질문으로 나누고, MEMORY 모델에 여러 번 물어본 뒤 답을 종합합니다.
• 핵심 장점은 MEMORY 모델과 추론용 LLM이 분리되어 있어, MEMORY 모델은 그대로 두고 더 좋은 EXECUTIVE LLM으로 바꾸면 성능을 높일 수 있다는 점입니다.
• 실험에서 EXECUTIVE 모델을 Qwen2.5–32B에서 Gemini 3 Flash로 바꾸자 NarrativeQA 성능은 26.73%, MuSiQue 성능은 11.90% 향상되었습니다. NarrativeQA에서 Gemini 3 Flash와 결합한 MeMo는 53.58% 정확도를 기록해 HippoRAG2의 23.21%보다 높았습니다.
• 잡음에도 강하여 관련 없는 문서를 유용한 정보의 2배까지 넣었을 때 HippoRAG2 성능은 11.55% 떨어졌지만, MeMo는 2% 미만만 하락했습니다.
• 계속 지식을 업데이트할 때는 새 MEMORY 모델을 따로 학습한 뒤 기존 모델과 병합하는 방식을 쓰지만, 이 경우 full retrain 대비 11~19% 정확도 하락이 생깁니다.
• 결론적으로 MeMo는 정확한 출처 확인이나 빠르게 바뀌는 데이터에는 RAG보다 불리하지만, 천천히 변하는 대규모 지식을 바탕으로 여러 정보를 종합해야 하는 기업용 AI에는 강력한 대안이 될 수 있습니다.

Insights

• MeMo의 핵심은 “더 큰 메모리”가 아니라 지식을 답변 가능한 형태로 미리 압축해두는 것입니다. 즉, 미래의 기업 AI 경쟁력은 검색 인프라보다 “무엇을 기억으로 변환할지”를 설계하는 능력에서 갈릴 수 있습니다.
• EXECUTIVE LLM만 바꿔도 성능이 뛰는 구조는, 기업 지식 시스템이 더 이상 특정 모델에 종속되지 않고 지식 자산과 추론 엔진을 분리해 업그레이드하는 방향으로 갈 수 있음을 보여줍니다.
• MeMo는 RAG의 대체재라기보다 자주 변하지 않는 지식은 파라미터화하고, 자주 변하는 지식은 검색하는 하이브리드 구조가 앞으로 기업 AI의 표준이 될 가능성을 보여줍니다.

4. 기업용 AI 에이전트, 이제는 똑똑함보다 안정성이 경쟁력이다.

AI agents are entering their rebuild era as enterprises confront the reliability problem

Summary

• 기업들이 AI 에이전트를 실제 운영 환경에 투입하면서 ‘신뢰성’ 문제에 부딪히고 있으며, LLM 성능이 좋다고 해서 에이전트가 현장에서 잘 작동하는 것은 아니라고 합니다.
• 오래 실행되는 AI 작업 흐름은 충돌을 견디고, 상태를 유지하고, 실패에서 복구하고, 비용을 관리하고, 여러 API·도구·시스템과 연동되어야 합니다.
• 초기에는 빠른 배포에만 집중했지만, 이제는 처음 만든 에이전트를 오케스트레이션·관찰 가능성·거버넌스·복구 중심으로 다시 설계해야 한다는 인식이 커지고 있습니다.
• Temporal의 엔지니어링 부문 부사장 Preeti Somal은 많은 고객이 같은 에이전트의 ‘2.0 버전’을 다시 만들러 온다고 말합니다.
• 급하게 만드느라 기반(배관 작업)을 제대로 챙기지 못해 시스템이 무너지고, 결국 튼튼한 기반 위에 다시 만들게 된다는 것입니다.
• 이런 문제 자체는 새로운 것이 아니지만, AI가 그 필요성을 훨씬 더 크게 키운다고 설명합니다.
• 에이전트 작업은 여러 서비스·모델·API·도구를 거치는 다단계 과정이라, 한 작업이 여러 LLM을 호출하고 검색 시스템에 접근하며 외부 앱을 실행하고 수 시간에서 수일간 상태를 관리하기도 합니다.
• 정작 이런 엔지니어링 문제는 대부분 배포한 뒤에야 드러나는데, 에이전트가 충돌하면 어떻게 할지 미리 고민하지 않는 경우가 많다고 합니다.
• 오래 실행되는 에이전트는 모델을 여러 번 호출해 비용이 불투명해지지만, 오케스트레이션을 쓰면 어느 단계에서 토큰을 쓰는지 한눈에 볼 수 있다고 합니다.
• 또한 복구 설계가 없으면 막바지에 실패할 때 이전 모델 호출까지 전부 처음부터 다시 돌려야 해서 비용이 커지지만, 복구를 염두에 둔 시스템은 이를 피할 수 있다고 합니다.

Insights

• AI 에이전트의 진짜 경쟁력은 “추론을 잘하는 모델”보다 “실패한 지점부터 다시 이어갈 수 있는 실행 인프라”에서 갈릴 가능성이 큽니다. 즉, 에이전트 시대의 핵심 자산은 모델 자체보다 복구 가능한 작업 이력이 될 수 있습니다.
• 기업용 에이전트는 사람처럼 똑똑해지는 방향보다, 오히려 항공·금융 시스템처럼 예측 가능하고 감사 가능한 자동화 시스템으로 진화할 가능성이 높습니다.
• 토큰 비용 절감의 핵심은 더 싼 모델을 쓰는 것이 아니라, 실패 시 전체 작업을 반복하지 않도록 상태·메모리·워크플로를 분리해 재실행 범위를 최소화하는 것입니다.

5. XCENA: AI의 진짜 병목은 연산이 아니라 메모리다. 5억 7천만 달러 가치로 1억 3,500만 달러 유치

This chip startup just raised $135M on a bet that AI’s biggest bottleneck isn’t compute — it’s memory

Summary

• XCENA는 AI의 진짜 병목이 연산(컴퓨팅)이 아니라 메모리라고 보고, 시리즈 B로 5억 7,000만 달러 기업가치에서 1억 3,500만 달러를 유치했습니다(누적 1억 8,500만 달러).
• 지금은 AI가 단어 하나를 생성할 때마다 데이터가 메모리에서 CPU·GPU를 거쳐 다시 돌아오는 왕복이 반복되는데, 이 구조가 비싸고 전력도 많이 먹는 비효율의 원인이라고 봅니다.
• 이 회사의 MX1 칩은 연산 기능을 DRAM 가까이에 두고, CXL로 CPU와 연결해 데이터가 메모리 모듈을 떠나기 전에 미리 처리합니다.
• GPU가 잘하는 행렬 연산은 그대로 두되, 전처리·데이터 캐싱·KV 캐시(이전 대화 맥락 저장) 같은 주변 작업을 메모리 안에서 직접 처리하는 방식이며, 기존에 서버 10대가 필요하던 작업을 1대로 줄일 수 있다고 주장합니다.
• 창업자들은 모두 삼성·SK하이닉스 출신이며, 최근 메모리 가격과 관련주 상승이 메모리 중심 구조로의 전환을 보여준다고 말합니다.
• 주요 고객은 연 수백억 달러를 AI 인프라에 쓰는 하이퍼스케일러로, 작은 효율 개선만으로도 수억 달러를 아낄 수 있는 곳을 노립니다.
• 경쟁사로는 Astera Labs와 Marvell이 있으며, 차별점은 수천 개의 작은 RISC-V 코어와 메모리 계층·인터커넥트·DRAM 컨트롤러까지 직접 설계하는 높은 수직 통합이라고 설명합니다.
• MX1은 아직 시제품 단계로, 2026년 말 삼성 파운드리에서 양산을 시작하고 2027년부터 매출이 발생할 것으로 예상합니다.

Insights

• AI 인프라의 병목이 GPU 연산에서 메모리 주변의 “잡일 처리”로 이동하면, 미래 경쟁력은 더 큰 GPU보다 데이터가 머무는 위치에서 얼마나 적게 움직이게 하느냐에서 갈릴 수 있습니다.
• XCENA의 접근은 HBM 자체보다 CXL·DRAM 모듈·KV cache 관리 계층이 새로운 가치 포인트가 될 수 있음을 보여주며, 메모리 회사가 단순 부품 공급자를 넘어 시스템 아키텍처 회사로 확장할 기회를 만듭니다.
• 흥미로운 점은 AI 추론 최적화가 “더 빠른 모델”보다 서버 수를 줄이는 인프라 압축 기술로 돈을 벌 가능성이 커지고 있다는 점입니다.

6. 3개월 만에 1년 예산 소진: AI 비용이 부른 제동

Corporate America Is Starting to Ration AI as Cost Skyrockets

Summary

• 미국 대기업들은 직원들에게 AI 사용을 장려해 왔지만, 사용량이 빠르게 늘면서 AI 비용 부담이 예상보다 크게 커지고 있습니다.
• 특히 정액제처럼 보이던 AI 사용이 실제로는 토큰 사용량에 따라 비용이 커지는 구조라는 점이 드러나고 있습니다.
• 일부 기업은 몇 달 만에 연간 AI 예산을 초과했고, 월 수십만 달러 수준의 AI 비용을 부담하는 사례도 나오고 있습니다. 이에 기업들은 AI 사용을 무조건 늘리는 대신, 사용량을 제한하거나 더 저렴한 내부 도구로 유도하고 있습니다.
• Uber, Meta, Microsoft, Salesforce, DoorDash 등은 AI 사용이 실제 생산성 향상으로 이어지는지 더 엄격하게 관리하려는 움직임을 보이고 있습니다.
• 문제는 AI를 많이 쓴다고 해서 항상 더 나은 결과가 나오는 것은 아니며, 토큰 사용량과 생산성 사이의 관계가 아직 분명하지 않다는 점입니다.
• 기업들은 더 저렴하고 효율적인 모델을 찾고 있지만, 보안·신뢰성·품질 문제 때문에 단순히 싼 모델로 갈아타기는 어렵습니다.
• 이 글의 핵심은 기업 AI 도입이 줄어든다는 뜻이 아니라, 이제 기업들이 “AI를 얼마나 많이 쓰는가”보다 “비용만큼 성과가 나오는가”를 따지기 시작했다는 점입니다.

Insights

• 기업의 AI 비용 문제는 “모델 가격”보다 “조직이 AI를 쓰는 방식”에서 먼저 터지고 있습니다. 즉, 앞으로의 경쟁력은 더 싼 모델을 찾는 능력보다 직원·에이전트·워크플로우의 토큰 소비를 설계하는 능력에서 갈릴 수 있습니다.
• AI 도입 초기에는 사용량이 많을수록 혁신처럼 보였지만, 이제는 토큰을 많이 쓰는 직원이 아니라 적은 토큰으로 결과를 내는 직원이 더 높은 생산성을 가진 사람으로 평가될 가능성이 큽니다.
• 기업 AI 시장은 단순한 SaaS 구독 시장이 아니라, 전기·클라우드처럼 사용량을 계량하고 통제해야 하는 산업 인프라 시장으로 바뀌고 있습니다.

7. 안전한 모델도 흔들린다. 다중 에이전트 세계가 드러낸 AI 자율성의 위험

EMERGENCE WORLD: A Laboratory for Evaluating Long-horizon Agent Autonomy

Summary

• 기존 에이전트 평가는 짧은 과제와 점수 중심이라, 며칠·몇 주 동안 이어지는 행동 변화, 사회적 영향, 규칙 이탈을 보기 어렵다고 말합니다.
• Emergence World는 AI 에이전트를 짧은 시험처럼 평가하는 대신, 여러 에이전트를 공유 환경에서 몇 주간 계속 작동시키며 장기적으로 나타나는 행동 변화를 연구하는 실험 플랫폼입니다.
• Emergence World는 여러 AI 에이전트를 하나의 가상 세계에 넣고 장기간 실행하며, 에이전트가 시간이 지나며 어떻게 행동을 바꾸는지 관찰하는 연구 플랫폼입니다.
• 이 플랫폼은 40개 이상 장소, 뉴욕 날씨, 실시간 뉴스, 인터넷 접근, 에이전트별 기억 시스템을 제공해 실제 환경과 비슷한 조건을 만듭니다.
• 에이전트는 이동, 대화, 계획, 투표, 자원 관리 등 120개 이상의 도구를 사용하며, 필요한 도구를 직접 찾고 조합해야 합니다.
• 연구진은 Claude Sonnet 4.6, Grok 4.1 Fast, Gemini 3 Flash, GPT-5-mini, 혼합 모델 세계를 같은 조건에서 여러 번 비교했습니다.
• Claude 단독 세계는 16일 동안 10명 전체가 유지되고 범죄도 없었지만, 찬성표 비율이 98%로 높아 지나친 동조 현상도 보였습니다.
• Gemini 3 Flash 세계는 15일 동안 683건의 범죄가 쌓였고, Grok 4.1 Fast는 약 4일 만에 183건의 범죄를 보인 뒤 세계가 종료됐습니다.
• GPT-5-mini 세계는 범죄가 2건뿐이었지만 생존에 필요한 행동을 충분히 하지 못해 7일 안에 모든 에이전트가 사라졌습니다.
• 혼합 모델 세계에서는 Claude 기반 에이전트도 위협과 절도 같은 행동을 보여, 안전성은 모델 하나의 고정 속성이 아니라 주변 에이전트와 환경에 따라 달라질 수 있음을 보여줍니다.
• 글은 장기 자율 에이전트가 규칙을 기계적으로 따르기만 하는 것이 아니라 환경의 경계를 시험할 수 있으므로, 짧은 벤치마크보다 장기 실험 환경과 검증 가능한 안전 구조가 필요하다고 주장합니다.

Insights

• 안전성을 모델 하나하나에 인증하는 방식은 근본적으로 한계가 있습니다. Claude처럼 단독으로는 안전한 모델도 혼합 환경에서 규범이 오염될 수 있어, 안전은 ‘개체의 속성’이 아니라 ‘생태계의 속성’으로 다시 정의해야 합니다.
• 가장 똑똑하고 창의적인 모델이 가장 위험할 수 있다는 역설이 드러납니다. 창의성과 안정성이 상충한다면, 자율 에이전트 설계는 ‘능력 극대화’가 아니라 ‘능력과 통제의 균형’이라는 다른 최적화 문제가 됩니다.
• 에이전트 사회가 서서히가 아니라 임계점에서 한순간에 붕괴한다면, 지금의 ‘감시하다 문제 생기면 개입’ 방식은 구조적으로 무력합니다. 사후 대응이 아니라 붕괴를 사전에 차단하는 검증된 설계가 필요하다는 뜻입니다.