가이아 놀리지(Knowledge) 베이스 업데이트 방법

일단 가이아 노드를 실행하고 나면, 마침내 나만의 노드를 가동하기 시작한 셈입니다. 멋지죠. 온전히 내 거고, 탈중앙화돼 있죠. 하지만 한 가지 문제가 있습니다.

당신의 AI는 아직 당신이나 당신 팀에 대해 잘 모릅니다.

마치 맥락 없이 일만 잘하는 인턴을 둔 것과 같습니다. 잠재력은 넘치지만, 아는 건 전혀 없죠.

이제 이걸 고쳐봅시다. 에이전트에게 진짜 ‘두뇌’를 달아주는 겁니다.

이번 콘텐츠에서는 다음과 같은 내용을 다룹니다:

• 나만의 .txt 파일을 분할하고 벡터화하는 방법
• 이를 Hugging Face에 업로드하는 방법
• 업로드한 데이터를 가이아 노드에 연결하는 방법
• 실제 지식을 바탕으로 작동하는 AI 에이전트를 실행하는 방법

이 글을 다 읽고 나면, 당신의 AI는 단순히 말만 하는 존재가 아니라, 당신처럼 혹은 당신이 원하는 방식 그대로 말하고 일하는 존재가 되어있을 겁니다.

가이아 놀리지 베이스가 도대체 뭔가요?

가이아 놀리지 베이스는 당신의 AI를 위한 구조화된 ‘검색 가능한 두 번째 두뇌’와도 같습니다. 쉽게 말해, AI가 실제 정보를 기반으로 대답할 수 있게 해주는 맞춤형 데이터셋이에요.

AI가 뜬구름 잡는 식으로 답변하는 대신, 이제는 당신의 콘텐츠를 바탕으로 정확하고 신뢰할 수 있는 답변을 제공할 수 있게 되죠.

예를 들어 이런 콘텐츠들이 가능합니다:

• 제품 문서? ✅
• 리서치 페이퍼? ✅
• 노션에 정리해둔 DAO 거버넌스 전략 노트? ✅
• 마크다운으로 작성 중인 블로그 초안? ✅

이 모든 것들이 AI의 지식 기반이 되어, 당신만의 ‘생각하는 AI’를 만들 수 있게 됩니다.

가이아 놀리지 베이스가 중요한 이유는 다음과 같습니다 :

• 맞춤화(Customization) — 에이전트에게 당신의 말투, 지식, 경쟁력을 그대로 담아낼 수 있습니다.
• 정확성(Accuracy) — 엉뚱한 내용이나 말이 안 되는 답변을 줄일 수 있습니다.
• 속도(Speed) — 미리 정리된 사전 정보 조각에서 빠르게 답변을 도출할 수 있습니다.
• 확장성(Scalability) — 모델을 재학습할 필요 없이, 데이터만 추가하거나 수정하면 됩니다.

가장 좋은 점은? 가이아는 다양한 파일 형식을 지원한다는 것!

예를 들면:

• 일반 텍스트 .txt 파일
• 마크다운(Markdown)
• PDF 문서
• 원본/요약이 정리된 CSV
• 심지어 웹 URL까지

형식만 정하면, 나머지는 가이아가 알아서 처리합니다.

시작하기 전에 준비해야 할 것들

본격적인 작업에 들어가기 전에, 아래 항목들이 준비되어 있는지 확인하세요:

• ✅ Docker가 로컬에 설치되어 있어야 합니다
• ✅ 약 200단어 단위로 나뉘고, 공백 줄로 구분된 .txt 파일 (정보가 잘 쪼개진 형태여야 합니다)
• ✅ 🤗**Hugging Face 계정**
• ✅ 💾 벡터 데이터베이스로 사용할 Qdrant 이미지 다운로드

이제 준비가 됐다면, 가이아 지식 베이스 구축을 시작할 수 있습니다.

✅ 1단계: 필수 설치

1. Qdrant 벡터 DB 이미지 다운로드:

docker pull qdrant/qdrant

2. WasmEdge 런타임 설치:

curl -sSf https://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install_v2.sh | bash -s

✅ 2단계: 임베딩 모델 다운로드

이 모델은 텍스트를 벡터로 변환하는 데 사용됩니다.

curl -LO https://huggingface.co/gaianet/Nomic-embed-text-v1.5-Embedding-GGUF/resolve/main/nomic-embed-text-v1.5.f16.gguf

✅ 3단계: Qdrant (벡터 DB) 실행

가이아는 벡터화된 지식을 저장하고 검색하기 위해 Qdrant를 사용합니다.

1. Qdrant용 저장 폴더 생성:

mkdir qdrant_storage qdrant_snapshots

2. Qdrant 컨테이너 실행:

nohup docker run -d -p 6333:6333 -p 6334:6334 \
  -v $(pwd)/qdrant_storage:/qdrant/storage:z \
  -v $(pwd)/qdrant_snapshots:/qdrant/snapshots:z \
  qdrant/qdrant

✅ 4단계: 벡터 컬렉션 설정

1. 기존 기본 컬렉션 삭제 (있을 경우):

curl -X DELETE 'http://localhost:6333/collections/default'

2. 768차원으로 새로운 컬렉션 생성 (임베딩 모델의 출력 크기와 일치):

curl -X PUT 'http://localhost:6333/collections/default' \
  -H 'Content-Type: application/json' \
  --data-raw '{
    "vectors": {
      "size": 768,
      "distance": "Cosine",
      "on_disk": true
    }
  }'

이제 벡터 DB가 준비되었습니다. 다음 단계에서는 텍스트를 업로드하고 놀리지를 연결하는 작업이 이어집니다.

✅ 5단계: 텍스트 분할 및 임베딩

1. 문단 단위로 텍스트를 벡터화하는 툴 다운로드:

curl -LO https://github.com/GaiaNet-AI/embedding-tools/raw/main/paragraph_embed/paragraph_embed.wasm

2. .txt 파일 임베딩 실행:

wasmedge --dir .:. \
  --nn-preload embedding:GGML:AUTO:nomic-embed-text-v1.5.f16.gguf \
  paragraph_embed.wasm embedding default 768 your.txt -c 8192

💡 팁: 해당 툴은 코드 블록과 빈 줄을 자동 인식합니다. 너무 자잘하게 편집하지 않아도 됩니다.

✅ 6단계: 스냅샷 생성 및 업로드

1. Qdrant 스냅샷 생성:

curl -X POST 'http://localhost:6333/collections/default/snapshots'

2. 생성된 스냅샷은 qdrant_snapshots 폴더에 저장됩니다. 이를 압축하세요:

tar czvf my.snapshot.tar.gz my.snapshot

3. Hugging Face에 업로드:

• Hugging Face 프로필 → New Dataset 클릭
• my.snapshot.tar.gz 파일 업로드
• 업로드 후 파일을 클릭 → 직접 다운로드 링크 복사

🎉 이제 당신을 위한 전용 “두뇌”가 클라우드에 올라간 셈입니다.

✅ 7단계: Gaia 노드에 스냅샷 연결

노드가 당신의 콘텐츠를 “진짜로” 이해할 수 있도록 설정합니다:

gaianet config \
  --snapshot https://huggingface.co/datasets/your-user/your-dataset/resolve/main/my.snapshot.tar.gz \
  --embedding-url https://huggingface.co/gaianet/Nomic-embed-text-v1.5-Embedding-GGUF/resolve/main/nomic-embed-text-v1.5.f16.gguf \
  --embedding-ctx-size 8192 \
  --system-prompt "You are a helpful AI agent trained on X. Stay clear, helpful, and grounded in facts." \
  --rag-prompt "Use the following context to answer:"

📌 실제 사용 시엔 Hugging Face URL과 프롬프트 내용을 실제 값으로 바꾸세요.

✅ 8단계: 노드 실행

gaianet start

실행 후에는 다음과 같은 퍼블릭 URL이 생성됩니다:

https://0x123abc456def.gaianet.xyz

브라우저에서 열어 질문을 해보세요. 이번에는 정말로 알고 있는 AI가 답변할 겁니다. 🔥

📌 실제 예시: DAO 전문가용 지식 베이스

gaianet config \
  --snapshot https://huggingface.co/datasets/meowy-ai/voting-chunk-demo/resolve/main/default.snapshot.tar.gz \
  --system-prompt "You are a friendly and knowledgeable AI assistant specializing in blockchain voting systems. Explain concepts clearly, help with on-chain actions, and break things down step-by-step." \
  --rag-prompt "Here’s the context:"

이 에이전트는 다음과 같은 역할을 할 수 있습니다:

• DAO 투표 과정 안내
• Snapshot 투표 vs 온체인 거버넌스 설명
• 브랜드 메시지에 맞춰 일관된 답변 제공

🤖 왜 이 방식이 효과적인가?

가이아는 백그라운드에서 아래 기술들을 조합합니다:

• Qdrant 벡터 DB → 가장 관련 있는 콘텐츠 조각 검색
• 임베딩 모델 (예: Nomic) → 텍스트를 벡터로 변환
• RAG (Retrieval-Augmented Generation) → 검색한 콘텐츠를 기반으로 LLM이 응답 생성

즉, 단순한 챗봇을 넘어서 당신의 콘텐츠를 진짜로 이해하고 대화하는 AI를 만드는 셈입니다.

📚 추가 리소스

• 문서 보기: docs.gaianet.ai
• 다양한 LLM 설정 보기: GaiaNet Node Configs

웹사이트 | 깃허브 | 허깅페이스 | X(트위터) | 디스코드 | 텔레그램