本地部署GGUF量化模型 — TAIDE llama3為例

原始的LLAMA3 8B模型在FP16載入約需要15GB vram，對於資源有限的環境可以部署4bit模型