Edge LLM의 메모리 병목 극복: 8GB Jetson에서 구동되는 8B Llama

Edge AI가 빠르게 현실로 다가오고 있습니다. 글로벌 반도체 기업들은 자사 칩셋에서 실용적인 Edge AI를 구현하기 위해 적극적으로 움직이고 있으며, NVIDIA 역시 최근 임베디드 자동차 및 로보틱스 애플리케이션을 위한 TensorRT…