LLM Architecture Dense vs MoE ต่างกันยังไง ?
สำหรับ Blog นี้มาขยายความต่อจากที่ไปงาน จดๆจากงาน National Coding Day 2026 แล้วมีเรื่อง Model Dense / MoE…
LLM Architecture Dense vs MoE ต่างกันยังไง ?
สำหรับ Blog นี้มาขยายความต่อจากที่ไปงาน จดๆจากงาน National Coding Day 2026 แล้วมีเรื่อง Model Dense / MoE เลยมาเขียนแยกขยายความนิดหน่อยดีกว่า
ก่อนอื่น เราต้องมารู้กันก่อนว่าใน LLM มันวัดฉลาด จากตัว Parameter มองว่าจำนวนเซลล์สมองของคนเรานี่แหละ ถ้ามันมีเยอะ แสดงว่ามันฉลาดขึ้น แต่แลกมากับการใช้พลังงานที่มากขึ้น เช่นกัน
แล้วที่นี้การเอาตัว Parameter มันมี Pattern เหมือนกัน จะมองว่าเป็นพิมพ์เขียวก็ได้นะ ว่าจะวาง Architecture ด้านในยังไง มีหลายแบบเลยสำหรับอันนี้ลองมาเขียนสรุป LLM Dense กับ MoE ต่างกันยัง เผื่อเอามาเลือกใช้งานกันครับ
- Dense — ใช้ทุก Parameter ตอนทำงาน ต่อยอดมาจากงานวิจัย Transformer
- MoE (Mixture of Experts) — มีการจัด Parameter ภายใน Model แยกตามผู้เชี่ยวชาญในแต่ละเรื่อง โดยตอนทำงานจริงใช้ Parameter เท่าที่จำเป็นเท่านั้น แนวคิดนี้มานานแล้วนะตาม Paper นี้เลย
และ ถ้าลองหาเพิ่มเติมไม่ได้มีแค่ Dense กับ MoE ยังมีแบบ SSM (Mamba) — จัดการ Context ยาวๆ / Speculative เน้นให้ตอบไว้
Donate & Support: https://www.buymeacoffee.com/pingkunga
메타데이터
- post_id
- b748ef8374c2
- slug
- llm-architecture-dense-vs-moe-ต่างกันยังไง-b748ef8374c2
- url
- https://medium.com/@pingkunga/llm-architecture-dense-vs-moe-%E0%B8%95%E0%B9%88%E0%B8%B2%E0%B8%87%E0%B8%81%E0%B8%B1%E0%B8%99%E0%B8%A2%E0%B8%B1%E0%B8%87%E0%B9%84%E0%B8%87-b748ef8374c2
- canonical_url
- https://medium.com/@pingkunga/llm-architecture-dense-vs-moe-%E0%B8%95%E0%B9%88%E0%B8%B2%E0%B8%87%E0%B8%81%E0%B8%B1%E0%B8%99%E0%B8%A2%E0%B8%B1%E0%B8%87%E0%B9%84%E0%B8%87-b748ef8374c2
- author_url
- https://medium.com/@pingkunga
- status
- ok
- fetched_at
- 2026-07-14 09:39:17
