Tokens — Đơn vị tính tiền và đơn vị suy nghĩ của LLM
Token là đơn vị compression, đơn vị suy nghĩ, và đơn vị tính tiền của LLM. Bài đi sâu BPE tokenization, tiếng Việt đắt 2-3x, thinking tokens, và framework chọn subscription vs API.
Filter/Tag
#cost-optimization
2 entries
-
-
LLM Cost Optimization — 10 patterns giảm hóa đơn 50-95% không mất quality
Mọi đòn bẩy chi phí LLM quy về 3 nhóm: đừng gọi model, gọi nhẹ hơn, rẻ hơn mỗi token. 10 pattern thực chiến (prompt cache, semantic cache, routing, distillation, batch, quantization, self-host), cost math, và ROI framework.