Filter/Tag

#cost-optimization

2 entries

2026-04-30 ai llm tokens

Tokens — Đơn vị tính tiền và đơn vị suy nghĩ của LLM

Token là đơn vị compression, đơn vị suy nghĩ, và đơn vị tính tiền của LLM. Bài đi sâu BPE tokenization, tiếng Việt đắt 2-3x, thinking tokens, và framework chọn subscription vs API.
2026-04-30 ai llm cost-optimization

LLM Cost Optimization — 10 patterns giảm hóa đơn 50-95% không mất quality

Pattern thực chiến giảm chi phí LLM ở scale: prompt caching, semantic cache, model routing, distillation, batch API, quantization, streaming + early stop, và framework đo ROI khi self-host.