Tokens — Đơn vị tính tiền và đơn vị suy nghĩ của LLM
Token là đơn vị compression, đơn vị suy nghĩ, và đơn vị tính tiền của LLM. Bài đi sâu BPE tokenization, tiếng Việt đắt 2-3x, thinking tokens, và framework chọn subscription vs API.
Filter/Tag
#tokens
2 entries
-
-
Tokens & Context Windows — The Hard Budget Every AI Agent Must Respect
Tokens are the atomic unit of LLM memory and cost. Learn subword tokenization, context window math, and agent budgeting before you ship.