LLM Token 计数器

关于本估算器

• 精确 tokenization 需要 OpenAI/Anthropic 的官方 tokenizer 库，本工具使用启发式估算，对普通文本误差约 10-15%
• 英文：cl100k_base (GPT-4) 平均约 4 个字符 / token
• 中日韩：约 1.5-2 字符 / token（CJK 字符占 token 数比例更高）
• 代码、JSON 和结构化文本因特殊符号多，token 占比通常高于纯散文

使用场景

• 调用 API 前预估成本
• 保持在模型 context 窗口内（4K/8K/32K/128K/200K）
• 精简 prompt 降低延迟和成本
• 比较同一内容在 GPT 与 Claude 间的 token 效率