同样十二句话翻成四种语言:日文 token 是英文的 1.5 倍,中文只有 1.05 倍
上下文预算按单词数拍,或者按「中文要多花两三倍 token」这句流传的话来设。前者只对英文成立,后者错的方向还跟大多数人以为的相反。
📜 目录
十二句话,四种语言,四套分词器。中文的 token 数是英文的 1.03 到 1.10 倍,日文 1.19 到 1.63 倍,德文 1.21 到 1.41 倍。换成按字符算,同一篇维基百科文章,中文每 1000 个字符要花掉英文的 3.1 到 4.1 倍 token。同一个 32768 的窗口,Qwen3 能装 141241 个英文字符,只能装 45899 个中文字符。
两组数都对,问的不是同一件事。而大部分人设预算时,两组都没用上。
这个测试要验的那句话
流传最广的说法是一个 token 约等于 0.75 个英文单词,中文和日文同样的内容要多花两到三倍 token。前半句对英文基本成立。后半句含混,因为「同样的内容」有两种比法,结论正好相反。
同样一句话、同样的意思,花多少 token?这是给一次请求定价时该看的数,因为请求带的是意思,不是字节。同样的文字量,每 1000 个字符花多少 token?这是判断一份文档塞不塞得进窗口时该看的数,因为窗口装的是 token,不是意思。
数是怎么来的
四份分词器文件,2026 年 11 月 23 日从 Hugging Face 下载:Qwen3-32B、Llama-3.1-8B-Instruct、gpt-oss-120b、Gemma-3-27B。Llama 取自 NousResearch 镜像,Gemma 取自 unsloth 镜像,因为两个官方仓库要登录才能下。文件用 tokenizers 0.23.3 加载,按 encode(text).ids 编码,不加特殊 token,整个过程没有任何模型推理。
样本是我写的 12 句英文,再翻成中文、日文、德文。六句是日常话,六句故意塞满分词器最怕的东西:带年份的发票号、四位 HTTP 状态码、批大小、街道地址、以 TB 计的存储数字、一个邮箱地址。译文是我自己翻的,逐句核对意思一致——这是整个测试最软的一环,写在这里,不藏。
日常六句:四套分词器里有三套中文比英文便宜
| 分词器 | 英文 | 中文 | 日文 | 德文 | 中文/英文 | 日文/英文 |
|---|---|---|---|---|---|---|
| Qwen3-32B | 50 | 42 | 83 | 83 | 0.84 | 1.66 |
| Llama-3.1-8B | 56 | 57 | 90 | 90 | 1.02 | 1.61 |
| gpt-oss-120b | 50 | 47 | 89 | 66 | 0.94 | 1.78 |
| Gemma-3-27B | 56 | 50 | 68 | 75 | 0.89 | 1.21 |
中文在这里不贵。Qwen3、gpt-oss、Gemma 上都比英文便宜,Llama 上打平。原因是词表:一个汉字一到三个字节,常用字整字进词表,Qwen3 的词表 15.1 万条,Gemma 26.2 万条。英文那边,每个单词前面那个空格要钱,几千词以外的词被切成子词还要再付一次。
日文是反例。一句话里汉字、平假名、片假名、拉丁外来词混在一起,四套词表没有一套覆盖得好。最便宜是 Gemma 的 1.21,最贵是 gpt-oss 的 1.78——同样的意思多付 78%。
塞进发票号和邮箱,排序就变了
| 分词器 | 英 | 中 | 日 | 德 | 中/英 | 日/英 | 德/英 |
|---|---|---|---|---|---|---|---|
| Qwen3-32B | 101 | 116 | 149 | 126 | 1.15 | 1.48 | 1.25 |
| Llama-3.1-8B | 92 | 106 | 138 | 118 | 1.15 | 1.50 | 1.28 |
| gpt-oss-120b | 86 | 98 | 132 | 101 | 1.14 | 1.53 | 1.17 |
| Gemma-3-27B | 109 | 120 | 129 | 125 | 1.10 | 1.18 | 1.15 |
六句日期、代码、地址,中文的优势就没了:从 0.84 到 1.02 变成 1.10 到 1.15。全角标点、拉丁字符串两侧的空格规则、2026 年 12 月 5 日这种被拆散在多个字符上的日期,都是成本。生产环境里混排才是常态,所以该看的是合并后的这张表:
| 语言 | Qwen3-32B | Llama-3.1-8B | gpt-oss-120b | Gemma-3-27B |
|---|---|---|---|---|
| 英文(基准) | 151 | 148 | 136 | 165 |
| 中文 | 158(1.05 倍) | 163(1.10 倍) | 145(1.07 倍) | 170(1.03 倍) |
| 日文 | 232(1.54 倍) | 228(1.54 倍) | 221(1.63 倍) | 197(1.19 倍) |
| 德文 | 209(1.38 倍) | 208(1.41 倍) | 167(1.23 倍) | 200(1.21 倍) |
十二句是小样本,这些比例上下各有大约一成的浮动。方向在四套分词器上一致,这才是重点:同样的意思,日文和德文贵,中文几乎不贵。
32768 个 token 能装多少字
换一个问题,换一个答案。取维基百科的咖啡条目,四种语言版本分别是英文 57003 字符、中文 12526、日文 27040、德文 85471。这几个版本不是互译关系,所以这里要读的是每字符的换算率,不是翻译测试。
| 语言 | 每千字符 token(Qwen3) | Llama-3.1 | gpt-oss | Gemma-3 | 32k 能装多少字符(Qwen3) |
|---|---|---|---|---|---|
| 英文 | 232.0 | 220.1 | 216.6 | 227.7 | 141241 |
| 中文 | 713.9 | 905.8 | 875.3 | 706.5 | 45899 |
| 日文 | 677.8 | 748.7 | 809.8 | 578.0 | 48346 |
| 德文 | 308.4 | 300.9 | 246.1 | 259.0 | 106253 |
Qwen3 的 32768 token 装 141241 个英文字符,同一窗口装 45899 个中文字符,不到三分之一。不是中文句子贵,而是一个汉字承载的内容多,词表把它存成了更少、更密的单位。判断一份 12000 字的中文报告塞不塞得进去,答案是塞得进,还能留出提示词和回答的位置;判断一份 12 万字符的英文日志塞不塞得进去,答案是塞不进,上面四套分词器都塞不进。
按单词数预算两边都会错。32768 的窗口大约等于 25200 个英文单词(按 1.3 token 一个词),而英文是唯一一种这样换算还靠得住的语言。
英文上选分词器差 2.9%,日文上差 32%
同一段 1337 字符的英文,四套分词器分别给出 278、283、285、286 个 token,差 2.9%——这就是英文文本上分词器之争的真实大小。换算成每个单词 1.27 到 1.31 个 token,所以「一个 token 约 0.75 个英文单词」这句话活得下来。
同样是那六句日常话的日文:Gemma 68 个 token,gpt-oss 89 个,Llama 90 个。选哪套分词器,日文账单差三分之一,英文账单差 3%。产品主语言是日文又要按 token 报价的话,分词器本身就是价格的一部分。
在自己的语料上跑一遍
十行代码,不用推理,一千句一秒钟。从你真要上线的那个模型仓库里下 tokenizer.json,然后:
from tokenizers import Tokenizer
tk = Tokenizer.from_file("tokenizer.json")
samples = {"en": english_rows, "zh": chinese_rows, "ja": japanese_rows}
for lang, rows in samples.items():
tokens = sum(len(tk.encode(r).ids) for r in rows)
chars = sum(len(r) for r in rows)
print(lang, tokens, round(tokens / chars * 1000, 1), "tokens per 1000 chars")
算出来的数只用在这两处。一是每种语言的字符预算,用在检索和切分长输入上:别按词数或字符数拍,按实测 token 数来定。二是每种语言的价目表:按 token 向客户收费,而客户写日文,毛利已经比英文价目表薄了一半。
这些 token 进了模型之后,KV cache 上还要再付一次,见 每 token 的 KV cache 表。检索部分每 1000 个问题花多少,见 RAG 成本实测;工具清单在用户动手之前就吃掉多少 token,见 MCP 工具清单实测。想弄明白字节级 BPE 为什么这样切,见 分词器原理那篇。
这个测试测不出什么
十二句话,我自己翻的,编码时没加特殊 token。没有生成,所以这里没有任何关于输出长度或各语言质量的说法。对话模板给每条消息加的开销没有计入。Gemma 和 Llama 的分词器文件读自镜像,gpt-oss 用的是开放权重随附的 o200k_harmony 词表。一个分词器版本,一天,2026 年 11 月 23 日。比例在四套词表上够稳,可以拿来定预算;具体数值不是常数。
本站文章由编辑人工撰写,收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库,仅作信息参考,不构成付费推广。