同样十二句话翻成四种语言:日文 token 是英文的 1.5 倍,中文只有 1.05 倍

📘 教程 2026-11-23 约 20 分钟阅读

上下文预算按单词数拍,或者按「中文要多花两三倍 token」这句流传的话来设。前者只对英文成立,后者错的方向还跟大多数人以为的相反。

📜 目录

十二句话,四种语言,四套分词器。中文的 token 数是英文的 1.03 到 1.10 倍,日文 1.19 到 1.63 倍,德文 1.21 到 1.41 倍。换成按字符算,同一篇维基百科文章,中文每 1000 个字符要花掉英文的 3.1 到 4.1 倍 token。同一个 32768 的窗口,Qwen3 能装 141241 个英文字符,只能装 45899 个中文字符。

两组数都对,问的不是同一件事。而大部分人设预算时,两组都没用上。

这个测试要验的那句话

流传最广的说法是一个 token 约等于 0.75 个英文单词,中文和日文同样的内容要多花两到三倍 token。前半句对英文基本成立。后半句含混,因为「同样的内容」有两种比法,结论正好相反。

同样一句话、同样的意思,花多少 token?这是给一次请求定价时该看的数,因为请求带的是意思,不是字节。同样的文字量,每 1000 个字符花多少 token?这是判断一份文档塞不塞得进窗口时该看的数,因为窗口装的是 token,不是意思。

数是怎么来的

四份分词器文件,2026 年 11 月 23 日从 Hugging Face 下载:Qwen3-32B、Llama-3.1-8B-Instruct、gpt-oss-120b、Gemma-3-27B。Llama 取自 NousResearch 镜像,Gemma 取自 unsloth 镜像,因为两个官方仓库要登录才能下。文件用 tokenizers 0.23.3 加载,按 encode(text).ids 编码,不加特殊 token,整个过程没有任何模型推理。

样本是我写的 12 句英文,再翻成中文、日文、德文。六句是日常话,六句故意塞满分词器最怕的东西:带年份的发票号、四位 HTTP 状态码、批大小、街道地址、以 TB 计的存储数字、一个邮箱地址。译文是我自己翻的,逐句核对意思一致——这是整个测试最软的一环,写在这里,不藏。

日常六句:四套分词器里有三套中文比英文便宜

分词器英文中文日文德文中文/英文日文/英文
Qwen3-32B504283830.841.66
Llama-3.1-8B565790901.021.61
gpt-oss-120b504789660.941.78
Gemma-3-27B565068750.891.21

中文在这里不贵。Qwen3、gpt-oss、Gemma 上都比英文便宜,Llama 上打平。原因是词表:一个汉字一到三个字节,常用字整字进词表,Qwen3 的词表 15.1 万条,Gemma 26.2 万条。英文那边,每个单词前面那个空格要钱,几千词以外的词被切成子词还要再付一次。

日文是反例。一句话里汉字、平假名、片假名、拉丁外来词混在一起,四套词表没有一套覆盖得好。最便宜是 Gemma 的 1.21,最贵是 gpt-oss 的 1.78——同样的意思多付 78%。

塞进发票号和邮箱,排序就变了

分词器英中日德中/英日/英德/英
Qwen3-32B1011161491261.151.481.25
Llama-3.1-8B921061381181.151.501.28
gpt-oss-120b86981321011.141.531.17
Gemma-3-27B1091201291251.101.181.15

六句日期、代码、地址,中文的优势就没了:从 0.84 到 1.02 变成 1.10 到 1.15。全角标点、拉丁字符串两侧的空格规则、2026 年 12 月 5 日这种被拆散在多个字符上的日期,都是成本。生产环境里混排才是常态,所以该看的是合并后的这张表:

语言Qwen3-32BLlama-3.1-8Bgpt-oss-120bGemma-3-27B
英文(基准)151148136165
中文158(1.05 倍)163(1.10 倍)145(1.07 倍)170(1.03 倍)
日文232(1.54 倍)228(1.54 倍)221(1.63 倍)197(1.19 倍)
德文209(1.38 倍)208(1.41 倍)167(1.23 倍)200(1.21 倍)

十二句是小样本,这些比例上下各有大约一成的浮动。方向在四套分词器上一致,这才是重点:同样的意思,日文和德文贵,中文几乎不贵。

32768 个 token 能装多少字

换一个问题,换一个答案。取维基百科的咖啡条目,四种语言版本分别是英文 57003 字符、中文 12526、日文 27040、德文 85471。这几个版本不是互译关系,所以这里要读的是每字符的换算率,不是翻译测试。

语言每千字符 token(Qwen3)Llama-3.1gpt-ossGemma-332k 能装多少字符(Qwen3)
英文232.0220.1216.6227.7141241
中文713.9905.8875.3706.545899
日文677.8748.7809.8578.048346
德文308.4300.9246.1259.0106253

Qwen3 的 32768 token 装 141241 个英文字符,同一窗口装 45899 个中文字符,不到三分之一。不是中文句子贵,而是一个汉字承载的内容多,词表把它存成了更少、更密的单位。判断一份 12000 字的中文报告塞不塞得进去,答案是塞得进,还能留出提示词和回答的位置;判断一份 12 万字符的英文日志塞不塞得进去,答案是塞不进,上面四套分词器都塞不进。

按单词数预算两边都会错。32768 的窗口大约等于 25200 个英文单词(按 1.3 token 一个词),而英文是唯一一种这样换算还靠得住的语言。

英文上选分词器差 2.9%,日文上差 32%

同一段 1337 字符的英文,四套分词器分别给出 278、283、285、286 个 token,差 2.9%——这就是英文文本上分词器之争的真实大小。换算成每个单词 1.27 到 1.31 个 token,所以「一个 token 约 0.75 个英文单词」这句话活得下来。

同样是那六句日常话的日文:Gemma 68 个 token,gpt-oss 89 个,Llama 90 个。选哪套分词器,日文账单差三分之一,英文账单差 3%。产品主语言是日文又要按 token 报价的话,分词器本身就是价格的一部分。

在自己的语料上跑一遍

十行代码,不用推理,一千句一秒钟。从你真要上线的那个模型仓库里下 tokenizer.json,然后:

from tokenizers import Tokenizer

tk = Tokenizer.from_file("tokenizer.json")
samples = {"en": english_rows, "zh": chinese_rows, "ja": japanese_rows}

for lang, rows in samples.items():
    tokens = sum(len(tk.encode(r).ids) for r in rows)
    chars = sum(len(r) for r in rows)
    print(lang, tokens, round(tokens / chars * 1000, 1), "tokens per 1000 chars")

算出来的数只用在这两处。一是每种语言的字符预算,用在检索和切分长输入上:别按词数或字符数拍,按实测 token 数来定。二是每种语言的价目表:按 token 向客户收费,而客户写日文,毛利已经比英文价目表薄了一半。

这些 token 进了模型之后,KV cache 上还要再付一次,见 每 token 的 KV cache 表。检索部分每 1000 个问题花多少,见 RAG 成本实测;工具清单在用户动手之前就吃掉多少 token,见 MCP 工具清单实测。想弄明白字节级 BPE 为什么这样切,见 分词器原理那篇。

这个测试测不出什么

十二句话,我自己翻的,编码时没加特殊 token。没有生成,所以这里没有任何关于输出长度或各语言质量的说法。对话模板给每条消息加的开销没有计入。Gemma 和 Llama 的分词器文件读自镜像,gpt-oss 用的是开放权重随附的 o200k_harmony 词表。一个分词器版本,一天,2026 年 11 月 23 日。比例在四套词表上够稳,可以拿来定预算;具体数值不是常数。

延伸阅读 · 含推广链接

免费额度适合验证想法,不适合跑常驻任务。按量付费按实际用量结算,比包年更不容易浪费。

对比按量与包年 →

相关文章
2026-07-22
2026年模型量化指南:GGUF、AWQ与GPTQ
2026-08-07
AI字幕翻译:适配任意视频的开源管道
2026-07-19
AnythingLLM教程:一个界面接入所有AI模型
2026-08-01
在Android上运行Ollama:4款应用对比
2026-07-26
2026年商业分析师AI指南
2026-08-01
llms.txt生成器:让AI引用你内容的站点地图

本站文章由编辑人工撰写,收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库,仅作信息参考,不构成付费推广。

💬 评论 (0)

暂无评论,来说两句吧~

登录后评论