一千次 RAG 问答的账单:两万一千 token 的文档

📘 教程 2026-11-19 约 18 分钟阅读

RAG 花销按文档数量估,以为索引贵,说不清取四段还是两段值不值那点差价。

📜 目录

做预算的人盯着索引,付钱的地方在上下文窗口。三页技术文档的语料,整份向量化成本是0.043 美分;一千次问答的成本在 0.54 美元到 1.53 美元之间,取决于谁生成答案。索引只占第一张账单的 0.08%。拿文档数量估 RAG 花销,估的是小的那一头。

RAG 每千次问答 0.54 到 1.53 美元,整份语料向量化 0.00043 美元、占账单 0.08%
三页文档 21,499 token,k=4 时每问输入 2,198 token、答案 350。每千次问答:deepseek-flash 错峰 0.540 美元、峰时 1.079,gpt-5-mini 1.250,gemini-2.5-flash 1.534,同一个上下文差 2.84 倍。整份语料向量化 0.00043 美元,占这张账单的 0.08%。2026-11-19 实算。

测了什么,怎么测的

三页真实文档,2026 年 11 月 19 日抓取:LiteLLM 代理配置文档、vLLM 优化文档、RAGFlow 的 README。去掉脚本和标签后,用 tiktoken 的 cl100k_base 编码分词——和 GPT-3.5/4 一代同一个分词器家族,对 DeepSeek 和 Gemini 用来做预算也够接近。切片按 512 token、重叠 64 token。

页面正文字符token512 token 切片
LiteLLM 代理配置35192884220
vLLM 优化文档38008818019
RAGFlow README16932447710
合计901322149949

两个值得记住的数:平均 4.19 个字符一个 token,一页技术文档平均 7166 token。按这个密度,一百页的内部 wiki 大约 71.6 万 token。字符比低于常说的「四个字符一个 token」,因为接口文档里全是代码和标识符,这类内容分词效率差。

账单第一行:索引

按每百万输入 token 0.02 美元的向量模型(text-embedding-3-small,价格取 LiteLLM 价格表,11 月 19 日),21499 token 的向量化成本是 0.00043 美元;那一百页 wiki 是 0.0143 美元。整份语料每天全量重跑一年,不到四美元。这也是为什么「向量数据库很贵」几乎从来不是真的:这个量级下 pgvector 和 Qdrant 的每向量边际成本都是零,许可证也不是瓶颈。

账单第二行:塞给模型的上下文

检索才是花钱的地方。每问一次,取回 top-k 个切片,每个切片都是每一次提问都要重复付一次的输入 token,而语料只付一次。k=4 时是 2048 token 的段落,加上 150 token 的指令和问题,每次提问输入 2198 token;答案 350 token 就是 350 个输出 token。

下面的价格按每百万 token 计,2026 年 11 月 19 日核对:deepseek-flash 取 DeepSeek 官方定价页(未命中缓存输入错峰 0.15、峰时 0.30;输出错峰 0.60、峰时 1.20),gemini-2.5-flash 与 gpt-5-mini 取 LiteLLM 价格表(0.30/2.50 与 0.25/2.00)。LiteLLM 的表比厂商页面滞后,这两家按预算数用,签约前回官网再核一遍。

模型输入,每千次输出,每千次合计
deepseek-flash 错峰0.3300.2100.540
deepseek-flash 峰时0.6590.4201.079
gpt-5-mini0.5490.7001.250
gemini-2.5-flash0.6590.8751.534

每月一万次(约每天三百三十次),落点 5.4 到 15.3 美元。纠结要不要做这件事的人应该先看到这个数:它根本不构成一个预算项。真正值得在意的是那 2.8 倍的差距,因为它会等比放大——每月一百万次时,就是 540 美元对 1534 美元。

杠杆一:取几段

保留段落每次输入 token每千次,deepseek-flash 错峰gemini-2.5-flash
211740.3861.227
316860.4631.381
421980.5401.534
632220.6931.842

这里和常见的建议相反。从四段砍到两段,每千次省 0.154 美元;每月十万次是 15 美元。如果问答质量正卡在「有用」和「出错」之间——我们自己在六十道题上的测试里,给模型四段检索材料把答对数从 21 提到 47——那么为了每月 15 美元砍掉一半材料是很差的交易。先算清旋钮值多少钱,再按质量决定停在哪。

杠杆二:答案长度

输出 token 的价格是输入的 4 到 8 倍,所以答案写多长是整张账单上最大的一个旋钮。同样 2198 token 输入,三种答案长度:

答案 tokendeepseek-flash 错峰gemini-2.5-flash
1500.4201.034
2000.4501.159
3500.5401.534
5000.6301.909

要求答案控制在 200 token 而不是 350,DeepSeek 省 16.7%,Gemini 省 24.4%。这比把材料砍一半省得多,而且很少让答案变差——长答案多半是同样两句话外围的填充。「答案不超过一百五十词,标出出处」是这套系统里最便宜的一次改动。

杠杆三:可缓存的前缀

每道题前面那段指令是同样的文字。DeepSeek 的缓存命中输入按每百万 0.003 美元计,未命中 0.15 美元,差五十倍。把固定部分放在最前面、一个字不改,缓存住 2198 个输入 token 里的 1000 个,每千次账单从 0.540 美元降到 0.393 美元,省 27.2%,峰时同样是 27.2%。代价是前缀必须逐字节一致且排在最前:系统提示里混进一个会变的时间戳,缓存就静默失效。

把这套测算复现一遍

在自己语料上跑,不要直接信上面的数——散文 wiki 和接口文档的密度差得足够多,结论会变。

import tiktoken
enc = tiktoken.get_encoding("cl100k_base")
text = open("doc.md", encoding="utf-8").read()
ids = enc.encode(text)
step, chunks, i = 512 - 64, 0, 0
while i < len(ids):
    chunks += 1
    i += step
print(len(text), len(ids), round(len(text)/len(ids), 2), chunks)

然后乘:第一行是 token/100万 乘向量单价;第二行是(保留段数乘切片大小加指令)乘问题数乘输入单价,加上答案 token 乘问题数乘输出单价。RAG 账单上别的东西,和这两行比都是零头。

这篇没覆盖的

没有延迟,没有四家模型的质量对比,也没有重排成本——多数厂商的重排按每次检索计费而不是按 token,套不进这套算法,所以直接排除而不是估算。token 数来自一个和 DeepSeek、Gemini 不完全相同的分词器,上下浮动几个百分点,不影响上面任何一条结论。文档解析那段见 解析方案对比,在优化价格之前先确认答案对不对,见 RAGAS 评测那一篇。

相关文章

延伸阅读 · 含推广链接

免费额度适合验证想法,不适合跑常驻任务。按量付费按实际用量结算,比包年更不容易浪费。

对比按量与包年 →

相关文章
2026-07-19
2026年AI编程工具横向对比:Cursor与Aider谁更胜一筹?
2026-10-24
Ragas 0.4 实战:搭一套能把检索问题和生成问题分开的评测流程
2026-07-18
Claude Code + 本地模型混合方案:什么时候用云端、什么时候用本地
2026-08-05
2026年如何搭建Discord AI机器人:discord.py(1.6万星)+ 大模型,一步步来
2026-08-11
本地LLM硬件指南2026:到底需要多少内存和显存
2026-07-26
本地大模型硬件要求

本站文章由编辑人工撰写,收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库,仅作信息参考,不构成付费推广。

💬 评论 (0)

暂无评论,来说两句吧~

登录后评论