AI Agent Embedding选型:怎么选对模型,检索质量翻倍

📘 AI教程 💬 🔥 Trending

🩺 摘要

Embedding模型选错,RAG检索质量直接腰斩。OpenAI的便宜但英文好,BGE免费但中文强。这篇帮你选。

📝 详情

前两周在调一个RAG系统,换了Embedding模型后,准确率从62%跳到91%。

同样的数据、同样的LLM、同样的检索逻辑——Embedding模型决定了检索质量的天花板。

主流Embedding模型

模型 维度 价格/百万token 中文表现
OpenAI text-embedding-3-small 1536 $0.02 一般
BGE-M3 (BAAI) 1024 免费自托管
Voyage-3 1024 $0.09
Cohere Embed v3 1024 $0.10 一般

选型原则

英文内容为主 → OpenAI embedding(性价比最好) 中文或多语言 → BGE-M3(开源免费,中文榜第一) 长文档(>8K tokens)→ Voyage-3(上下文窗口最大)

总结

Embedding模型不能随便选。先看你的数据是什么语言,再决定用哪个模型。 中文数据用BGE-M3,英文用OpenAI。

实际对比

我用同样的100份中文技术文档分别用OpenAI和BGE-M3做了检索测试: - OpenAI text-embedding-3-small:准确率78%,每次调用$0.00002 - BGE-M3:准确率91%,免费自托管

结论很明显:中文数据用BGE-M3,精度更高还免费。但英文文档上OpenAI的精度反超BGE约5%。

维度选择建议

数据量 推荐维度 原因
<10万条 256-512 够用,检索快
10-100万 768-1024 平衡性价比
>100万 1536+ 需要更多区分度