AI Agent Embedding选型:怎么选对模型,检索质量翻倍
🩺 摘要
Embedding模型选错,RAG检索质量直接腰斩。OpenAI的便宜但英文好,BGE免费但中文强。这篇帮你选。
📝 详情
前两周在调一个RAG系统,换了Embedding模型后,准确率从62%跳到91%。
同样的数据、同样的LLM、同样的检索逻辑——Embedding模型决定了检索质量的天花板。
主流Embedding模型
| 模型 | 维度 | 价格/百万token | 中文表现 |
|---|---|---|---|
| OpenAI text-embedding-3-small | 1536 | $0.02 | 一般 |
| BGE-M3 (BAAI) | 1024 | 免费自托管 | 好 |
| Voyage-3 | 1024 | $0.09 | 好 |
| Cohere Embed v3 | 1024 | $0.10 | 一般 |
选型原则
英文内容为主 → OpenAI embedding(性价比最好) 中文或多语言 → BGE-M3(开源免费,中文榜第一) 长文档(>8K tokens)→ Voyage-3(上下文窗口最大)
总结
Embedding模型不能随便选。先看你的数据是什么语言,再决定用哪个模型。 中文数据用BGE-M3,英文用OpenAI。
实际对比
我用同样的100份中文技术文档分别用OpenAI和BGE-M3做了检索测试: - OpenAI text-embedding-3-small:准确率78%,每次调用$0.00002 - BGE-M3:准确率91%,免费自托管
结论很明显:中文数据用BGE-M3,精度更高还免费。但英文文档上OpenAI的精度反超BGE约5%。
维度选择建议
| 数据量 | 推荐维度 | 原因 |
|---|---|---|
| <10万条 | 256-512 | 够用,检索快 |
| 10-100万 | 768-1024 | 平衡性价比 |
| >100万 | 1536+ | 需要更多区分度 |
💬 评论 (0)