2026年本地AI文档对话：AnythingLLM（6.4万星）对比 Khoj 与 PrivateGPT，离线与PDF聊天

AnythingLLM（64,364星）、Khoj（36,218星）和PrivateGPT（57,407星）让你在本地与PDF、笔记和代码对话——文档永远不出你的电脑。

💡 你将学到

AnythingLLM（64,364星）、Khoj（36,218星）和PrivateGPT（57,407星）让你在本地与PDF、笔记和代码对话——文档永远不出你的电脑。

直接给结论

AnythingLLM（64,364星，MIT）是最简单的一体化方案：桌面应用、Web界面、兼容Ollama/OpenAI/任何模型，还内置文档工作区。Khoj（36,218星，AGPL-3.0）是"第二大脑"——索引你的笔记、PDF甚至日历，并从中回答。PrivateGPT（57,407星，Apache-2.0）是开发者选项：本地模型RAG的API层，完全可控。

最快上手 - AnythingLLM桌面版

1. 从GitHub releases下载桌面应用（Windows/macOS/Linux）。
2. 启动Ollama（177,825星）并拉取模型：ollama pull llama3.1:8b
3. 在AnythingLLM设置里选择Ollama作为模型提供方并选中模型。
4. 创建工作区、上传PDF、开始聊天——它自动建好向量索引。

三者对比

真实数据

• AnythingLLM默认本地嵌入文档（免费、私密），支持10多种向量数据库。
• Khoj同步Obsidian、Notion、Google Docs等，手机也能聊。
• 16GB内存Mac跑8B模型约20-40 token/秒——文档问答绰绰有余。

FAQ

Q：需要显卡吗？ A：不需要——8B模型CPU也能跑（慢一些），Apple Silicon更好。笔记本弱就用3-4B模型。

Q：用哪个向量数据库？ A：AnythingLLM内置的LanceDB开箱即用；语料大用Qdrant/Chroma。

Q：能用云端模型吗？ A：能——三者都支持OpenAI/Anthropic API，但那样文档会发给API。