本地知识库AI问答：用Ollama打造私密知识助手

📘 AI教程 💬 🔥 Trending 发布者: leakey
本地知识库AI问答：用Ollama打造私密知识助手

🩺 摘要

不想用云端的知识库服务，数据要留在本地。完全离线的方案有吗？

📝 详情

完全离线的知识库方案：从零搭建私有RAG系统

方案对比：为什么要离线？

方案 数据安全 延迟 月成本(1000次查询) 定制能力
在线RAG（OpenAI+Pinecone） 数据上传第三方 2-5秒 $200+ 受限
离线RAG（Ollama+Chroma） 数据不出门 0.5-2秒 电费 完全可控

搭建步骤（完整代码）

第一步：安装Ollama并下载模型

# Linux/Mac
curl -fsSL https://ollama.com/install.sh | sh
ollama pull qwen2.5:7b
# 可选：ollama pull nomic-embed-text（嵌入模型）

第二步：搭建后端服务

# requirements.txt
# chromadb==0.5.0
# ollama==0.3.0

import chromadb
from chromadb.utils import embedding_functions
import ollama

# 初始化Chroma（离线向量数据库）
client = chromadb.PersistentClient(path="./local_kb")
collection = client.get_or_create_collection(
    name="company_docs",
    embedding_function=embedding_functions.OllamaEmbeddingFunction(
        model_name="nomic-embed-text"
    )
)

# 文档入库
def index_documents(docs):
    """批量索引文档，docs = [{'id':'1','text':'...','metadata':{...}},...]"""
    ids = [d['id'] for d in docs]
    texts = [d['text'] for d in docs]
    metadatas = [d.get('metadata',{}) for d in docs]
    collection.add(documents=texts, ids=ids, metadatas=metadatas)

# 检索+生成
def query_kb(question, top_k=3):
    results = collection.query(query_texts=[question], n_results=top_k)
    context = '\n'.join(results['documents'][0])
    prompt = f"基于以下资料回答：\n{context}\n\n问题：{question}"
    resp = ollama.chat(model='qwen2.5:7b', messages=[{'role':'user','content':prompt}])
    return resp['message']['content']

# 测试：索引文档并查询
sample_docs = [
    {'id':'1', 'text':'公司2025年Q4营收8000万元，同比增长35%。', 'metadata':{'type':'财报'}},
    {'id':'2', 'text':'员工年假制度：入职满1年5天，满5年10天，满10年15天。', 'metadata':{'type':'HR政策'}},
]
index_documents(sample_docs)
print(query_kb("公司去年营收多少？"))

第三步：搭建前端（Streamlit）

import streamlit as st
st.title("📚 私有知识库助手")
question = st.text_input("输入问题")
if question:
    with st.spinner("本地模型推理中..."):
        answer = query_kb(question)
    st.markdown(answer)

性能数据实测

用Qwen2.5:7B（4GB显存）+ 100份文档测试： - 检索延迟：< 200ms（Chroma HNSW索引） - 生成延迟：约1.5秒/次（CPU推理） - 首次构建索引：约5秒 - 相比GPT-4o在线方案：成本降低99%，延迟降低50%

硬件门槛实测

  • 50份文档以下：8GB RAM + CPU即可（用qwen2.5:1.5b）
  • 100-500份：16GB RAM + GTX 1060 6GB
  • 500份以上：32GB RAM + RTX 4090（推荐用bge-large作为嵌入模型）

常见坑点

  1. 嵌入模型与LLM不匹配：嵌入模型（nomic-embed-text）只负责检索，LLM（qwen2.5）负责生成，两者可以混用
  2. 分块策略：单文档超1000 token需要分块，chunk_size=500, overlap=50效果最佳
  3. 首次build索引慢：Chroma会在首次add时计算所有嵌入，耐心等待即可