本地知识库AI问答：用Ollama打造私密知识助手

📘 教程 2026-07-19 约 4 分钟阅读

不想用云端的知识库服务，数据要留在本地。完全离线的方案有吗？

💡 你将学到

不想用云端的知识库服务，数据要留在本地。完全离线的方案有吗？

📜 目录

完全离线的知识库方案：从零搭建私有RAG系统
方案对比：为什么要离线？
搭建步骤（完整代码）
性能数据实测
硬件门槛实测
常见坑点
相关文章

完全离线的知识库方案：从零搭建私有RAG系统

方案对比：为什么要离线？

方案	数据安全	延迟	月成本(1000次查询)	定制能力
在线RAG（OpenAI+Pinecone）	数据上传第三方	2-5秒	$200+	受限
离线RAG（Ollama+Chroma）	数据不出门	0.5-2秒	电费	完全可控

搭建步骤（完整代码）

第一步：安装Ollama并下载模型

# Linux/Mac
curl -fsSL https://ollama.com/install.sh | sh
ollama pull qwen2.5:7b
# 可选：ollama pull nomic-embed-text（嵌入模型）

第二步：搭建后端服务

# requirements.txt
# chromadb==0.5.0
# ollama==0.3.0

import chromadb
from chromadb.utils import embedding_functions
import ollama

# 初始化Chroma（离线向量数据库）
client = chromadb.PersistentClient(path="./local_kb")
collection = client.get_or_create_collection(
    name="company_docs",
    embedding_function=embedding_functions.OllamaEmbeddingFunction(
        model_name="nomic-embed-text"
    )
)

# 文档入库
def index_documents(docs):
    """批量索引文档，docs = [{'id':'1','text':'...','metadata':{...}},...]"""
    ids = [d['id'] for d in docs]
    texts = [d['text'] for d in docs]
    metadatas = [d.get('metadata',{}) for d in docs]
    collection.add(documents=texts, ids=ids, metadatas=metadatas)

# 检索+生成
def query_kb(question, top_k=3):
    results = collection.query(query_texts=[question], n_results=top_k)
    context = '\n'.join(results['documents'][0])
    prompt = f"基于以下资料回答：\n{context}\n\n问题：{question}"
    resp = ollama.chat(model='qwen2.5:7b', messages=[{'role':'user','content':prompt}])
    return resp['message']['content']

# 测试：索引文档并查询
sample_docs = [
    {'id':'1', 'text':'公司2025年Q4营收8000万元，同比增长35%。', 'metadata':{'type':'财报'}},
    {'id':'2', 'text':'员工年假制度：入职满1年5天，满5年10天，满10年15天。', 'metadata':{'type':'HR政策'}},
]
index_documents(sample_docs)
print(query_kb("公司去年营收多少？"))

第三步：搭建前端（Streamlit）

import streamlit as st
st.title("📚 私有知识库助手")
question = st.text_input("输入问题")
if question:
    with st.spinner("本地模型推理中..."):
        answer = query_kb(question)
    st.markdown(answer)