AI Agent语义缓存：意思相同的问题不要重复算

精确缓存 vs 语义缓存

精确缓存：输入完全一样才命中。命中率15-20%。

语义缓存：意思相近就算命中。命中率40-60%。

实现

from sentence_transformers import SentenceTransformer
import numpy as np

model = SentenceTransformer("BAAI/bge-small-zh-v1.5")
cache = {}

def semantic_get(query, threshold=0.92):
    q_vec = model.encode(query)
    for cached_q, response in cache.items():
        c_vec = model.encode(cached_q)
        sim = np.dot(q_vec, c_vec) / (np.linalg.norm(q_vec) * np.linalg.norm(c_vec))
        if sim > threshold:
            return response
    return None

效果

总结

语义缓存是Agent省钱最简单的手段。不用改任何业务逻辑，加一层缓存就行。