AI Agent提示压缩:长上下文缩到1/3,token省了信息还在

📘 AI教程 💬 🔥 Trending

🩺 摘要

System Prompt写了2000字,每次调用光prompt就花掉几百token。提示压缩把长度降到1/3,该记住的还在。

📝 详情

先算笔账:一个复杂的Agent系统Prompt+工具描述可能2000-3000 token。每次API调用这3000 token都在浪费钱——真正有用的只有最后的用户查询。

压缩什么

内容 压缩率 方法
工具描述 50% 去掉形容词,只留最少必要信息
Few-shot示例 70% 保留1-2个最关键示例
对话历史 60% 摘要代替完整记录
规则说明 40% 合并重复规则

实现

def compress_prompt(prompt: str) -> str:
    # 1. 移除注释
    prompt = remove_comments(prompt)
    # 2. 合并空行
    prompt = re.sub(r'\n{3,}', '\n\n', prompt)
    # 3. 精简描述
    prompt = shorten_tool_descriptions(prompt)
    return prompt

效果

优化前:单次调用约3000 token prompt 优化后:单次调用约1000 token prompt 省:每天1万次调用,省$20-50

总结

提示压缩是Agent成本优化里最被低估的手段。不是所有prompt内容都需要保留——把非核心的删掉,核心的保留。