AI应用A/B测试：哪个Prompt更好？数据说话

为什么AI需要A/B测试

普通A/B测试：按钮颜色A vs 按钮颜色B → 哪个点击率高？ AI A/B测试：Prompt版本A vs Prompt版本B → 哪个回答质量好？

AI应用里改个Prompt，影响可能很大。不测不知道。

怎么测

方案一：人工评估

import random

prompts = {
    "A": "你是一个客服。回答用户问题。",
    "B": "你是一个专业客服。用热情友好的语气回答用户问题，每次回复不超过3句话。"
}

answers = []
for i in range(100):
    version = random.choice(["A", "B"])
    answer = call_llm(prompts[version], user_question)
    answers.append({"version": version, "answer": answer})

# 让自己或团队评分

方案二：LLM自动评估

def evaluate_answer(question, answer):
    prompt = f"""从以下维度评价回答质量（1-10分）：
- 准确性：信息是否正确
- 完整性：是否回答了所有问题
- 语气：是否友好专业

问题：{question}
回答：{answer}
"""
    return int(call_llm(prompt))

方案三：用户行为指标

• 用户是否继续追问？（说明没答好）
• 用户是否点赞/点踩？
• 对话时长？

一句话

改Prompt不测等于蒙着眼睛开车。