自建 AI 助教实测:接检索 60 道对 47 道
只靠模型记忆的助教说话很顺,不引任何出处,三次里错两次。回答里没有任何信号告诉学生这是哪一种,出处也没法事后补。
同样六十道题、同一个模型、同一个温度。前面摆上四段检索到的原文,答对 47 道;只凭记忆,答对 21 道。对学生来说,第二种更危险,因为他分不出自己拿到的是哪一种。
这套东西小到可以称为一个 AI 学习平台:一份课程材料的检索索引,一句不许超纲作答的提示词。两千零六十七段原文,四十八篇维基条目,源数据集里一万零五百七十道题,抽了六十道来测。
几个部件与搭建成本
语料用 SQuAD 的 dev 集:维基百科段落,每题都有标注答案和所属段落。段落长度中位数 700 字符,正好适合做检索单元,也够四段塞进一次提示。
索引是纯 Python 的 BM25,零依赖。2,067 段、22,892 个词项,建索引 0.32 秒,单次查询 4.9 毫秒,单核。三百人的课,建索引和改书单重排都不花钱。
生成部分温度 0,每题一次调用,四段原文编号 [1] 到 [4],要求第一行抄最短的答案短语、第二行写所引编号,答不出就写 NOT_IN_CONTEXT。评分用完全命中与词元 F1 对照标准答案,另有一次调用判断答案是否与任一可接受答案同义。
检索换来了什么
| 检索到段落再答 | 不检索、靠模型记忆 | |
|---|---|---|
| 完全命中 | 61.7% | 15.0% |
| 词元 F1 | 0.748 | 0.303 |
| 判官判对 | 47 / 60 | 21 / 60 |
| 拒答 | 10 / 60 | 0 / 60 |
| 每题输入 token | 728 | 38 |
| 每题输出 token | 8.3 | 3.0 |
| 耗时 | 1.4 秒 | 1.3 秒 |
完全命中从 15% 抬到 62%。差别不只在准确率:十道题选择拒答而不是硬猜,其中七道的标准段落根本没进前四,拒答是对的,不算失误。
五十道作答的题里 F1 是 0.891,判对 47 道。三道错的中,一道的标准段落没检索到,模型仍然作答,答错。这正是那句「答不出就说答不出」要拦的情况。
检索在哪里丢
标准段落排第一的占 78.3%,进前四的占 86.7%。六十道里丢八道,丢的位置很固定:问题讲的是关系,不是词。有一道问一段被形容为幸福成功的婚姻,标准段落里写的是 clerical marriage,除了 marriage 与问题没有一个词重合。纯词面检索进不去。
五道里四道能把标准段落排到第一,这就是为什么先上朴素索引值得。向量检索大概率能救回 clerical marriage 这类,同时带来一个托管依赖、每次改书单都要重算的向量化,以及一笔账。这里量出来的八道,正好是向量索引要打败的基线。
引用,老师唯一会查的那项
五十条作答里,四十七条引的正是含标准答案的那段,三条引了相邻段落。课堂工具里,老师会核的就是这一项;94% 够在每个答案下面挂一行出处,前提是那行能点开,且指向一段而不是一本书。
钱这笔账
| 一千道题,每百万输入 0.30 美元、输出 1.20 美元 | 成本 |
|---|---|
| 接检索,高峰价 | 0.228 美元 |
| 接检索,低谷价 | 0.114 美元 |
| 不检索,高峰价 | 0.015 美元 |
每千道题,接检索比不接贵十五倍。换成每千道「答对的题」,接检索仍然更贵:29 美分对 4.3 美分,因为不接检索那路用近乎为零的成本答对了三分之一。只算钱,检索是输的。
这笔钱买的是十次拒答和另外五十条答案下面那行出处。一个三分之二概率答错、并且从不承认的系统确实更便宜,也确实不能用。每千题 0.228 美元的量级,两百名学生每周各问五道,一周一分钱,账永远不是争论点。
干活的是那句提示词
没有思维链,没有示例,就一段话:
Answer from the passages only. Line 1: the answer phrase, as short as possible, copied from a passage. Line 2: the passage number in brackets. If the answer is not in the passages, line 1 is exactly NOT_IN_CONTEXT.
两行都有用。要求抄短语,模型必须去定位答案而不是绕着复述,完全命中率因此上来,引用也变得可核。要求写编号,答案不用第二个模型就能查证。把 NOT_IN_CONTEXT 当成一等输出,系统才有办法说「书单里没有这一段」,这对学生是最有用的回答之一。
实际跑的索引
import math, re
STOP = set("a an the of in on at to for and or is are was were be it its this with as by from".split())
def tokens(s):
return [w for w in re.findall(r"[a-z0-9]+", s.lower()) if w not in STOP]
class BM25:
def __init__(self, docs, k1=1.5, b=0.75):
self.k1, self.b = k1, b
self.d = [tokens(x) for x in docs]
self.len = [len(t) for t in self.d]
self.avg = sum(self.len) / len(self.len)
self.tf = [{w: t.count(w) for w in set(t)} for t in self.d]
self.df = {}
for t in self.d:
for w in set(t):
self.df[w] = self.df.get(w, 0) + 1
self.N = len(self.d)
def top(self, query, k=4):
qt = tokens(query)
out = []
for i, tf in enumerate(self.tf):
s = 0.0
for w in qt:
if w in tf:
idf = math.log(1 + (self.N - self.df[w] + 0.5) / (self.df[w] + 0.5))
s += idf * tf[w] * (self.k1 + 1) / (tf[w] + self.k1 * (1 - self.b + self.b * self.len[i] / self.avg))
out.append((s, i))
out.sort(reverse=True)
return [i for _, i in out[:k]]
检索是全表扫描,故意的:一个班几千段,4.9 毫秒不是瓶颈,扫描也没有会写坏的索引。等书单涨到几千页再换向量库,不是之前。
这次测试的边界
六十道题、一个模型、一个检索器。SQuAD 的题是人看着段落写出来的,与答案段落共用词汇,这会抬高词面检索的成绩;学生真问的问题更乱,recall@4 会掉。语料是维基百科正文,不是讲义、带公式的 PDF 或幻灯片,后者的段落边界更糟,光是抽干净文本就是半个工程。
判官和答题模型同厂,一致不能算独立证据,所以这里更硬的数是完全命中与 F1,两者指向一致。没上重排、没做查询改写、没有跨段重叠,每加一样都会动召回,也都要多跑一个部件。
同样的道理换成合同材料量过一遍,在条款切块与整份合同:关键词检索把 token 砍了 83%,也丢了三十二条里的八条,因为预筛找的是错的词汇。现成的平台清单与「自建到哪里开始不免费」,在免费的 AI 学习平台;如果你要的是出题而不是答疑,从零成本的出题工具那篇开始。
带走一句:四段 BM25 段落加一句「答不出就说不行」,把同一个模型从六十道里对二十一道,抬到对四十七道,每千题 0.23 美元。
相关文章
本站文章由编辑人工撰写,收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库,仅作信息参考,不构成付费推广。