自建 AI 助教实测:接检索 60 道对 47 道

🔧 AI工具 2026-11-18 约 18 分钟阅读

只靠模型记忆的助教说话很顺,不引任何出处,三次里错两次。回答里没有任何信号告诉学生这是哪一种,出处也没法事后补。

📜 目录

同样六十道题、同一个模型、同一个温度。前面摆上四段检索到的原文,答对 47 道;只凭记忆,答对 21 道。对学生来说,第二种更危险,因为他分不出自己拿到的是哪一种。

这套东西小到可以称为一个 AI 学习平台:一份课程材料的检索索引,一句不许超纲作答的提示词。两千零六十七段原文,四十八篇维基条目,源数据集里一万零五百七十道题,抽了六十道来测。

几个部件与搭建成本

语料用 SQuAD 的 dev 集:维基百科段落,每题都有标注答案和所属段落。段落长度中位数 700 字符,正好适合做检索单元,也够四段塞进一次提示。

索引是纯 Python 的 BM25,零依赖。2,067 段、22,892 个词项,建索引 0.32 秒,单次查询 4.9 毫秒,单核。三百人的课,建索引和改书单重排都不花钱。

生成部分温度 0,每题一次调用,四段原文编号 [1] 到 [4],要求第一行抄最短的答案短语、第二行写所引编号,答不出就写 NOT_IN_CONTEXT。评分用完全命中与词元 F1 对照标准答案,另有一次调用判断答案是否与任一可接受答案同义。

检索换来了什么

检索到段落再答不检索、靠模型记忆
完全命中61.7%15.0%
词元 F10.7480.303
判官判对47 / 6021 / 60
拒答10 / 600 / 60
每题输入 token72838
每题输出 token8.33.0
耗时1.4 秒1.3 秒

完全命中从 15% 抬到 62%。差别不只在准确率:十道题选择拒答而不是硬猜,其中七道的标准段落根本没进前四,拒答是对的,不算失误。

五十道作答的题里 F1 是 0.891,判对 47 道。三道错的中,一道的标准段落没检索到,模型仍然作答,答错。这正是那句「答不出就说答不出」要拦的情况。

检索在哪里丢

标准段落排第一的占 78.3%,进前四的占 86.7%。六十道里丢八道,丢的位置很固定:问题讲的是关系,不是词。有一道问一段被形容为幸福成功的婚姻,标准段落里写的是 clerical marriage,除了 marriage 与问题没有一个词重合。纯词面检索进不去。

五道里四道能把标准段落排到第一,这就是为什么先上朴素索引值得。向量检索大概率能救回 clerical marriage 这类,同时带来一个托管依赖、每次改书单都要重算的向量化,以及一笔账。这里量出来的八道,正好是向量索引要打败的基线。

引用,老师唯一会查的那项

五十条作答里,四十七条引的正是含标准答案的那段,三条引了相邻段落。课堂工具里,老师会核的就是这一项;94% 够在每个答案下面挂一行出处,前提是那行能点开,且指向一段而不是一本书。

钱这笔账

一千道题,每百万输入 0.30 美元、输出 1.20 美元成本
接检索,高峰价0.228 美元
接检索,低谷价0.114 美元
不检索,高峰价0.015 美元

每千道题,接检索比不接贵十五倍。换成每千道「答对的题」,接检索仍然更贵:29 美分对 4.3 美分,因为不接检索那路用近乎为零的成本答对了三分之一。只算钱,检索是输的。

这笔钱买的是十次拒答和另外五十条答案下面那行出处。一个三分之二概率答错、并且从不承认的系统确实更便宜,也确实不能用。每千题 0.228 美元的量级,两百名学生每周各问五道,一周一分钱,账永远不是争论点。

干活的是那句提示词

没有思维链,没有示例,就一段话:

Answer from the passages only. Line 1: the answer phrase, as short as possible, copied from a passage. Line 2: the passage number in brackets. If the answer is not in the passages, line 1 is exactly NOT_IN_CONTEXT.

两行都有用。要求抄短语,模型必须去定位答案而不是绕着复述,完全命中率因此上来,引用也变得可核。要求写编号,答案不用第二个模型就能查证。把 NOT_IN_CONTEXT 当成一等输出,系统才有办法说「书单里没有这一段」,这对学生是最有用的回答之一。

实际跑的索引

import math, re

STOP = set("a an the of in on at to for and or is are was were be it its this with as by from".split())

def tokens(s):
    return [w for w in re.findall(r"[a-z0-9]+", s.lower()) if w not in STOP]

class BM25:
    def __init__(self, docs, k1=1.5, b=0.75):
        self.k1, self.b = k1, b
        self.d = [tokens(x) for x in docs]
        self.len = [len(t) for t in self.d]
        self.avg = sum(self.len) / len(self.len)
        self.tf = [{w: t.count(w) for w in set(t)} for t in self.d]
        self.df = {}
        for t in self.d:
            for w in set(t):
                self.df[w] = self.df.get(w, 0) + 1
        self.N = len(self.d)

    def top(self, query, k=4):
        qt = tokens(query)
        out = []
        for i, tf in enumerate(self.tf):
            s = 0.0
            for w in qt:
                if w in tf:
                    idf = math.log(1 + (self.N - self.df[w] + 0.5) / (self.df[w] + 0.5))
                    s += idf * tf[w] * (self.k1 + 1) / (tf[w] + self.k1 * (1 - self.b + self.b * self.len[i] / self.avg))
            out.append((s, i))
        out.sort(reverse=True)
        return [i for _, i in out[:k]]

检索是全表扫描,故意的:一个班几千段,4.9 毫秒不是瓶颈,扫描也没有会写坏的索引。等书单涨到几千页再换向量库,不是之前。

这次测试的边界

六十道题、一个模型、一个检索器。SQuAD 的题是人看着段落写出来的,与答案段落共用词汇,这会抬高词面检索的成绩;学生真问的问题更乱,recall@4 会掉。语料是维基百科正文,不是讲义、带公式的 PDF 或幻灯片,后者的段落边界更糟,光是抽干净文本就是半个工程。

判官和答题模型同厂,一致不能算独立证据,所以这里更硬的数是完全命中与 F1,两者指向一致。没上重排、没做查询改写、没有跨段重叠,每加一样都会动召回,也都要多跑一个部件。

同样的道理换成合同材料量过一遍,在条款切块与整份合同:关键词检索把 token 砍了 83%,也丢了三十二条里的八条,因为预筛找的是错的词汇。现成的平台清单与「自建到哪里开始不免费」,在免费的 AI 学习平台;如果你要的是出题而不是答疑,从零成本的出题工具那篇开始。

带走一句:四段 BM25 段落加一句「答不出就说不行」,把同一个模型从六十道里对二十一道,抬到对四十七道,每千题 0.23 美元。

相关文章

延伸阅读 · 含推广链接

自己配环境的时间往往比写代码还长。现成镜像装好就能起,省下的是反复调试的那几个小时。

看现成镜像 →

相关文章
2026-08-29
2026图卢兹最佳AI工程助手:6款航空航天团队工具
2026-07-24
2026年最佳AI文档处理工具
2026-11-22
AI 出题遇到表格:60 道照抄格子,18 道算出没单位的数
2026-07-24
无需注册的免费AI图像生成器
2026-09-28
2026马德里最佳AI简历工具:西班牙求职市场的6种选择
2026-08-22
2026 清迈最佳 AI 效率应用:6 款数字游民工具

本站文章由编辑人工撰写,收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库,仅作信息参考,不构成付费推广。

💬 评论 (0)

暂无评论,来说两句吧~

登录后评论