AI出题验收:六项检查,用人写的15,214道题当基准

🔧 AI工具 2026-11-17 约 20 分钟阅读

生成的题逐道看没问题,整份看就出毛病:答案堆在一个字母上,对的写得比错的长,两道题考同一个句子。

📜 目录

AI 出题器八秒钟给二十道看着能用的题。没人有时间把二十道读两遍,于是这套题原样进课堂,出错的时候表现为成绩难看,而不是题目难看。要拦住它,得有一个一秒钟跑完的关卡,只回答一个窄问题:这份导出像试卷,还是像语言模型在凑四个选项。

我用 15,214 道人写的题量了一回真试卷长什么样:MMLU 测试集 14,042 道四项选择题,覆盖 57 个科目;ARC-Challenge 测试集 1,172 道美国学校科学题,其中 1,165 道是四项。所有数字都是 2026 年 11 月 17 日对着公开 parquet 文件跑出来的。然后我把同样的计数器做成脚本,在一份 300 道的切片上跑一遍,又在那份切片上照模型的样子做了手脚,再跑一遍。

人写的题库,九项计数长这样

检查项MMLU 14,042 道ARC-Challenge 1,172 道什么情况下报警
正确选项的字母分布A 22.9 / B 24.7 / C 25.5 / D 26.922.6 / 26.5 / 26.5 / 24.4某一字母超 40%,极差超 15 个点
最长选项就是答案11,682 道有唯一最长项,命中 3,332 道,28.5%947 道,命中 256 道,27.0%超过 40%
答案落在最长两项里53.8%57.0%超过 80%
答案均长 vs 干扰项均长43.2 字符 vs 41.5,差 1.830.2 vs 28.8,差 1.4差 15 个字符以上
题干含 not 或 except2,219 道,15.8%79 道,6.7%超过 30%
清洗后题干重复184 道,1.3%2 道,0.2%超过 5%
题干前八个单词相同2,002 道,14.3%6 道,0.5%超过 30%
有个干扰项几乎复述答案2,443 道,20.2%143 道,12.8%超过 40%
每题的选项个数全部四项四项 1,165 道,三项 4 道,五项 3 道一份导出里个数混杂

里面四个数字最值得细看,因为它们解释了这几个检查为什么有用。

正确项字母几乎是平的。MMLU 把 22.9% 的答案放在 A,26.9% 放在 D,14,042 道题里极差只有 4.0 个百分点。ARC 的极差是 3.9 个百分点。出题人是有意轮换的。一套生成的题把六成答案堆在 B 上,不是更难,是更好猜,学生只要发现这个规律,不读材料也能拿六十分。

答案比干扰项略长,但只长一点点。MMLU 的答案平均 43.2 个字符,另外三个选项平均 41.5,差 1.8 个字符。所以"选最长的那项"只拿到 28.5%,离瞎猜的 25% 只高一点,和本站上一次长度审计的结论一致。模型如果给正确答案写一整个从句、给错误答案写两个标签,这个差会拉到几十个字符,命中率接近九成。计数器一行输出就能看见。

否定式题干比老师以为的少。MMLU 里 15.8% 的题干带 not、except 或 false,ARC 只有 6.7%。这类题最容易在课堂上吵起来,因为双重否定能躲过拼写检查。一套生成的题如果超过三成,不是严谨,是同一个句式在反复用。

真题库的开头重复得比正文多。清洗之后,MMLU 只有 184 道完全重复,1.3%。但有 2,002 道、14.3% 的题目前八个单词和另一道一样——"下面哪一项最准确地描述了"是模板,不是抄袭。所以查重必须严格定义什么算重复,否则每一份历史卷都会报警。

还有一个数字只对要上扫描机的人有意义:ARC 里有三道题五个选项,四道题三个选项。1,172 道里七道,而这七道恰好是答题卡读不出来的那类。选项个数一致性是个很无聊的检查,但它能抓到真故障,因为 AI 导出把三项、四项、五项混在一个文件里的事情比想象中多。

同一套检查做成脚本,喂自己的导出就能跑

上面那些计数器,压缩成八项、只用标准库,读一份 JSON 导出,打印百分比。把出题器给你的文件喂进去,或者把 CSV 转成这个格式。

#!/usr/bin/env python3
# quizcheck.py  ->  python3 quizcheck.py items.json
# items.json: [{"stem": "...", "options": ["a","b","c","d"], "key": 2}, ...]
# key 可以是 0 起的下标,也可以是字母 A-D
import json, re, sys, collections

STOP = set("the a an of to in for on with and or is are was were be been by as at from it its which that this "
           "following statements statement question answer correct true false best most likely according".split())
NEG = re.compile(r"(not|except|incorrect|false|least)", re.I)

def words(s):
    out = []
    for w in re.findall(r"[A-Za-z][A-Za-z\-]+", s.lower()):
        if len(w) > 2 and w not in STOP:
            out.append(w[:-1] if len(w) > 4 and w.endswith("s") and not w.endswith("ss") else w)
    return out

def key_index(item, n):
    k = item.get("key")
    if isinstance(k, int):
        return k if 0 <= k < n else None
    k = str(k).strip().upper()
    return "ABCDE".index(k) if len(k) == 1 and k in "ABCDE"[:n] else None

items = [i for i in json.load(open(sys.argv[1])) if len(i["options"]) == 4]
keyed = [(i, k) for i, k in [(i, key_index(i, 4)) for i in items] if k is not None]

pos = collections.Counter(k for _, k in keyed)
print("answer letters  ", {c: round(100.0*pos.get(j,0)/len(keyed), 1) for j, c in enumerate("ABCD")})

uniq = hits = two = 0
for i, k in keyed:
    L = [len(o.strip()) for o in i["options"]]
    if L.count(max(L)) == 1:
        uniq += 1
        hits += L.index(max(L)) == k
    if k in sorted(range(4), key=lambda j: -L[j])[:2]:
        two += 1
print("longest is key", round(100.0*hits/uniq, 1), " in two longest", round(100.0*two/len(keyed), 1))

norm = [re.sub(r"\s+", " ", re.sub(r"[^a-z0-9 ]", "", i["stem"].lower())).strip() for i in items]
dup = sum(c-1 for c in collections.Counter(norm).values() if c > 1)
print("duplicate stems", round(100.0*dup/len(items), 1), " negation",
      round(100.0*sum(1 for i in items if NEG.search(i["stem"]))/len(items), 1))

amb = 0
for i, k in keyed:
    kc = set(words(i["options"][k]))
    worst = 0.0
    for j in range(4):
        if j == k or not kc:
            continue
        dc = set(words(i["options"][j]))
        if dc:
            worst = max(worst, len(kc & dc)/len(kc | dc))
    amb += worst >= 0.6
print("key-option overlap", round(100.0*amb/len(keyed), 1), " items", len(items))

2026 年 11 月 17 日拿 300 道 MMLU 题目跑,输出是:字母 19.0 / 23.3 / 31.7 / 26.0,最长项命中 25.6%,答案在最长两项里 55.3%,重复 1.0%,否定式 6.3%,答案与干扰项重叠 16.7%。全部落在人写的区间内,一条警告都没触发,干净题库就该是这样。

然后我照着模型的路子改了同一份切片:把正确答案挪到第一位,再给它加一句解释性的补充。脚本打印出 A 100.0%、最长项命中 99.3%,两条警告同时亮。这项检查抓住了一套人工扫一遍会放过的题,因为老师逐题看的时候不会去数答案落在 A 上多少次。

怎么读这个结果,又不至于读过头

这些计数器测的是导出的形状,不是教学价值。八项全过的题也可能全在考边角料;挂一项的题也可能完全可用——MMLU 里 20.2% 的题都有一个干扰项在复述答案的用词,而 MMLU 是有人专门发论文的基准。警告的意思是"打开十道读一读",不是判决书。

最省时间的顺序:先看字母分布和长度,这两项抓的是真伤人的那种毛病——不读材料也能拿分;再看重复,一份卷子内部撞题,学生会发现,很尴尬;然后是否定式,它预测的是争吵;重叠那项放最后,也最不决定性。

两个限制要说清楚。基准来自两个题库,职业考、语言考可能不在这个区间,最稳的做法是先量自己的旧卷子,用你自己的数当基准,脚本不关心题目从哪来。另外这些都替代不了闭卷测试:把材料收走,自己把题做一遍。一套题十分钟,能抓到脚本看不见的那种毛病——答案是常识题。

本站相关的几篇:15,186 道题与词重叠泄漏规则、AI 出题器把答案放在哪、重新生成会回来什么、十道题到底覆盖几个句子。

相关文章

延伸阅读 · 含推广链接

跑通原型和长期挂着跑是两件事。按量计费起一台,用完释放,不用为闲置的机器付整月。

看按量计费价格 →

相关文章
2026-08-23
2026 最佳 AI 视频生成器:7 款产品演示视频工具
2026-07-27
最佳AI笔记应用
2026-08-16
2026 芝加哥最佳 AI 日程助手:咨询顾问与大型企业的 6 款工具
2026-08-18
2026 Airbnb 房东最佳 AI 室内设计工具:6 款让房源脱颖而出
2026-08-23
2026 马拉加最佳 AI 职业照生成器:6 款数字游民和远程工作者工具
2026-11-17
Qwen4-Max 今天发布:单任务便宜六成,我更期待的是能本地部署的 27B

本站文章由编辑人工撰写,收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库,仅作信息参考,不构成付费推广。

💬 评论 (0)

暂无评论,来说两句吧~

登录后评论