AI出题验收:六项检查,用人写的15,214道题当基准
生成的题逐道看没问题,整份看就出毛病:答案堆在一个字母上,对的写得比错的长,两道题考同一个句子。
AI 出题器八秒钟给二十道看着能用的题。没人有时间把二十道读两遍,于是这套题原样进课堂,出错的时候表现为成绩难看,而不是题目难看。要拦住它,得有一个一秒钟跑完的关卡,只回答一个窄问题:这份导出像试卷,还是像语言模型在凑四个选项。
我用 15,214 道人写的题量了一回真试卷长什么样:MMLU 测试集 14,042 道四项选择题,覆盖 57 个科目;ARC-Challenge 测试集 1,172 道美国学校科学题,其中 1,165 道是四项。所有数字都是 2026 年 11 月 17 日对着公开 parquet 文件跑出来的。然后我把同样的计数器做成脚本,在一份 300 道的切片上跑一遍,又在那份切片上照模型的样子做了手脚,再跑一遍。
人写的题库,九项计数长这样
| 检查项 | MMLU 14,042 道 | ARC-Challenge 1,172 道 | 什么情况下报警 |
|---|---|---|---|
| 正确选项的字母分布 | A 22.9 / B 24.7 / C 25.5 / D 26.9 | 22.6 / 26.5 / 26.5 / 24.4 | 某一字母超 40%,极差超 15 个点 |
| 最长选项就是答案 | 11,682 道有唯一最长项,命中 3,332 道,28.5% | 947 道,命中 256 道,27.0% | 超过 40% |
| 答案落在最长两项里 | 53.8% | 57.0% | 超过 80% |
| 答案均长 vs 干扰项均长 | 43.2 字符 vs 41.5,差 1.8 | 30.2 vs 28.8,差 1.4 | 差 15 个字符以上 |
| 题干含 not 或 except | 2,219 道,15.8% | 79 道,6.7% | 超过 30% |
| 清洗后题干重复 | 184 道,1.3% | 2 道,0.2% | 超过 5% |
| 题干前八个单词相同 | 2,002 道,14.3% | 6 道,0.5% | 超过 30% |
| 有个干扰项几乎复述答案 | 2,443 道,20.2% | 143 道,12.8% | 超过 40% |
| 每题的选项个数 | 全部四项 | 四项 1,165 道,三项 4 道,五项 3 道 | 一份导出里个数混杂 |
里面四个数字最值得细看,因为它们解释了这几个检查为什么有用。
正确项字母几乎是平的。MMLU 把 22.9% 的答案放在 A,26.9% 放在 D,14,042 道题里极差只有 4.0 个百分点。ARC 的极差是 3.9 个百分点。出题人是有意轮换的。一套生成的题把六成答案堆在 B 上,不是更难,是更好猜,学生只要发现这个规律,不读材料也能拿六十分。
答案比干扰项略长,但只长一点点。MMLU 的答案平均 43.2 个字符,另外三个选项平均 41.5,差 1.8 个字符。所以"选最长的那项"只拿到 28.5%,离瞎猜的 25% 只高一点,和本站上一次长度审计的结论一致。模型如果给正确答案写一整个从句、给错误答案写两个标签,这个差会拉到几十个字符,命中率接近九成。计数器一行输出就能看见。
否定式题干比老师以为的少。MMLU 里 15.8% 的题干带 not、except 或 false,ARC 只有 6.7%。这类题最容易在课堂上吵起来,因为双重否定能躲过拼写检查。一套生成的题如果超过三成,不是严谨,是同一个句式在反复用。
真题库的开头重复得比正文多。清洗之后,MMLU 只有 184 道完全重复,1.3%。但有 2,002 道、14.3% 的题目前八个单词和另一道一样——"下面哪一项最准确地描述了"是模板,不是抄袭。所以查重必须严格定义什么算重复,否则每一份历史卷都会报警。
还有一个数字只对要上扫描机的人有意义:ARC 里有三道题五个选项,四道题三个选项。1,172 道里七道,而这七道恰好是答题卡读不出来的那类。选项个数一致性是个很无聊的检查,但它能抓到真故障,因为 AI 导出把三项、四项、五项混在一个文件里的事情比想象中多。
同一套检查做成脚本,喂自己的导出就能跑
上面那些计数器,压缩成八项、只用标准库,读一份 JSON 导出,打印百分比。把出题器给你的文件喂进去,或者把 CSV 转成这个格式。
#!/usr/bin/env python3
# quizcheck.py -> python3 quizcheck.py items.json
# items.json: [{"stem": "...", "options": ["a","b","c","d"], "key": 2}, ...]
# key 可以是 0 起的下标,也可以是字母 A-D
import json, re, sys, collections
STOP = set("the a an of to in for on with and or is are was were be been by as at from it its which that this "
"following statements statement question answer correct true false best most likely according".split())
NEG = re.compile(r"(not|except|incorrect|false|least)", re.I)
def words(s):
out = []
for w in re.findall(r"[A-Za-z][A-Za-z\-]+", s.lower()):
if len(w) > 2 and w not in STOP:
out.append(w[:-1] if len(w) > 4 and w.endswith("s") and not w.endswith("ss") else w)
return out
def key_index(item, n):
k = item.get("key")
if isinstance(k, int):
return k if 0 <= k < n else None
k = str(k).strip().upper()
return "ABCDE".index(k) if len(k) == 1 and k in "ABCDE"[:n] else None
items = [i for i in json.load(open(sys.argv[1])) if len(i["options"]) == 4]
keyed = [(i, k) for i, k in [(i, key_index(i, 4)) for i in items] if k is not None]
pos = collections.Counter(k for _, k in keyed)
print("answer letters ", {c: round(100.0*pos.get(j,0)/len(keyed), 1) for j, c in enumerate("ABCD")})
uniq = hits = two = 0
for i, k in keyed:
L = [len(o.strip()) for o in i["options"]]
if L.count(max(L)) == 1:
uniq += 1
hits += L.index(max(L)) == k
if k in sorted(range(4), key=lambda j: -L[j])[:2]:
two += 1
print("longest is key", round(100.0*hits/uniq, 1), " in two longest", round(100.0*two/len(keyed), 1))
norm = [re.sub(r"\s+", " ", re.sub(r"[^a-z0-9 ]", "", i["stem"].lower())).strip() for i in items]
dup = sum(c-1 for c in collections.Counter(norm).values() if c > 1)
print("duplicate stems", round(100.0*dup/len(items), 1), " negation",
round(100.0*sum(1 for i in items if NEG.search(i["stem"]))/len(items), 1))
amb = 0
for i, k in keyed:
kc = set(words(i["options"][k]))
worst = 0.0
for j in range(4):
if j == k or not kc:
continue
dc = set(words(i["options"][j]))
if dc:
worst = max(worst, len(kc & dc)/len(kc | dc))
amb += worst >= 0.6
print("key-option overlap", round(100.0*amb/len(keyed), 1), " items", len(items))
2026 年 11 月 17 日拿 300 道 MMLU 题目跑,输出是:字母 19.0 / 23.3 / 31.7 / 26.0,最长项命中 25.6%,答案在最长两项里 55.3%,重复 1.0%,否定式 6.3%,答案与干扰项重叠 16.7%。全部落在人写的区间内,一条警告都没触发,干净题库就该是这样。
然后我照着模型的路子改了同一份切片:把正确答案挪到第一位,再给它加一句解释性的补充。脚本打印出 A 100.0%、最长项命中 99.3%,两条警告同时亮。这项检查抓住了一套人工扫一遍会放过的题,因为老师逐题看的时候不会去数答案落在 A 上多少次。
怎么读这个结果,又不至于读过头
这些计数器测的是导出的形状,不是教学价值。八项全过的题也可能全在考边角料;挂一项的题也可能完全可用——MMLU 里 20.2% 的题都有一个干扰项在复述答案的用词,而 MMLU 是有人专门发论文的基准。警告的意思是"打开十道读一读",不是判决书。
最省时间的顺序:先看字母分布和长度,这两项抓的是真伤人的那种毛病——不读材料也能拿分;再看重复,一份卷子内部撞题,学生会发现,很尴尬;然后是否定式,它预测的是争吵;重叠那项放最后,也最不决定性。
两个限制要说清楚。基准来自两个题库,职业考、语言考可能不在这个区间,最稳的做法是先量自己的旧卷子,用你自己的数当基准,脚本不关心题目从哪来。另外这些都替代不了闭卷测试:把材料收走,自己把题做一遍。一套题十分钟,能抓到脚本看不见的那种毛病——答案是常识题。
本站相关的几篇:15,186 道题与词重叠泄漏规则、AI 出题器把答案放在哪、重新生成会回来什么、十道题到底覆盖几个句子。
相关文章
本站文章由编辑人工撰写,收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库,仅作信息参考,不构成付费推广。