AI出题:一百二十个错项里,十七个材料从没提过
答案键没事,错项有事:一百二十个错项里十七个材料压根没提,学生只能靠「没看见」排除,而不是靠找到否掉它的那句话。受影响的十道题里七道,题干完全不锚定材料。
让[[出题工具](/post/ai-quiz-difficulty-label-calibration-20261113)](/post/ai-quiz-closed-book-test-20261112)交一批题,答案键通常是靠得住的。出问题的地方更安静,在另外三个选项上。其中有些不是「错」,是「没有」:材料里压根没写。只看材料的学生没有办法核对它,题目于是变成一道「你有没有注意到材料里没这句话」的题。
这次把四十道题的一百二十个错项逐个问了一遍,问的是:材料能反驳它、材料没提它、还是材料其实支持它。一百二十个里十七个材料从头到尾没提。四十道题里十道带着这样的错项。然后在出题指令里加一行,同样八段材料重跑一遍:零。
查法
八段一百一十七到一百三十四词的英文材料,为这次测试现写:潮汐锁定、纳米布沙漠的集雾甲虫、盾构机、咖啡因作为植物的防御物质、菲涅尔透镜、蜜蜂的摇摆舞、冻干速溶咖啡、死海。每段各调用一次 deepseek-flash,温度1.0,要五道四选一、恰有一个正确项,以 JSON 返回、答案写下标0到3。回来的四十道题全部是四个互不相同的选项加一个合法下标,没有一道被丢掉。
每个错项再单独发给 deepseek-v4-pro,温度0,材料、题干、选项一起给,只问一件事:材料与这个选项是冲突、沉默、还是支持。要求它抄出依据句。一百二十次调用里有六次返回空内容,三次重跑答出来了,三次是我自己读材料判的,下面点到的就是这三条。
错项到底是什么
| 错项与材料的关系 | 选项数 | 占比 |
|---|---|---|
| 材料里有一句能直接否掉它 | 102 | 85% |
| 材料既没写它,也没否它 | 17 | 14% |
| 材料支持它,但它不回答这道题 | 1 | 1% |
八成五这一档是好消息,比通常的抱怨要好:这批题里没有两道都能选的题。两个判卷模型 deepseek-flash 和 deepseek-v4-pro 各自拿到材料、各自选一个选项并抄出定案句,四十道全部与答案键一致。机器出的题毛病再多,这一批的键没出错,也没有哪道题存在第二个说得通的答案。
一成四这一档才会落到学生手上。举一道:「人类有哪些应用抄了这种甲虫的表面?」正确项是集雾网和自充水瓶的试验,材料里明写。另外两个干扰项是太阳能板和风机、海水淡化和灌溉管道,材料一个字没提。学生找不到能排除它们的句子,因为根本没有这样的句子,能用的只有「材料里没看见」——那是应试习惯,不是阅读能力。十道受影响的题里有七道,题干完全不锚定材料,这让问题更重:题面没有任何地方告诉学生,材料以外的知识不算数。
还有一道反着来的。问冻干为什么比喷雾干燥贵,有个干扰项是「颗粒的堆积密度更小」。材料确实写了颗粒更轻,所以这句是真的,但它仍然不是答案,因为它没有回答「为什么更贵」。这道题是公平的,也是出题模型撞出来的:选项为真,是因为它从材料里抄来的,不是因为有人核过它答不了这道题。
指令里的一行
补的办法不在输出端做过滤,在请求里加约束:每个错项都必须能被材料里的一句话否掉,材料压根没提的选项不许写。加上这一行,模型、温度、材料、题数都不动,新的一批用同一套办法审一遍。
| 默认指令 | 加一行之后 | |
|---|---|---|
| 题数 | 40 | 40 |
| 材料压根没提的错项 | 17 | 0 |
| 带这类错项的题 | 40道里10道 | 40道里0道 |
| 题干里明写 According to the passage | 10道 | 14道 |
| 正确项是最长选项 | 40道里24道,60% | 40道里19道,48% |
| 选项平均字符数 | 37.0 | 52.7 |
| 两遍都出现的题干 | 40道里1道 | |
同样八段材料,十七降到零。两个说明留着,别把话说满。四十道题里只有一道题干在两遍里都出现,所以这不是同一批题被修好了,是指令变了、题也跟着变了,比的是两套指令,不是一批题和它的补丁。另外选项变长了,平均从37个字符到52.7个,因为可被材料否掉的干扰项必须带上让它能被否掉的那个细节。
选项变长,并没有把「挑最长」这条线索放大。默认那批里正确项是最长项的占二十四道,60%;加了限制之后是十九道,48%,因为干扰项跟着一起变长了。这跟通常的取舍相反,也说明这件事得量,别推:早前那批八十道题里,只看选项长度就能蒙对28.6%。
最费时间的那个坑
加限制那一批第一次跑,八段材料里有三段一道题都没回来。调用是成功的,内容是空的。原因是 token 预算:默认推理档会把额度吃掉,可见的答案在两千六百个 token 的帽子下根本没出来,而空字符串解析出来是「没有」而不是「报错」,损失是无声的。把推理档降到 low、帽子上到九千,八段材料全回来了,四十道题。第一批那120次审核调用里也有五次是同一个毛病。
由此两个习惯。每段材料回来就把题数打出来,无声的零才会露头,不至于混进总数。截断的数组不要救:要五道只回来四道,通常是响应被截断,前四道是好的、第五道缺了,这种缺口往往等卷子发下去才被发现。
可以照抄的配置
出题指令,中间那行是关键:
Write {n} multiple-choice questions about the passage below.
- Four options each, exactly one correct.
- Answerable from the passage alone.
- Every wrong option must be refutable by citing a specific sentence
of the passage. Do not write a wrong option that the passage simply
never mentions.
- Vary the position of the correct option.
Return JSON: {"items":[{"stem":"...","options":["..."],"answer":0}]}
审核的提示词比出题还短:材料、题干、选项,三个标签,加一条「必须抄依据句」。contradicted 是有句子与它冲突,absent 是材料沉默,supported 是材料支持它。要求抄句子,标签才有得核;不要求,判官会毫不犹豫地把一个没提过的选项判成冲突。脚本 distractor_audit.py,只用标准库,12路并发,120个选项大约两分钟。
这测不出什么
出题和判卷都是 DeepSeek 一家,审核标签是模型的判断,不是老师的判断。标出来的十道我逐条读过材料,十条都同意,但这只核了这十条。材料是英文说明文,中文材料没测,没提过的比例可能不一样。四十道题是小样本,25% 到零这个差距只来自同样八段材料的两遍,方向可信,幅度没定。加了限制之后,题干往 According to the passage 这类套话上靠,四十道里从十道变十四道,对要反复用的题库来说,这是实实在在的多样性损失。
处置很短:错项要审,别只审答案键,两批里键都没问题,错项有问题。不想审就在指令里写死可反驳这一条,再抽十道看看,按这次的数据,差别就在这一点上。
要挑工具而不是自己搭,九个免费出题工具各自能给到什么在这篇:九个免费出题工具的实际边界。同样八段材料还过了一遍难度标签,标成「难」的十六道里十二道藏起材料还能答对:难度标签实测。选项长度这条线索在更早那批八十道上量的是:28.6%的题只看长度就能蒙对。带走两个数:一百二十个错项里 17 个材料从没提过;指令加一行之后,120 个里 0 个。
相关文章
同一套流程换成中文材料,毛病不是消失,是换了地方:一百二十个错项里只有三个材料没法排除,可反驳那一行照样把它压到零,代价转移到了正确项的位置上:中文那批。
本站文章由编辑人工撰写,收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库,仅作信息参考,不构成付费推广。