AI出题:一百二十个错项里,十七个材料从没提过

🔧 AI工具 2026-11-14 约 21 分钟阅读

答案键没事,错项有事:一百二十个错项里十七个材料压根没提,学生只能靠「没看见」排除,而不是靠找到否掉它的那句话。受影响的十道题里七道,题干完全不锚定材料。

📜 目录

让[[出题工具](/post/ai-quiz-difficulty-label-calibration-20261113)](/post/ai-quiz-closed-book-test-20261112)交一批题,答案键通常是靠得住的。出问题的地方更安静,在另外三个选项上。其中有些不是「错」,是「没有」:材料里压根没写。只看材料的学生没有办法核对它,题目于是变成一道「你有没有注意到材料里没这句话」的题。

这次把四十道题的一百二十个错项逐个问了一遍,问的是:材料能反驳它、材料没提它、还是材料其实支持它。一百二十个里十七个材料从头到尾没提。四十道题里十道带着这样的错项。然后在出题指令里加一行,同样八段材料重跑一遍:零。

查法

八段一百一十七到一百三十四词的英文材料,为这次测试现写:潮汐锁定、纳米布沙漠的集雾甲虫、盾构机、咖啡因作为植物的防御物质、菲涅尔透镜、蜜蜂的摇摆舞、冻干速溶咖啡、死海。每段各调用一次 deepseek-flash,温度1.0,要五道四选一、恰有一个正确项,以 JSON 返回、答案写下标0到3。回来的四十道题全部是四个互不相同的选项加一个合法下标,没有一道被丢掉。

每个错项再单独发给 deepseek-v4-pro,温度0,材料、题干、选项一起给,只问一件事:材料与这个选项是冲突、沉默、还是支持。要求它抄出依据句。一百二十次调用里有六次返回空内容,三次重跑答出来了,三次是我自己读材料判的,下面点到的就是这三条。

错项到底是什么

错项与材料的关系选项数占比
材料里有一句能直接否掉它10285%
材料既没写它,也没否它1714%
材料支持它,但它不回答这道题11%

八成五这一档是好消息,比通常的抱怨要好:这批题里没有两道都能选的题。两个判卷模型 deepseek-flash 和 deepseek-v4-pro 各自拿到材料、各自选一个选项并抄出定案句,四十道全部与答案键一致。机器出的题毛病再多,这一批的键没出错,也没有哪道题存在第二个说得通的答案。

一成四这一档才会落到学生手上。举一道:「人类有哪些应用抄了这种甲虫的表面?」正确项是集雾网和自充水瓶的试验,材料里明写。另外两个干扰项是太阳能板和风机、海水淡化和灌溉管道,材料一个字没提。学生找不到能排除它们的句子,因为根本没有这样的句子,能用的只有「材料里没看见」——那是应试习惯,不是阅读能力。十道受影响的题里有七道,题干完全不锚定材料,这让问题更重:题面没有任何地方告诉学生,材料以外的知识不算数。

还有一道反着来的。问冻干为什么比喷雾干燥贵,有个干扰项是「颗粒的堆积密度更小」。材料确实写了颗粒更轻,所以这句是真的,但它仍然不是答案,因为它没有回答「为什么更贵」。这道题是公平的,也是出题模型撞出来的:选项为真,是因为它从材料里抄来的,不是因为有人核过它答不了这道题。

指令里的一行

补的办法不在输出端做过滤,在请求里加约束:每个错项都必须能被材料里的一句话否掉,材料压根没提的选项不许写。加上这一行,模型、温度、材料、题数都不动,新的一批用同一套办法审一遍。

默认指令加一行之后
题数4040
材料压根没提的错项170
带这类错项的题40道里10道40道里0道
题干里明写 According to the passage10道14道
正确项是最长选项40道里24道,60%40道里19道,48%
选项平均字符数37.052.7
两遍都出现的题干40道里1道

同样八段材料,十七降到零。两个说明留着,别把话说满。四十道题里只有一道题干在两遍里都出现,所以这不是同一批题被修好了,是指令变了、题也跟着变了,比的是两套指令,不是一批题和它的补丁。另外选项变长了,平均从37个字符到52.7个,因为可被材料否掉的干扰项必须带上让它能被否掉的那个细节。

选项变长,并没有把「挑最长」这条线索放大。默认那批里正确项是最长项的占二十四道,60%;加了限制之后是十九道,48%,因为干扰项跟着一起变长了。这跟通常的取舍相反,也说明这件事得量,别推:早前那批八十道题里,只看选项长度就能蒙对28.6%。

最费时间的那个坑

加限制那一批第一次跑,八段材料里有三段一道题都没回来。调用是成功的,内容是空的。原因是 token 预算:默认推理档会把额度吃掉,可见的答案在两千六百个 token 的帽子下根本没出来,而空字符串解析出来是「没有」而不是「报错」,损失是无声的。把推理档降到 low、帽子上到九千,八段材料全回来了,四十道题。第一批那120次审核调用里也有五次是同一个毛病。

由此两个习惯。每段材料回来就把题数打出来,无声的零才会露头,不至于混进总数。截断的数组不要救:要五道只回来四道,通常是响应被截断,前四道是好的、第五道缺了,这种缺口往往等卷子发下去才被发现。

可以照抄的配置

出题指令,中间那行是关键:

Write {n} multiple-choice questions about the passage below.
- Four options each, exactly one correct.
- Answerable from the passage alone.
- Every wrong option must be refutable by citing a specific sentence
  of the passage. Do not write a wrong option that the passage simply
  never mentions.
- Vary the position of the correct option.
Return JSON: {"items":[{"stem":"...","options":["..."],"answer":0}]}

审核的提示词比出题还短:材料、题干、选项,三个标签,加一条「必须抄依据句」。contradicted 是有句子与它冲突,absent 是材料沉默,supported 是材料支持它。要求抄句子,标签才有得核;不要求,判官会毫不犹豫地把一个没提过的选项判成冲突。脚本 distractor_audit.py,只用标准库,12路并发,120个选项大约两分钟。

这测不出什么

出题和判卷都是 DeepSeek 一家,审核标签是模型的判断,不是老师的判断。标出来的十道我逐条读过材料,十条都同意,但这只核了这十条。材料是英文说明文,中文材料没测,没提过的比例可能不一样。四十道题是小样本,25% 到零这个差距只来自同样八段材料的两遍,方向可信,幅度没定。加了限制之后,题干往 According to the passage 这类套话上靠,四十道里从十道变十四道,对要反复用的题库来说,这是实实在在的多样性损失。

处置很短:错项要审,别只审答案键,两批里键都没问题,错项有问题。不想审就在指令里写死可反驳这一条,再抽十道看看,按这次的数据,差别就在这一点上。

要挑工具而不是自己搭,九个免费出题工具各自能给到什么在这篇:九个免费出题工具的实际边界。同样八段材料还过了一遍难度标签,标成「难」的十六道里十二道藏起材料还能答对:难度标签实测。选项长度这条线索在更早那批八十道上量的是:28.6%的题只看长度就能蒙对。带走两个数:一百二十个错项里 17 个材料从没提过;指令加一行之后,120 个里 0 个。

相关文章

同一套流程换成中文材料,毛病不是消失,是换了地方:一百二十个错项里只有三个材料没法排除,可反驳那一行照样把它压到零,代价转移到了正确项的位置上:中文那批。

延伸阅读 · 含推广链接

跑通原型和长期挂着跑是两件事。按量计费起一台,用完释放,不用为闲置的机器付整月。

看按量计费价格 →

相关文章
2026-08-16
2026 移居海外者最佳 AI 翻译工具:新国度生活的 6 款选择
2026-08-18
2026 私人教练最佳 AI 预约工具:6 款训练时自动接单
2026-11-18
教师用的 AI 评分量表工具:三家公开价与每篇成本
2026-08-15
2026 新加坡最佳 AI 视频剪辑工具:内容创作者和中小企业适用 6 款
2026-10-15
2026贝鲁特最佳AI文档翻译工具:阿语、法语、英语文件的5种选择
2026-08-12
免费LLM API平台2026:零成本跑自己的OpenAI兼容网关

本站文章由编辑人工撰写,收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库,仅作信息参考,不构成付费推广。

💬 评论 (0)

暂无评论,来说两句吧~

登录后评论