AI出题工具:标成「难」的16道题,闭卷还能答对12道
难度下拉框给的是更长的措辞,不是更难的信息依赖:标成「难」的十六道,藏起材料还能答对十二道;标成「易」的答对十五道。差十九个百分点,这是个标签,不是难度。
[[[出题工具](/post/ai-quiz-closed-book-test-20261112)](/post/ai-quiz-closed-book-test-20261112)](/post/ai-quiz-closed-book-test-20261112)多半有个难度下拉框:简单、中等、难。选「难」,交回来的题确实更长、更绕,看着很像那么回事。这周把这件事量了一遍:标签有方向,也就仅此而已。
两批题,两个问题
材料是十二段自己写的英文说明文,每段一百二十到一百五十词:热泵效率、咸海、喀拉喀托火山、跑道编号、降噪耳机、集装箱、钟乳石、桥梁伸缩缝、树轮定年、意式浓缩、纽芬兰鳕鱼、光纤。分两批用,一批查答案键,一批查难度标签。
出题用 deepseek-flash,温度1.0,一段材料要六道四选一,要求能在材料里找到答案、只有一个正确项、正确项位置要变。作答和核键用 deepseek-v4-pro,温度0,材料放在它面前。
标签排得出顺序,排不出差距
四十八道题,三档各十六道,把材料藏起来再答。
| 标签 | 题数 | 藏起材料答对 | 答「看不出」 | 调用失败 |
|---|---|---|---|---|
| 易 | 16 | 15 | 1 | 0 |
| 中 | 16 | 14 | 2 | 0 |
| 难 | 16 | 12 | 2 | 2 |
答对四十一,说看不出五道,调用失败两道,答错零道。判卷的模型要么知道,要么直说看不出来,没有乱猜——这一点后面还会用到。
顺序是有的:94%、88%、75%。问题在跨度。标成「难」的十六道里,藏起材料还能答对十二道,占七成半。真正需要读材料才答得对的题,在这个设置下应该一道都答不出来。
标签跟的是什么
把三档题的表面特征摆在一起,标签的来路就清楚了。
| 标签 | 题干平均词数 | 正确项平均字符 | 干扰项平均字符 | 正确项是最长选项 |
|---|---|---|---|---|
| 易 | 11.8 | 31 | 25 | 16道里8道 |
| 中 | 12.4 | 57 | 44 | 16道里11道 |
| 难 | 14.9 | 84 | 59 | 16道里12道 |
越「难」的题,题干越长,正确项也越长。标成易的十六道里,一半以 According to the passage 开头,问的是材料里明写的一句;标成难的十六道里,七道以 Which statement best captures 开头,三道以 Why 开头,问的是概括和推断。措辞换了,对材料的依赖没换多少。
正确项比干扰项长,本身就是一条线索。四十八道里正确项是最长选项的有三十一道,65%;只看有唯一最长项的题,按长度挑,四十五道里能中三十道,67%。七天前在另一批八十道上量过同一个毛病,那批是 28.6%。两批的生成条件不一样,不能当成一条曲线来比,方向是一致的:选项的长短自己带着答案。
答案键这一关反而没事
另一批五十六道走的是另一套检查:材料和题目一起交给更强的模型,让它选一个选项,并抄出材料里定案的那句原话。
五十六道,五十六道选的跟键一致。抄回来的依据句,五十六句都能在材料里原样找到,没有一句是编的。题干和正确项里出现的数字共二十一处,全部能在对应材料里找到。五十六道题落在四十六个不同的依据句上,覆盖不算窄。
走到这一步也踩了几个坑。难度那批十二段材料里有四段没吐出合法 JSON,核键那批十二段里有两段;一次要六道题是长输出,常见的死法是截断,所以该给足 token 预算、整段重试,别去拼半截数组。另外三道题因为四个选项里有重复被丢掉。这也是为什么最后是四十八道和五十六道,不是当初要的七十二道。
怎么用
难度当成一个要标定的量,不要当成一个可以要来的属性。要贴标签就先量:同一批题闭卷跑一遍,按档算答对率,看清档与档之间差多少,再决定分值怎么写。按这次的口径,七成半答对率的「难」档,是一个标签,不是难度。
比标签更管用的三件事。第一,把难题的形状说清楚,别说「出难题」,要说答案跨两段、要把两个数字合起来、题干要用材料里没有的词。第二,给生成留够长度,六道题加四个选项会顶破小预算,截断的数组救不回来。第三,把选项长度压平,正确项和干扰项的词数差控制在几个词内,八十四字符的正确项配五十九字符的干扰项,等于把答案递给只看选项的人。
脚本 difficulty_calibrate.py,只用标准库:读表头为 stem,a,b,c,d,answer,difficulty 的 CSV,把每道题单独发给模型、不给材料,按标签打印答对率。--model 换判卷模型,--workers 控制并发,--report 打印逐题表。
这测不出什么
出题和判卷都是 DeepSeek 一家,换家族数字会动。材料是英文说明文,中文材料没测。判卷的是模型不是学生,一个班读没读过材料、会不会也答对那十二道,这里没有答案。四十八道和五十六道都不算大样本,两头十九个百分点的差距,换个题材可能就缩了。能带走的结论窄得很:难度标签不是量,这批题的答案键没出错。
要挑工具,九个免费出题工具各自能给到什么在这篇:九个免费出题工具的实际边界。同一批题目藏起材料能答对多少、筛完还剩多少,在上一篇:闭卷测试。选项长度这条线索在更早那批的实测里:28.6%的题只看长度就能蒙对。带走两个数:标成「难」的十六道,闭卷答对 十二道;另一批五十六道的答案键,五十六道全对。
相关文章
本站文章由编辑人工撰写,收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库,仅作信息参考,不构成付费推广。