AI出题工具:标成「难」的16道题,闭卷还能答对12道

🔧 AI工具 2026-11-13 约 16 分钟阅读

难度下拉框给的是更长的措辞,不是更难的信息依赖:标成「难」的十六道,藏起材料还能答对十二道;标成「易」的答对十五道。差十九个百分点,这是个标签,不是难度。

📜 目录

[[[出题工具](/post/ai-quiz-closed-book-test-20261112)](/post/ai-quiz-closed-book-test-20261112)](/post/ai-quiz-closed-book-test-20261112)多半有个难度下拉框:简单、中等、难。选「难」,交回来的题确实更长、更绕,看着很像那么回事。这周把这件事量了一遍:标签有方向,也就仅此而已。

两批题,两个问题

材料是十二段自己写的英文说明文,每段一百二十到一百五十词:热泵效率、咸海、喀拉喀托火山、跑道编号、降噪耳机、集装箱、钟乳石、桥梁伸缩缝、树轮定年、意式浓缩、纽芬兰鳕鱼、光纤。分两批用,一批查答案键,一批查难度标签。

出题用 deepseek-flash,温度1.0,一段材料要六道四选一,要求能在材料里找到答案、只有一个正确项、正确项位置要变。作答和核键用 deepseek-v4-pro,温度0,材料放在它面前。

标签排得出顺序,排不出差距

四十八道题,三档各十六道,把材料藏起来再答。

标签题数藏起材料答对答「看不出」调用失败
易161510
中161420
难161222

答对四十一,说看不出五道,调用失败两道,答错零道。判卷的模型要么知道,要么直说看不出来,没有乱猜——这一点后面还会用到。

顺序是有的:94%、88%、75%。问题在跨度。标成「难」的十六道里,藏起材料还能答对十二道,占七成半。真正需要读材料才答得对的题,在这个设置下应该一道都答不出来。

标签跟的是什么

把三档题的表面特征摆在一起,标签的来路就清楚了。

标签题干平均词数正确项平均字符干扰项平均字符正确项是最长选项
易11.8312516道里8道
中12.4574416道里11道
难14.9845916道里12道

越「难」的题,题干越长,正确项也越长。标成易的十六道里,一半以 According to the passage 开头,问的是材料里明写的一句;标成难的十六道里,七道以 Which statement best captures 开头,三道以 Why 开头,问的是概括和推断。措辞换了,对材料的依赖没换多少。

正确项比干扰项长,本身就是一条线索。四十八道里正确项是最长选项的有三十一道,65%;只看有唯一最长项的题,按长度挑,四十五道里能中三十道,67%。七天前在另一批八十道上量过同一个毛病,那批是 28.6%。两批的生成条件不一样,不能当成一条曲线来比,方向是一致的:选项的长短自己带着答案。

答案键这一关反而没事

另一批五十六道走的是另一套检查:材料和题目一起交给更强的模型,让它选一个选项,并抄出材料里定案的那句原话。

五十六道,五十六道选的跟键一致。抄回来的依据句,五十六句都能在材料里原样找到,没有一句是编的。题干和正确项里出现的数字共二十一处,全部能在对应材料里找到。五十六道题落在四十六个不同的依据句上,覆盖不算窄。

走到这一步也踩了几个坑。难度那批十二段材料里有四段没吐出合法 JSON,核键那批十二段里有两段;一次要六道题是长输出,常见的死法是截断,所以该给足 token 预算、整段重试,别去拼半截数组。另外三道题因为四个选项里有重复被丢掉。这也是为什么最后是四十八道和五十六道,不是当初要的七十二道。

怎么用

难度当成一个要标定的量,不要当成一个可以要来的属性。要贴标签就先量:同一批题闭卷跑一遍,按档算答对率,看清档与档之间差多少,再决定分值怎么写。按这次的口径,七成半答对率的「难」档,是一个标签,不是难度。

比标签更管用的三件事。第一,把难题的形状说清楚,别说「出难题」,要说答案跨两段、要把两个数字合起来、题干要用材料里没有的词。第二,给生成留够长度,六道题加四个选项会顶破小预算,截断的数组救不回来。第三,把选项长度压平,正确项和干扰项的词数差控制在几个词内,八十四字符的正确项配五十九字符的干扰项,等于把答案递给只看选项的人。

脚本 difficulty_calibrate.py,只用标准库:读表头为 stem,a,b,c,d,answer,difficulty 的 CSV,把每道题单独发给模型、不给材料,按标签打印答对率。--model 换判卷模型,--workers 控制并发,--report 打印逐题表。

这测不出什么

出题和判卷都是 DeepSeek 一家,换家族数字会动。材料是英文说明文,中文材料没测。判卷的是模型不是学生,一个班读没读过材料、会不会也答对那十二道,这里没有答案。四十八道和五十六道都不算大样本,两头十九个百分点的差距,换个题材可能就缩了。能带走的结论窄得很:难度标签不是量,这批题的答案键没出错。

要挑工具,九个免费出题工具各自能给到什么在这篇:九个免费出题工具的实际边界。同一批题目藏起材料能答对多少、筛完还剩多少,在上一篇:闭卷测试。选项长度这条线索在更早那批的实测里:28.6%的题只看长度就能蒙对。带走两个数:标成「难」的十六道,闭卷答对 十二道;另一批五十六道的答案键,五十六道全对。

相关文章

延伸阅读 · 含推广链接

API 账单分散在几家平台时,续费和管理都费神。合到一个账号下,成本和额度一眼看得清。

合并到一个账号 →

相关文章
2026-08-19
2026 利马最佳 AI 商品图生成工具:6 款秘鲁电商工具
2026-08-03
2026年AI配音生成器:Kokoro(8千星)对比Piper与Coqui TTS,免费视频旁白
2026-07-24
2026最佳免费AI Logo生成器
2026-08-23
2026 埃里温最佳 AI 编程助手:6 款 IT 外包团队工具
2026-07-25
2026年最佳免费AI简历生成器:十大工具对比
2026-08-10
AI数据库工具2026:用大白话跟SQL数据库对话

本站文章由编辑人工撰写,收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库,仅作信息参考,不构成付费推广。

💬 评论 (0)

暂无评论,来说两句吧~

登录后评论