AI出题工具：把材料藏起来，80道题还有71道能答对

从材料生成的卷子，不读材料也能答。八十道题藏起材料后答对七十一，只有三道说看不出来；活下来的九道全是细节题和数字题。

📜 目录

• 怎么测的
• 数字
• 哪一类题会漏
• 怎么用
• 筛题脚本
• 这测不出什么

拿一段材料出一份小测，考的是有没有读那段材料。没读的学生应该做不对。这条常识放在AI出的题上还成不成立，值得量一次，量出来的数字不好看。

八十道题、十段材料、一个答题模型。材料摆在面前，八十道全对；把材料抽走，它还答对七十一。

怎么测的

十段111到134词的材料，为这次测试现写，一段一个题材：GPS定位、睡眠分期、珊瑚白化、酸种酵头、茶叶氧化、拉链专利史、印加结绳、罗马混凝土、1953年北海洪水、UPC条码的推广。每段材料各调用一次deepseek-chat，温度1.0，要八道四选项题，必须能从材料里找到答案、恰有一个正确项，以JSON返回、答案写下标0到3。

出满八十道，四个选项互不相同、答案下标全部合法，一道没丢。之后每道题单独发一次，只给题干和四个选项，不给材料，温度0，一道题一次调用，避免题目之间互相给上下文。允许答N表示「看不出来」。对照组把材料放回去，同一个模型，温度0。

数字

对照组决定另外三行怎么读。放回材料八十道全对，说明这些题本身没毛病：答案对得上材料，也没有歧义到连出题的模型都答不出。闭卷没过的九道不是坏题，只是答案不在模型的记忆里。

同一套闭卷测试再跑一遍，还是七十一，还是那九道。温度0下这一步可复现，一道题不会在两次运行之间忽进忽出。

哪一类题会漏

按正确选项的样子把八十道分成两堆，漏的地方就不均匀了。

活下来的九道，逐条看：结绳上的八字结代表一，不是一万；高位的单结可以代表一万；1953年的风暴潮在南部北海局部高出平均海平面五米以上；荷兰的堤防在一百五十多处失守；茶叶氧化通常跑一到三小时；杂货业1974年才把UPC定为行业标准，1973年是标准定下来的年份，第一次扫码也在1974年；1851年那个钩扣专利是豪的，不是桑德巴克的；睡眠中腺苷浓度下降，不是上升；茶叶的亮度和醇厚度由温湿度决定。

注意这份清单里缺了什么：问机制的题几乎都穿过去了。接收机怎么把信号延迟换成距离、为什么要第四颗卫星算钟差、火山灰在罗马混凝土里起什么作用、三角洲工程为什么上马。懂这个题材的人闭着卷子也能答，材料成了摆设。

留下来的题问的是只存在于那段材料里的事实：一个结值、一个失守数量、一个和常识差一年的日期。这也解释了为什么换生僻题材没有用。结绳和1953年洪水都不算常识，八道里也各只丢了两道。生成器在任何一段材料里都先抓最公开的那些事实，而那些正好是答题的人手里已经有的。

同一批题里还有第二个线索：八十道里有四十一把正确答案放在最长的选项上，占51%。六天前用另一种口径量过同一个毛病：28.6%的题只看选项长度就能蒙对。长度是学生能练出来的技巧；世界知识不是技巧，答案本身就在那儿。

怎么用

筛一次一道题一次调用，是整条流程里最便宜的一步：把闭卷答对的全丢掉，只留答错和答不出的。八十道剩九道，11%。一份六十道、真正需要读材料的小测，要先生成五百三十道题，等于六十六段材料各出八道。想要一份考阅读的卷子，这就是实价。不付这个价，卷子考的是学生本来就会的东西。

两个操作上的提醒。筛要在改题之前做，八十道里只留九道，没有道理先把八十道精修一遍。提示词直接要细节，数字、人名、材料里才有的量，这一类才活得下来。

筛题脚本

closedbook_filter.py，只用标准库，Python 3.8以上。读表头为stem,a,b,c,d,answer的CSV，把每道题单独交给模型、不给材料，再把没答对的写出去。--keep miss连同答「看不出来」的也不要，--drop-errors把调用失败的题丢掉而不是留下，--report打印逐题表。

拿这次测试里两段材料的十六道题跑一遍，带逐题表：

checked 16 items in 4.0s (deepseek-chat, 4 workers)
answered without the passage: 12 (75.0%)   refused: 2   wrong: 2   errors: 0
kept 4 of 16 (25.0%) -> kept.csv
  cut  guessed B key B | What material were quipu cords made from according to the passage?
  KEEP guessed N key B | According to the passage, what did a figure-eight knot represent?
  KEEP guessed A key C | What did a single knot high on a cord potentially signify?
  cut  guessed B key B | Who were the accountants described by Spanish chroniclers as using quipu?
  KEEP guessed B key C | By how much did water levels rise above mean sea level in places?
  KEEP guessed N key B | At how many locations did Dutch defences fail?
  cut  guessed C key C | When was the last storm surge barrier of the Delta Works completed?

十六道剩四道，留下的四道问的是一个结值、一个水位高度、一个失守数量、一个年份。另外十二道是背出来的，包括问结绳用什么材料那道。

这测不出什么

出题和答题是同一个模型家族。换个家族漏的比例会变，89%不是普适常数，值得带走的是方向：细节题过得去，概念题过不去。材料是英文说明文。读过书的学生会不会也答对同样的七十一，没有测，学生不是模型，课堂上的泄漏应该更低。N是模型的自我报告，所以三道「看不出」是下限。留下来的题公不公平、答案对不对、难度合不合适，这篇一个都没回答，它只说明答案不在模型的记忆里。

如果还在挑工具，九个工具的免费边界和导出限制在这篇：九个免费出题工具各自能给到什么。同一段材料反复使用时还有另一个毛病，同一份卷子生成两次，第二次的64道里35道重复第一次：重复率实测。带两个数走：八十道里七十一道能把材料藏起来照样答对，筛完只剩九道。