AI出题出十道:只覆盖5.1个句子,67道在重复
题量从五道加到十道,每段只多覆盖半句;十道题那批八十道里六十七道和同套另一道压在同一句上;兄弟配对里五分之一,一道题的正确选项逐字印在另一道题的选项里。

想要一张十道题的卷子,最常见的做法是把一段材料丢给模型,说「出十道」。我这么做了,八段材料,然后把十道题到底考了什么数了一遍。考了五个句子。材料本身五个句子。那批十道题的八十道里,六十七道和同套另一道压在同一句上。
这不是解析出问题,是天花板。题量翻一倍,每段多覆盖半句;为了修它专门加的那一行「每题考不同句子」,覆盖数一动不动。
怎么测的
八段材料,一百二十四到一百四十一个词,现写的:海底光缆、罗马海工混凝土、竹子开花、牡蛎礁修复、南极下降风、靛蓝染色的化学、甲板集装箱绑扎、行道树冠层。每段四到六句,平均五点一句。
每段各调用三次 deepseek-flash,温度1.0:一次要五道,一次要十道,一次要十道并加一行「每道题必须考不同的句子,两道题不许压在同一句或同一个事实上」。二十四次调用全部给齐,四十道、八十道、八十道;二百道题全是四个互不相同的选项加一个合法下标,一道没丢。这一句要先说,因为它排掉了最常见的解释:不是截断,不是 JSON 坏了,不是答案键缺了。
二百道题再逐个发给 deepseek-v4-pro,温度0,材料、题干、四个选项一起给,只让它逐字抄出材料里定这道题答案的那一句。没有一次返回空引用。按抄回来的句子分组,就是覆盖数。同一句被两道题引用,不等于两道题问的是同一件事:一道问缆芯外面是什么,一道问中继器隔多远,定案的都是同一个分句。但它们测的是材料的同一块,而一张卷子本来应该把题铺开。
数出来的覆盖
| 五道题 | 十道题 | 十道+每句不同 | |
|---|---|---|---|
| 回来的题数 | 40 | 80 | 80 |
| 被引用的不同句子 | 37 | 41 | 41 |
| 每段覆盖句数 | 4.6 | 5.1 | 5.1 |
| 与同套另一道撞同一句的题 | 四十道里六道,15% | 八十道里六十七道,84% | 八十道里六十六道,83% |
| 选项平均字符数 | 36.5 | 28.2 | 25.7 |
中间那列是重点。十道题覆盖五点一句,而材料平均就是五点一句。每句平均摊到两道题。模型没有去找新材料,也没有把段落重写一遍,它把已经用过的那句换个角度再问一次。
| 材料 | 词数 | 句数 | 五道题覆盖句数 | 十道题覆盖句数 |
|---|---|---|---|---|
| 海底光缆 | 130 | 5 | 5 | 5 |
| 罗马海工混凝土 | 133 | 6 | 5 | 6 |
| 竹子开花 | 127 | 5 | 4 | 5 |
| 牡蛎礁 | 141 | 5 | 5 | 5 |
| 下降风 | 132 | 5 | 5 | 5 |
| 靛蓝染色 | 124 | 6 | 5 | 6 |
| 集装箱绑扎 | 136 | 5 | 4 | 5 |
| 行道树冠层 | 135 | 4 | 4 | 4 |
逐段看,题量翻倍,两句里只有一句从零变一,四段一点没变。海底光缆:五句,五道题覆盖五句,十道题还是五句。行道树:四句,怎么出都是四句。只有两段六句的材料(混凝土、靛蓝)从五句涨到六句。这是条饱和曲线,饱和点在「每句一道」。
多出来的五道长什么样
海底光缆那套十道题,第0、1 题都出自第一句:光缆承载什么、深水区有多粗。第2、3、4 题出自第二句:光纤靠什么导光、缆芯外面是什么、中继器隔多远。第5、6 题出自第三句,第8、9 题出自第五句。只有第7 题独占一句,就是「故障主要是渔船和锚造成的」那句。
有些兄弟题确实是两个问题。混凝土那段,一道问海水渗进裂缝后对石灰块做了什么,一道问有火山灰在场时长出了什么矿物,答案不同,句子是同一句。一张真卷子里,同一句出两道题站得住。站不住的是「五句材料出十道题」:五个知识点各考两遍,读懂了那句的学生两道都会,多出来的五道没有增加任何测量。题数上去了,被测的东西没上去。
题要得越多,题本身也越薄。选项平均长度从五道题那批的 36.5 个字符掉到十道题的 28.2,还出现了「缆芯外面是什么」这种原文直搬的题干,答案就是「钢丝层和一根铜导体」,把原句的动词削掉而已。这种题审稿时过不去。
一道题的选项里印着另一道的答案
第二个代价落在打印出来的卷子上。兄弟题从同一句里挑选项,于是一道题的干扰项常常就是另一道题的正确答案。同一句组里,每一对有方向的两道题都问了一遍判官:只给 A 的题干和四个选项、不给材料,能不能从 A 里直接读出 B 的正确答案。二百一十六个配对,判官标了四十六个「能」,我逐条读完,四十三个是真的,三个是判官把「同一话题」当成了「同一答案」。
| 有向配对 | 判官说能读出 | 逐条读过后确认 | |
|---|---|---|---|
| 五道题那批 | 6 | 2 | 2 |
| 十道题那批 | 100 | 26 | 24 |
| 十道+每句不同那批 | 110 | 18 | 17 |
| 合计 | 216 | 46,21% | 43,20% |
混凝土那段有一对最典型。第4 题问罗马港工结构里的裂缝会怎样,正确项是「会自己封住」,它的第二个选项是「水碰到钢筋就变宽」。第5 题问普通硅酸盐混凝土里的裂缝会怎样,答案就是「水碰到钢筋就变宽」。B 的答案就印在 A 的选项里。反方向也一样:第5 题的第一个干扰项「靠石灰块自己封住」,正是第4 题的答案。学生按顺序做,做到第5 题时已经排掉三分之一选项,材料还没看。
同样的形状在别处重复:竹子那套第6 题的正确项里含「整片竹林一起死」,那就是第7 题的答案;靛蓝第0 和第9 题共享「靛蓝不溶于水」这个结论;行道树第7、8 题把对方的答案塞进自己的干扰项。二百一十六个配对里四十三个,五分之一,散在二十四套里的十三套,涉及二百道里的六十道。
这不代表单道题错了。每道题的答案键都对得上材料,和 11-10 以来每一批的结论一致。坏的是这一套:题与题之间不独立,最后那个分数携带的信息比题数少。
那一行「每题考不同句子」
加的是这句:每道题必须考材料的不同句子,两道题不许压在同一句或同一个事实上。结果四十一个不同句子,跟不加一模一样;重复题六十六道,比原来的六十七道少一道。它倒是改变了答案键的位置:三批十道题合起来,八十道里有三十五个正确项落在 A 位,海底光缆那一套十道题,十个答案全在 A。不加那行的十道题那批是 A 位28、B 位25、C 位16、D 位11。
一套题塌了不算趋势,八十道也是小样本。方向是清楚的:约束内容的指令造不出材料里没有的东西。五句话大概就有五个可考的事实,要十道不会长出第六句;让模型「多样化」,改的多半是这句话的回声怎么写。
可以照抄的配置
出题用的就是普通那条:
就下面这段材料出 {n} 道单项选择题,每题四个选项,只有一个是正确的,可以在材料中找到依据。
答案用0到3的下标表示。
返回 JSON:{"items":[{"stem":"题干","options":["选项一","选项二","选项三","选项四"],"answer":0}]}
材料:
{passage}
真正产出这个数字的是审核那条,一道题一次调用:
读下面这段材料和一道选择题,逐字抄出材料里决定这道题答案的那一句。
必须原文照抄,不要改写。
返回 JSON:{"quote":"..."}
把抄回来的句子按词重合度聚类,数不同的组。组数低于题数的七成,这套题就在重复自己,该补的是材料不是题量。脚本只用标准库:生成 24 次、六路并发;审核 200 次、互泄配对 216 次、十二路并发;前者八十秒、后者一百零八秒,四百五十次调用三分钟跑完。
这批得出的可用规则:一百三十词、五句的材料,出五道,不要更多。要十道,就给二百五十到二百八十字,或者给两段,各自当五道题用。选项在代码里打乱,别指望模型均衡;卷子要印出来,兄弟题之间也要互查一遍,不能只对着材料查。
这测不出什么
一个生成模型、一个判官,都是 DeepSeek;这次判官只被要求抄句子,比前几批的标签判定更简单,但聚类阈值是我的(词重合 0.6,每组都手工看过),阈值一动计数就会动一点。同一句出两道题可以是正当的一对,所以覆盖数是多样性的上限,不是质量分。八段说明文英文材料是小样本,叙事文或者表格多的材料饱和点可能不一样。答案全落 A 位只是一套里的现象,当警示看,别当比例。
能落地的做法:一百三十词出五道,二百五十词出十道,审的时候数引用了几个不同的句子,印之前先打乱选项。九个免费出题工具各自能给到什么、免费额度卡在哪,在这篇:九个免费出题工具的实际边界。中英文两批失败方式不同的对比在这:一百二十个错项里十七个材料从没提过。九十六个英文答案键落在四个位置上的分布,以及这批把二百道里四成挤到 A 位之前的样子,在这篇:答案位置偏斜。带走两个数:十道题只覆盖了 5.1 个句子,而材料平均 5.1 句;二百一十六个兄弟配对里 43 个,一道题的答案印在另一道的选项里。
相关文章
- 自由职业者的提案工具:9 美元那档根本发不了提案
- 2026年AI虚拟形象生成器:SadTalker(1.4万星)对比LivePortrait,让照片开口说话
- 2026 雅加达最佳 WhatsApp 商业助手:6 款适合印尼电商
覆盖是一条轴,题目问什么是一条轴。一张表出十道题,回来十个照抄的格子;要求计算以后,60 道里 18 道搞混单位:表格出题实测。
本站文章由编辑人工撰写,收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库,仅作信息参考,不构成付费推广。