AI出题换中文:一百二十个错项里,只有三个材料没法排除
中文出题很少编材料外的选项,一百二十个里只有三个,英文同流程是十七个;但毛病换了地方:选项成了短小的量词替换,加上可反驳约束后四十道里二十一道正确项落在A位,判官在它标出的少数选项上大约错一半。

上周那批出题实测跑的是英文材料,结尾留了个缺口:中文材料没测,材料里压根没提的错项比例可能不一样。这篇就是补这个缺口。八段中文材料,同一套流程,同样的模型、同样的判官。结果不是不一样,是低了五倍:一百二十个错项里只有三个材料没提,英文那批是十七个。
这看着是好消息,只是一半。另一半是:错项不再「没提」之后,题就变形了——四十道题里有二十一道正确项落在第一位,另外三个错项变成从材料别处抄来的真话。
怎么测的
八段中文材料,一百六十七到二百零一字,用的是和英文那批同样的八个话题,这样比较才有落脚点:潮汐锁定、纳米布沙漠的雾浴甲虫、盾构机、咖啡因作为植物防御物质、菲涅尔透镜、蜜蜂摇摆舞、冻干速溶咖啡、死海。不是逐句翻译,是我按同样的话题重新用中文写的,这是一个变量,文末还会再说一次。
每段各调用一次 deepseek-flash,温度1.0,要五道四选一、恰一个正确项、下标0到3、JSON 返回。两遍都是八段材料各出五道,四十道一道不缺;这次没有空响应,中文输出短,九千 token 的帽子加上默认推理档也装得下。接着二百四十个错项逐个发给 deepseek-v4-pro,温度0,材料、题干、选项一起给,只让它从三个标签里选一个,并抄出依据句。另外每道题再单独作答一次:盖住答案键,只给材料、题干、四个选项,让它选一个并抄依据——这是答案键的复核,八十道全部与答案键一致。
判官给的标签,和题真正的问题
默认指令那一遍,判官把一百二十个错项里的六个判成「材料没提」。我把被标出来的九个逐条对着材料读了。六个「没提」里,三个是判错的,而且错在同一个方向。
| 错项与材料的关系 | 判官给的 | 逐条读过后 |
|---|---|---|
| 材料里有一句能直接否掉它 | 113 | 116 |
| 材料既没写它,也没否它 | 6 | 3 |
| 材料支持它,但它不回答这道题 | 1 | 1 |
看甲虫那道题。问的是栖息地一年降水多少,选项是十毫米、二十毫米、五十毫米、一百毫米,正确项二十毫米,材料写的是「一年降水常常不足二十毫米」。判官把五十毫米判成矛盾并抄了依据句,把一百毫米判成没提、依据句留空。两个数都在二十以上,五十能靠那句否掉,一百就能靠同一句否掉。这是判官前后不一致,不是这道题的性质。
另外两个是同一个毛病。一个错项说「千斤顶分组行程差保持为零」,而材料说轴线偏差正是靠千斤顶分组的行程差来纠正的,这句能直接否掉它;判官判了没提。一个说「不需要萃取,直接形成多孔骨架」,而材料第一步就是萃取,同样能被一句否掉;判官还是判了没提。判官实际敏感的是措辞:沿用材料里的词、只把数量翻个个儿,它判矛盾;把一句否定换个说法写,它判没提。
所以要带走的数是三,不是六:中文这批里真正没法用材料排除的错项是 3 个,而且都是短名词短语——沙丘高度、十毫米、注浆速度与拼装速度匹配。最后这个最能说明问题:材料里是「排土速度与开挖速度匹配」,它把这一对换成另一对,认真读过材料的学生能排掉,没读过的排不掉。
和英文那批比
同一套流程、同样的模型、同样的判官,英文那批跑在 2026-11-14。英文的数字里已经含了我对十道题的手工复核。
| 英文八段(11-14) | 中文八段(今天) | |
|---|---|---|
| 题数 | 40 | 40 |
| 材料没提的错项 | 17 | 3 |
| 占一百二十个错项的比例 | 14% | 2.5% |
| 带这类错项的题 | 四十道里十道 | 四十道里三道 |
| 选项平均字符数 | 37.0 | 8.7 |
| 正确项是最长选项 | 四十道里二十四道,60% | 四十道里十六道,40% |
十七比三,样本小,能说清的是方向,说不清的是幅度。比计数更能说明机制的是选项长度:中文错项平均 8.7 个字,英文 37.0 个字符。中文这边出的是填空题形状——一句话的题干,问一个数量或一个术语,再配三个候选词。候选词得从材料的某处来才像样,于是通常都能对着某一句核。英文那边出的是整句判断,把太阳能板、海水淡化厂这类材料外的细节整段写进来,从前没提过,自然就没法核。英文那批里「没提」的错项比平均选项更长,40.5 对 34.6 个字符,这就是整句型干扰项的指纹。
对老师来说,这不是「中文出题更安全」,是失败会换地方。中文题失败在不读材料也能答:像「一只甲虫一次能喝到多少水」这种题干,选项只差一个量词——百分之十几、百分之几、百分之几十——考的是注意力,不是阅读。这道题就在这批里,答案键没错,题基本没用。
同一行指令,换到中文
昨天那个补法不是在输出端过滤,是在请求里加约束:每个错项都必须能被材料里的一句话否掉,材料压根没提的不许写。翻成中文加进去,同样八段材料,模型、温度、题数都不动。
| 默认指令 | 加一行可反驳 | |
|---|---|---|
| 题数 | 40 | 40 |
| 材料没提的错项 | 3 | 0 |
| 正确项落在A位 | 四十道里十二道 | 四十道里二十一道 |
| 正确项落在D位 | 四十道里三道 | 四十道里八道 |
| 选项平均字数 | 8.7 | 15.5 |
| 正确项是最长选项 | 40% | 42% |
| 两遍都出现的题干 | 四十道里一道 | |
「没提」降到零,说明这条约束跨语言是通的。两个代价在中文这边比英文更大。选项长度几乎翻倍,8.7 到 15.5 个字,这在意料之中:可被材料否掉的干扰项必须带上让它能被否掉的那个细节。另一个是正确项的位置往前面挤,四十道里 A 位从十二道变成二十一道,D 位从三道变成八道。英文那批在同样一条指令下是往反方向走的,所以这是中文这边的模型习惯,不是约束本身的性质。要发纸质卷子,选项在代码里打乱,别指望模型自己均衡。
这个零也要加一句。能被否掉,不等于跟这道题有关。加了约束那批里有两道被标成「材料支持」,都不是外来内容。一道是搬来的真话:问「靠什么维持土舱压力、顶住掌子面」,一个选项是「激光导向系统测量轴线偏差」,这选项否得掉吗?否不掉,它在材料里是真的;作为答案,它不沾边。另一道是量词变体:问一只甲虫一次能喝多少水,选项是「百分之十几、百分之几、百分之几十、完全不喝水」,被标成「支持」的那个是材料原句削掉一个字的模糊版,既不是真话也不是外来错项。判官被问的是材料与选项的关系,不是选项答不答这道题,所以这两条都不算在「没提」里。禁止「没提」会把出题模型推向这个形状:不再编材料外的内容,改成从同一段材料里搬另外两句真话,或者把原句糊一糊。这个取舍老师能接受,但需要加一遍「这个选项答不答这道题、是不是只差一个量词」的检查,这次没做。
答案键不是问题
八十道题各自独立作答一次,盖住答案键,只给材料和四个选项,要下标加依据句。两套指令下都是四十道全对,八十道全对。这和英文那批一致,那边两遍也是四十道全对。这也划出了问题的边界:机器出的题,坏的不是答案键,是键以外的东西——英文坏在错项,中文坏在题的形状。
可以照抄的配置
中文出题指令,干活的是中间那行:
就下面这段材料出 {n} 道单项选择题,每题四个选项,只有一个是正确的,可以在材料中找到依据。
每个错误选项都必须能被材料里的某一句话直接否掉;材料压根没提的内容不许写成错误选项。
答案用0到3的下标表示。
返回 JSON:{"items":[{"stem":"题干","options":["选项一","选项二","选项三","选项四"],"answer":0}]}
材料:
{passage}
两个参数比看上去重要。max_tokens 给到九千、保留默认推理档,因为被截断的响应解析出来是「题少了」,不是「报错了」。生成温度给 1.0,两遍之间只有一道题干重复,说明比的确实是两套指令,不是同一批题换了个词。
审核的提示词四行就够:材料、题干、选项,三个标签——矛盾、没提、支持——外加逐字抄出依据句,判「没提」时依据句留空。要求抄句子,上面判官的前后不一致才露得出来;不要求,两个标签之间没有东西可比。脚本只用标准库,十路并发,二百四十个选项大约四分钟。
这测不出什么
中文材料是我按同样话题重写的,不是翻译,语言和文本一起变了;更干净的做法是把这八段英文机翻成中文,两版都跑。出题和判卷都是 DeepSeek 一家,判官在它标出来的少数选项上大约错一半,所以手工计数和它并排给。每套指令四十道题是小样本,十七比三只能当方向,不能当系数。中文的量词和数字让「没提」这个判断比英文更难,缺口里可能有一部分是测量误差。最要紧的那件事这次也没碰:没读过材料的学生能不能赢过读过的。那项只在英文材料上量过,八十道里七十一道能答对,中文要单独跑。
可以照着做的一条:材料是中文、题目要印出来,就加可反驳那一行,然后在代码里打乱选项,再自己读十道,专门找「只差一个量词」的干扰项。材料是英文,就审错项别只审答案键,到目前为止每一批的键都靠得住。九个免费出题工具各自能给到什么、免费额度怎么卡,在这篇:九个免费出题工具的实际边界。这篇对比的英文那批在这:一百二十个错项里十七个材料从没提过。九十六个英文答案键落在四个位置上的分布、其中五个在 D 位,在这篇:答案位置偏斜。带走两个数:中文一百二十个错项里 3 个材料没法排除,英文是 17 个;加一行可反驳之后两边都到零,代价是四十道里 21 道的正确项挤到了 A 位。
相关文章
接着那批不审选项了,改数覆盖:每段十道题压在 5.1 个句子上,正好等于段落句数,而「每题考不同句子」那一行没有改变任何数:一段材料到底能出几道题。
本站文章由编辑人工撰写,收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库,仅作信息参考,不构成付费推广。