AI出题换中文:一百二十个错项里,只有三个材料没法排除

🔧 AI工具 2026-11-15 约 27 分钟阅读

中文出题很少编材料外的选项,一百二十个里只有三个,英文同流程是十七个;但毛病换了地方:选项成了短小的量词替换,加上可反驳约束后四十道里二十一道正确项落在A位,判官在它标出的少数选项上大约错一半。

📜 目录

AI 出题换中文:一百二十个错项里,三个材料没法排除
八段中文材料出四十道题,二百四十个错项逐个判,只有三个材料没法排除;英文同套流程是一百二十个里十七个。2026-11-15 实跑。

上周那批出题实测跑的是英文材料,结尾留了个缺口:中文材料没测,材料里压根没提的错项比例可能不一样。这篇就是补这个缺口。八段中文材料,同一套流程,同样的模型、同样的判官。结果不是不一样,是低了五倍:一百二十个错项里只有三个材料没提,英文那批是十七个。

这看着是好消息,只是一半。另一半是:错项不再「没提」之后,题就变形了——四十道题里有二十一道正确项落在第一位,另外三个错项变成从材料别处抄来的真话。

怎么测的

八段中文材料,一百六十七到二百零一字,用的是和英文那批同样的八个话题,这样比较才有落脚点:潮汐锁定、纳米布沙漠的雾浴甲虫、盾构机、咖啡因作为植物防御物质、菲涅尔透镜、蜜蜂摇摆舞、冻干速溶咖啡、死海。不是逐句翻译,是我按同样的话题重新用中文写的,这是一个变量,文末还会再说一次。

每段各调用一次 deepseek-flash,温度1.0,要五道四选一、恰一个正确项、下标0到3、JSON 返回。两遍都是八段材料各出五道,四十道一道不缺;这次没有空响应,中文输出短,九千 token 的帽子加上默认推理档也装得下。接着二百四十个错项逐个发给 deepseek-v4-pro,温度0,材料、题干、选项一起给,只让它从三个标签里选一个,并抄出依据句。另外每道题再单独作答一次:盖住答案键,只给材料、题干、四个选项,让它选一个并抄依据——这是答案键的复核,八十道全部与答案键一致。

判官给的标签,和题真正的问题

默认指令那一遍,判官把一百二十个错项里的六个判成「材料没提」。我把被标出来的九个逐条对着材料读了。六个「没提」里,三个是判错的,而且错在同一个方向。

错项与材料的关系判官给的逐条读过后
材料里有一句能直接否掉它113116
材料既没写它,也没否它63
材料支持它,但它不回答这道题11

看甲虫那道题。问的是栖息地一年降水多少,选项是十毫米、二十毫米、五十毫米、一百毫米,正确项二十毫米,材料写的是「一年降水常常不足二十毫米」。判官把五十毫米判成矛盾并抄了依据句,把一百毫米判成没提、依据句留空。两个数都在二十以上,五十能靠那句否掉,一百就能靠同一句否掉。这是判官前后不一致,不是这道题的性质。

另外两个是同一个毛病。一个错项说「千斤顶分组行程差保持为零」,而材料说轴线偏差正是靠千斤顶分组的行程差来纠正的,这句能直接否掉它;判官判了没提。一个说「不需要萃取,直接形成多孔骨架」,而材料第一步就是萃取,同样能被一句否掉;判官还是判了没提。判官实际敏感的是措辞:沿用材料里的词、只把数量翻个个儿,它判矛盾;把一句否定换个说法写,它判没提。

所以要带走的数是三,不是六:中文这批里真正没法用材料排除的错项是 3 个,而且都是短名词短语——沙丘高度、十毫米、注浆速度与拼装速度匹配。最后这个最能说明问题:材料里是「排土速度与开挖速度匹配」,它把这一对换成另一对,认真读过材料的学生能排掉,没读过的排不掉。

和英文那批比

同一套流程、同样的模型、同样的判官,英文那批跑在 2026-11-14。英文的数字里已经含了我对十道题的手工复核。

英文八段(11-14)中文八段(今天)
题数4040
材料没提的错项173
占一百二十个错项的比例14%2.5%
带这类错项的题四十道里十道四十道里三道
选项平均字符数37.08.7
正确项是最长选项四十道里二十四道,60%四十道里十六道,40%

十七比三,样本小,能说清的是方向,说不清的是幅度。比计数更能说明机制的是选项长度:中文错项平均 8.7 个字,英文 37.0 个字符。中文这边出的是填空题形状——一句话的题干,问一个数量或一个术语,再配三个候选词。候选词得从材料的某处来才像样,于是通常都能对着某一句核。英文那边出的是整句判断,把太阳能板、海水淡化厂这类材料外的细节整段写进来,从前没提过,自然就没法核。英文那批里「没提」的错项比平均选项更长,40.5 对 34.6 个字符,这就是整句型干扰项的指纹。

对老师来说,这不是「中文出题更安全」,是失败会换地方。中文题失败在不读材料也能答:像「一只甲虫一次能喝到多少水」这种题干,选项只差一个量词——百分之十几、百分之几、百分之几十——考的是注意力,不是阅读。这道题就在这批里,答案键没错,题基本没用。

同一行指令,换到中文

昨天那个补法不是在输出端过滤,是在请求里加约束:每个错项都必须能被材料里的一句话否掉,材料压根没提的不许写。翻成中文加进去,同样八段材料,模型、温度、题数都不动。

默认指令加一行可反驳
题数4040
材料没提的错项30
正确项落在A位四十道里十二道四十道里二十一道
正确项落在D位四十道里三道四十道里八道
选项平均字数8.715.5
正确项是最长选项40%42%
两遍都出现的题干四十道里一道

「没提」降到零,说明这条约束跨语言是通的。两个代价在中文这边比英文更大。选项长度几乎翻倍,8.7 到 15.5 个字,这在意料之中:可被材料否掉的干扰项必须带上让它能被否掉的那个细节。另一个是正确项的位置往前面挤,四十道里 A 位从十二道变成二十一道,D 位从三道变成八道。英文那批在同样一条指令下是往反方向走的,所以这是中文这边的模型习惯,不是约束本身的性质。要发纸质卷子,选项在代码里打乱,别指望模型自己均衡。

这个零也要加一句。能被否掉,不等于跟这道题有关。加了约束那批里有两道被标成「材料支持」,都不是外来内容。一道是搬来的真话:问「靠什么维持土舱压力、顶住掌子面」,一个选项是「激光导向系统测量轴线偏差」,这选项否得掉吗?否不掉,它在材料里是真的;作为答案,它不沾边。另一道是量词变体:问一只甲虫一次能喝多少水,选项是「百分之十几、百分之几、百分之几十、完全不喝水」,被标成「支持」的那个是材料原句削掉一个字的模糊版,既不是真话也不是外来错项。判官被问的是材料与选项的关系,不是选项答不答这道题,所以这两条都不算在「没提」里。禁止「没提」会把出题模型推向这个形状:不再编材料外的内容,改成从同一段材料里搬另外两句真话,或者把原句糊一糊。这个取舍老师能接受,但需要加一遍「这个选项答不答这道题、是不是只差一个量词」的检查,这次没做。

答案键不是问题

八十道题各自独立作答一次,盖住答案键,只给材料和四个选项,要下标加依据句。两套指令下都是四十道全对,八十道全对。这和英文那批一致,那边两遍也是四十道全对。这也划出了问题的边界:机器出的题,坏的不是答案键,是键以外的东西——英文坏在错项,中文坏在题的形状。

可以照抄的配置

中文出题指令,干活的是中间那行:

就下面这段材料出 {n} 道单项选择题,每题四个选项,只有一个是正确的,可以在材料中找到依据。
每个错误选项都必须能被材料里的某一句话直接否掉;材料压根没提的内容不许写成错误选项。
答案用0到3的下标表示。
返回 JSON:{"items":[{"stem":"题干","options":["选项一","选项二","选项三","选项四"],"answer":0}]}

材料:
{passage}

两个参数比看上去重要。max_tokens 给到九千、保留默认推理档,因为被截断的响应解析出来是「题少了」,不是「报错了」。生成温度给 1.0,两遍之间只有一道题干重复,说明比的确实是两套指令,不是同一批题换了个词。

审核的提示词四行就够:材料、题干、选项,三个标签——矛盾、没提、支持——外加逐字抄出依据句,判「没提」时依据句留空。要求抄句子,上面判官的前后不一致才露得出来;不要求,两个标签之间没有东西可比。脚本只用标准库,十路并发,二百四十个选项大约四分钟。

这测不出什么

中文材料是我按同样话题重写的,不是翻译,语言和文本一起变了;更干净的做法是把这八段英文机翻成中文,两版都跑。出题和判卷都是 DeepSeek 一家,判官在它标出来的少数选项上大约错一半,所以手工计数和它并排给。每套指令四十道题是小样本,十七比三只能当方向,不能当系数。中文的量词和数字让「没提」这个判断比英文更难,缺口里可能有一部分是测量误差。最要紧的那件事这次也没碰:没读过材料的学生能不能赢过读过的。那项只在英文材料上量过,八十道里七十一道能答对,中文要单独跑。

可以照着做的一条:材料是中文、题目要印出来,就加可反驳那一行,然后在代码里打乱选项,再自己读十道,专门找「只差一个量词」的干扰项。材料是英文,就审错项别只审答案键,到目前为止每一批的键都靠得住。九个免费出题工具各自能给到什么、免费额度怎么卡,在这篇:九个免费出题工具的实际边界。这篇对比的英文那批在这:一百二十个错项里十七个材料从没提过。九十六个英文答案键落在四个位置上的分布、其中五个在 D 位,在这篇:答案位置偏斜。带走两个数:中文一百二十个错项里 3 个材料没法排除,英文是 17 个;加一行可反驳之后两边都到零,代价是四十道里 21 道的正确项挤到了 A 位。

相关文章

接着那批不审选项了,改数覆盖:每段十道题压在 5.1 个句子上,正好等于段落句数,而「每题考不同句子」那一行没有改变任何数:一段材料到底能出几道题。

延伸阅读 · 含推广链接

API 账单分散在几家平台时,续费和管理都费神。合到一个账号下,成本和额度一眼看得清。

合并到一个账号 →

相关文章
2026-08-17
2026 伊斯坦布尔最佳 AI 数字人工具:7 款适合土耳其电商与广告的工具
2026-10-14
2026科克最佳AI播客剪辑工具:异地录制双人节目的5种选择
2026-08-12
Databricks Mosaic AI模型服务2026:配置、定价与何时胜过自托管
2026-08-14
文本生成 AI 图表 2026:6 个用提示词画图的免费工具
2026-08-10
AI法律工具2026:8个免费开源的检索与审查选项
2026-08-15
2026 新加坡最佳 AI 视频剪辑工具:内容创作者和中小企业适用 6 款

本站文章由编辑人工撰写,收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库,仅作信息参考,不构成付费推广。

💬 评论 (0)

暂无评论,来说两句吧~

登录后评论