AI出题的解析:抄对原句不等于讲清

🔧 AI工具 2026-11-17 约 28 分钟阅读

生成的解析可以逐字引用材料,却仍然没讲清这道题:把引用换成隔壁那句,任何字符串检查都放行,只有读一遍才能拦。便宜的确定性检查只能抓住四种故障里的一种。

📜 目录

AI 出题解析验收:80 条坏解析判官拦 78,逐字比对只拦 44
八十条按四种方式弄坏的解析:两问判官拦下七十八;逐字引用检查拦下四十四,引错句那批二十条它一条都没拦;一百四十条真解析零误伤。2026-11-17 实跑。

出题工具每道题都给一段解析,老师把它当第二道保险:答案要是错了,解析读起来会别扭。这道保险成立的前提是有人核过解析,而没人核。所以我故意写了八十条坏解析,混进一百四十条真解析里,一起交给一个判官模型。

八十条里判官拦下七十八。最容易被先做出来的那道检查,引用句是否逐字出现在材料里,拦下四十四条,而那些「引用真句子、讲错题」的解析,它二十条全放行。字符串比对回答的问题,比要回答的那个问题窄得多。

怎么跑的

十二段一百一十八到一百三十三词的材料,为这次测试写的:酸面团微生物、南极冰芯、斜拉桥阻尼、纸张施胶、蜂蜜结晶、道砟捣固、意式浓缩的粉饼阻力、低轨卫星阻力、风机叶片前缘侵蚀、咖啡一爆、光刻套刻、防雷。每段四到六句。

每段发给 deepseek-flash,温度 1.0,各跑两次。普通那条要五道题,四个选项、一个正确项、一到两句解释为什么对。第二条加了一段:解析必须以材料里那句定案的句子开头,用双引号逐字照抄,后面接一句自己的话;找不到能定案的句子,就不要写这道题。

二十四个调用,一百二十道题,一道没丢,也没有格式坏掉的 JSON。第二条那个「宁可少写」的出口一次没用上:每道题都找到了可抄的句子。

强制逐字引用买到了什么

普通提示词强制逐字引用
回来的题数6060
解析里带引用的条数060
引用能在材料里逐字找到060
解析平均字符数120.1250.8
判官:解析讲得清正确项6060
判官:说了材料里没有的事实00
解析词面偏向错误选项10

普通提示词下,六十条解析里没有一条带引用,全是正确选项的改写,而且短,平均一百二十个字符。强制引用之后,每条解析都以材料原句开头,每一句都能在材料里逐字找到,长度翻倍。代价就是这个:解析长了约一百三十个字符。

它买不到的是「解析讲得对」。六十条引用都是真的,而一句真话也可以是错的那一句。判官对两批都给了一百二十分之六十的全票通过,单看这个数会以为解析本来就没问题。所以才有了下一段:一个什么都放行的判官等于没有关卡,得给它确定坏掉的东西。

八十条坏解析

从带引用的那批里取二十道题,每道做四种损坏:

C1,方向错。把解析改写成自信地论证旁边那个错误选项,风格、长度都不动。这是老师最怕的一种,解析在教错答案。

C2,塞事实。保留原解析,加一条具体、笃定、材料里没有的细节,一个数字、一个名字或者一个机理。

C3,换空话。换成「本题考查对材料的理解,正确选项与材料表述一致」这类话。它对每道题都成立,因此什么也没解释。

C4,引错句。结构和后半句都保留,只把引用换成同一段材料里另一句,挑与正确选项词重合最低的那句。引用依然逐字为真,关于正确项的话也还在,两者不再相连。

八十条全部发给 deepseek-v4-pro,温度 0,材料、题干、正确项一起给,只问两件事:只读解析,能不能看出为什么正确项是对的;解析有没有说出材料里没有的事实。

这一批条数判官说讲得清正确项判官标材料外事实逐字引用检查放行
原解析(对照)2020020
C1 论证一个错误选项200206
C2 塞进一条材料外的事实20202010
C3 换成通用空话20000
C4 引用换成同一材料另一句202820

顺着第三列往下看。真解析二十条全过,判官也没有对着它们编出「材料外事实」的指控,说明这道关不是图章。C1 死得很彻底,二十条全被拒,而且判官同时把二十条都标成「材料外事实」——为错误选项写的解析,必须从材料外面搬东西进来,判官看出来了。C2 是最值得看的一行:第一问它过了,因为解析确实在讲正确项;第二问把它拦住,二十条全标材料外事实。C3 是零,但这一格算不上硬证据:空话是中文写的、题是英文的,光凭语言就能认出来。真正有分量的是 C4。

字符串检查问错了问题

第五列是逐字检查,就一行:引用那句在不在材料里。对 C4 它二十条全放行,因为构造上引用本来就是真句子;对 C2 放行十条,因为编的事实是接在真引用后面的。八十条坏解析里它一共拦下四十四条:方向错的十四条、塞事实的十条、空话二十条。「引错句」那批,零条。它抓的是「没抄」的那几种,抓不住「抄错句」的那种。

我又试了第二条便宜检查:数解析里有多少实词从未在材料中出现,超过三个就报警。它在二十条真解析上报了十八条。改写绕不开材料里没有的词,这条检查量的是「有没有改写」,不是「有没有错」。十次报警九次是假,那不是关卡。

规律可以说得直白一点。确定性检查能看的是解析的表面,词在不在;而缺陷长在解析与题目的关系里。这个关系只有读得懂的人能判,而这个「人」可以是模型,只要你问的是那个窄问题,并且把正确项交给它。

两个例子

C4 被抓的一条。题目:酸面团里的酵母产生什么?正确项:二氧化碳。解析:「酸面团是面粉和水里野生酵母与乳酸菌的培养物。」紧接着一句:这句话直接指明二氧化碳是酵母的产物。引用每个词都在材料里,而这句话没有一处提到二氧化碳。学生拿引用去材料里核对,能找到,于是信了,却仍然不知道答案为什么对。判官给的是 settles: no。

C2 被第二问抓住的一条。原解析最后是那句定义,被改成了「其中的细菌常见的是旧金山乳杆菌」。这个菌真实存在,材料里没有。判官第一问放行、第二问标记。这个分裂才是有用的部分:一段解析可以方向正确,同时教给学生一个材料从没给过的事实。

C1 被抓的一条。「选项 1 正确:材料把酸面团描述成放在冰箱里保存的酵母混合物,原文说『在冰箱里放一周的面团仍然发酵,只是很慢』。」引用是真的,推论是反的:材料说的是冷藏让发酵变慢,不是冷藏定义了酸面团。

可以照抄的两条提示词

出题那条,加强制引用:

就下面这段材料出 {n} 道单项选择题,每题四个选项,只有一个是正确的,可以在材料中找到依据。
每道题加一个 explanation 字段:以材料里定案的那句开头,用双引号逐字照抄,后面接一句你自己的话,告诉学生这句话为什么能定这道题。
找不到能定案的句子,就不要写这道题;宁可少写,也不要写一道抄不出句子的题。
返回 JSON:{"items":[{"stem":"题干","options":["选项一","选项二","选项三","选项四"],"answer":0,"explanation":"..."}]}

材料:
{passage}

判官那条,一道题一次调用:

读下面这段材料、一道选择题、它的标准答案,以及要展示给学生的解析。只回答两个问题。
1. 只读解析,能不能看出为什么标准答案是对的,依据是材料?
2. 解析有没有说出材料里没有的事实?
返回 JSON:{"settles":"yes","outside":"no"}

材料:
{passage}

题目:{stem}
选项:
0. {o0}
1. {o1}
2. {o2}
3. {o3}
标准答案:{key}
解析:{explanation}

两问任一为「是」就退回。逐字检查放在它前面当免费的筛子,因为它不花钱,还能把「根本没引用」那一批先挡掉。词表检查可以删掉。别为了「更难」把标准答案从判官提示词里拿掉:拿掉之后它判的是「这个选项看着像不像对」,不是「解析支撑不支撑这个选项」,那是另一个问题。

还有一个把我卡了三次的操作细节。这里的判官是推理模型,思考过程算在同一份输出预算里。max_tokens 给 1500 时,容易的行一百六十个推理 token 就出结果,难的行把 1500 全花在思考上,返回空字符串,看起来完全像接口挂了。上限抬到 6000 才稳定。二十道题的判官调用,四路并发十五点二秒,一份三十道题的卷子过这道关,就是几十次调用、几秒钟。

这测不出什么

十二段一百一十八到一百三十三词的英文材料,每段五道题,一个生成模型(温度 1.0)、一个判官(温度 0),都是 DeepSeek,同厂偏好排除不掉。四种损坏是机器造的、都很钝:真正难缠的是那种语气笃定、把机理讲反的解析,老师日常遇到的就是这种,这次没测。C4 换的是与正确项词重合最低的那句,属于最容易识别的漂移;半支撑的漂移会更难。C3 混了语言变量。每格二十条是小样本,这里所有比率只代表这一批,不能当基准。

可以直接拿去用的:普通提示词给你的解析一条引用都没有;加一句强制引用,引用白拿,代价是长度翻倍;一个两问的判官,八十条坏解析拦下七十八,一百四十条真解析一条没误伤。不顶用的两道关恰好是最便宜的,也恰好是最先被搭起来的。

比这一切更早跑的那道关,是把导出的卷子当卷子读的六项检查,对照一万五千二百一十四道人写的题,在这篇:六项检查,用人写的题当基准。一段材料出十道题只覆盖五个句子、这件事怎么影响分数,在这篇:十道题只覆盖五个句子。九个免费出题工具各能给到什么、卡在哪,在这篇:九个免费出题工具的实际边界。带走两个数:八十条故意弄坏的解析,判官拦下 78 条;只靠逐字引用检查,拦下 44 条,但引错句那批是 0 条。

相关文章

延伸阅读 · 含推广链接

API 账单分散在几家平台时,续费和管理都费神。合到一个账号下,成本和额度一眼看得清。

合并到一个账号 →

相关文章
2026-08-15
2026 独立开发者最佳 AI 代码审查:6 款抓住你凌晨 2 点漏掉问题的工具
2026-08-14
免费 AI 日程助手 2026:5 个不按人头收费的工具
2026-08-12
AI提示词生成工具2026:自动生成更好的提示词
2026-08-15
2026 远程团队最佳 AI 翻译工具:6 款终结语言孤岛
2026-08-14
AI SEO 内容写作工具 2026:6 个能排名不被惩罚的工具
2026-10-18
2026 埃因霍温最佳 AI 会议记事:荷兰语与英语站会

本站文章由编辑人工撰写,收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库,仅作信息参考,不构成付费推广。

💬 评论 (0)

暂无评论,来说两句吧~

登录后评论