AI出题的答案重答一遍查不出错

🔧 AI工具 2026-11-20 约 21 分钟阅读

「再答一遍」看着是复核标答最直接的办法。量下来,188 道一致 188 道,而这些题的正确项大多是从材料里抄的,这么查什么也查不出。

📜 目录

老师复核 AI 出的题,绕来绕去都是一句话:标答对不对。我拿 188 道题想把答案掀翻,没掀动。两个模型盲答,各 188 道,全都落在标答上。再把题干改写 376 次重答一遍,376 次答案一次没变。

这个结果没听着那么让人放心。答案掀不动,是因为它几乎不可能错:27% 的正确项是从材料里逐字抄来的,188 道里有 106 道的正确项,八成以上实词落在同一句材料里,题干怎么改,指向的还是那个选项。麻烦在外面一层:188 道里有 74 道(39%),一个错误选项同样能引出材料原句来辩护;其中 37 道,辩护句和正确项用的是同一句。

怎么跑的

二十八段材料,英文 22 段、每段一百一十八到一百三十三词,中文 6 段,用的还是 11 月 18 日那次选项线索体检的同一批。英文每段出 8 道,中文每段出 5 道,四选项,正确项要在材料里找得到依据,模型 deepseek-flash,温度 0.8:28 次调用 42.4 秒,要 206 道,回来形状合格的有 188 道——四条选项缺一条、序号越界的都丢掉。输入 7,639 token,输出 27,016。

188 道题上跑三遍。盲答:给材料、题干、四个选项,不给答案,deepseek-flash 温度 0 和 deepseek-v4-pro 各答一遍,376 次调用 62.3 秒,输入 121,936 token。改写:让模型在看不到答案的情况下把题干重写两遍,四个选项原样不动,题干平均从 47.3 字变成 54.6 字,跟原题的实词重合度平均 0.44,等于换掉一半的词;两个改写各盲答一次,376 次调用 209.7 秒。辩护:把标答亮出来、并禁止选它,让模型指出一个学生能辩护的错误选项,并把材料里支持它的那句抄出来,188 次调用 376.2 秒。抄回来的 74 句,逐句核对过,全在材料里。

一次都没动

检验怎么跑的与标答一致的题数
换模型盲答188 道,deepseek-v4-pro,不给答案188
同模型盲答,温度 0188 道,deepseek-flash,不给答案188
改写题干后再答188 道 x 2 个改写 = 376 次作答376 次全部没变

两个模型家族,376 次盲答,跟标答没有一次分歧。改写那一遍是更狠的检验:改写题干的模型看不到答案,没有理由去保住原来那点线索,结果 376 次作答还是全落在标答上,英文 256 次、中文 120 次。

抄材料的答案,这两种检验都过

正确项是材料里逐字的一段,188 道里有 106 道八成实词在同一句,这种题靠对字面就能答。题干改了字面还对得上,换个模型来字面照样对得上。这跟 11 月 12 日把材料藏起来还有 71/80 能被答出是同一个机理,也跟 11 月 18 日选项措辞露答案是同一件事。按这个法子出的题,任何「重答一遍」的复核都能过,题本身好不好是另一回事。

会让老师跟学生争起来的那些题

数出来的东西题数
有一个错误选项,能引出材料原句来辩护188 道里 74 道(39%)
其中,被辩护的那个选项本身也有八成实词落在同一句里74 道里 32 道
其中,辩护句和正确项用的是同一句74 道里 37 道
其中,辩护被模型自己评为「强」的(其余都是「弱」)74 道里 0 道
其中,也被下面那条选项计数标出来的74 道里 46 道
选项计数标出来的:两个以上选项有八成实词在同一句188 道里 60 道(32%)
模型说得出、计数没标的28 道
计数标了、模型说不出的26 道
两份名单合起来188 道里 88 道(47%)

74 道里的三道,原文照抄:

题目标答学生能辩护的错误选项他会引的那一句
内部施胶剂在造纸的什么时候加入?成纸之前加进纸浆只在施胶辊那里作为薄膜加表面施胶是在施胶辊处涂一层淀粉或聚合物薄膜。
蜂蜜结晶最快的温度大约是多少?13 到 14 度50 到 51 度把结晶的蜜加热到五十度左右,晶体又会溶回去…
残留的对准误差叫什么?套刻(overlay)漂移(drift)曝光时的硅片加热、镜头漂移和工件台振动都会在一次曝光里推动套刻…

这 74 道,辩护的模型自己全都评成「弱」,没有一道评「强」:只要把题干读仔细,每一道都分得清。风险就是这个形状——不是答案错,是干扰项拿了一句真材料搭出来,看漏一句的学生丢一分,老师还得多花五分钟解释。名单里 37 道的辩护句就是正确项那一句,坏在换了半句;另外 37 道是从材料别处搬来一句。

两份名单差 54 道

机器数选项:188 道里 60 道(32%)有两个以上选项,八成实词落在同一句材料里;55 道只有一个,73 道一个都没有。这份计数和模型那份辩护名单,重合 46 道,分歧 54 道——28 道模型说得出、计数没标,26 道计数标了、模型说不出。合起来 88 道,占全卷 47%,十道题的卷子拿这个去复核太奢侈。交集 46 道,占四分之一,这份名单才值得人看。

人工读的那 12 道

随机抽 12 道,英文 6 道、中文 6 道,种子 1120,在屏幕上不带模型答案看的:12 道标答全对,没有一道有两个说得通的选项。题号记下来:papersizing 第 8 题、battery 第 2 题、sourdough 第 8 和第 3 题、ballast 第 6 题、firstcrack 第 4 题、水轮机初二第 5 题、锂电池初二第 5 题、道岔初二第 1 和第 2 题、探空初二第 2 题、盐碱初二第 4 题。12 道证明不了这一批都干净,只够说明前面那几遍自动检查没漏掉明显的错。

可以照抄的检查

把题导出成 JSON,每道题带 id、options、answer 和出题用的那段 passage,跑下面这段。

import json, re, sys

STOP = set("a an the of in on at to for from by with and or but if then that this these is are was were be been "
           "it its as which who what when where why how not no more most such into over under between".split())

def words(s):
    return [w for w in re.findall(r"[a-z][a-z'-]+", s.lower()) if w not in STOP and len(w) > 2]

def flat(s):
    return re.sub(r"[^a-z0-9 ]+", " ", s.lower())

def support(option, passage):
    cw = words(option)
    if not cw:
        return 0.0
    best = 0.0
    for s in re.split(r"(?<=[.!?])\s+", passage):
        f = flat(s)
        best = max(best, sum(1 for w in cw if w in f) / len(cw))
    return best

for it in json.load(open(sys.argv[1])):
    n = sum(1 for o in it["options"] if support(o, it["passage"]) >= 0.8)
    if n >= 2:
        print(it["id"], n)

在这一批上,它打印出 60 个题号。占全卷超过两成,要复核的是措辞,不是答案。别把时间花在重答一遍上:这 188 道它什么都没查出来,这种题它也查不出东西来。

这测不出什么

一家厂商的两个模型,温度 0 和 0.8,28 段说明文:没有诗,没有实验报告,没有数学。没有人真的做这些题,所以这里没有观察到的课堂错误率。八成是个人为阈值,往下调,标出来的题多了,误报也跟着多。改写是同一个模型家族写的,它可能顺手保住了让答案一眼可辨的那点线索;换成人来改写,翻掉的可能不止 0 道。辩护那一遍给了标答,用来判「这道题该不该算分」是对的,用来判「这题能不能被答出」是错的。

可以直接拿去用的:188 道题上,重答一遍——换模型也好、改写题干也好——一道错答案都没查出来,而正确项抄材料的题,按结构就不可能在这两种检验里翻车。复核对时间该花在 46 道上,那是模型和计数同时指到两个选项的题。带走两个数:188 道里 188 道盲答与标答一致,188 道里 74 道有一个错误选项能引出材料原句。这些提示词要塞进去的九个免费工具,在九个免费出题工具的实际边界;年级那个开关实际做了什么,在年级开关实测;十道题能覆盖材料多少,在覆盖计数;一套卷子发出去之前值得跑的几道检查,在六项体检。

相关文章

重答一遍也看不见这一类:两轮各 60 道,盲答都是 60 对 60,包括 18 道把毫米和天加在一起的题:表格出题实测。

延伸阅读 · 含推广链接

API 账单分散在几家平台时,续费和管理都费神。合到一个账号下,成本和额度一眼看得清。

合并到一个账号 →

相关文章
2026-11-13
AI出题工具:标成「难」的16道题,闭卷还能答对12道
2026-08-06
开源AI头像生成器:SadTalker、LivePortrait 等
2026-08-18
2026 演员最佳 AI 职业照生成器:6 款适合选角与 Spotlight
2026-08-12
免费LLM API平台2026:零成本跑自己的OpenAI兼容网关
2026-08-02
LLM评估框架2026:用Promptfoo像OpenAI一样测试提示词
2026-07-26
Claude Cowork:Anthropic协作平台

本站文章由编辑人工撰写,收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库,仅作信息参考,不构成付费推广。

💬 评论 (0)

暂无评论,来说两句吧~

登录后评论