AI出题的答案重答一遍查不出错
「再答一遍」看着是复核标答最直接的办法。量下来,188 道一致 188 道,而这些题的正确项大多是从材料里抄的,这么查什么也查不出。
老师复核 AI 出的题,绕来绕去都是一句话:标答对不对。我拿 188 道题想把答案掀翻,没掀动。两个模型盲答,各 188 道,全都落在标答上。再把题干改写 376 次重答一遍,376 次答案一次没变。
这个结果没听着那么让人放心。答案掀不动,是因为它几乎不可能错:27% 的正确项是从材料里逐字抄来的,188 道里有 106 道的正确项,八成以上实词落在同一句材料里,题干怎么改,指向的还是那个选项。麻烦在外面一层:188 道里有 74 道(39%),一个错误选项同样能引出材料原句来辩护;其中 37 道,辩护句和正确项用的是同一句。
怎么跑的
二十八段材料,英文 22 段、每段一百一十八到一百三十三词,中文 6 段,用的还是 11 月 18 日那次选项线索体检的同一批。英文每段出 8 道,中文每段出 5 道,四选项,正确项要在材料里找得到依据,模型 deepseek-flash,温度 0.8:28 次调用 42.4 秒,要 206 道,回来形状合格的有 188 道——四条选项缺一条、序号越界的都丢掉。输入 7,639 token,输出 27,016。
188 道题上跑三遍。盲答:给材料、题干、四个选项,不给答案,deepseek-flash 温度 0 和 deepseek-v4-pro 各答一遍,376 次调用 62.3 秒,输入 121,936 token。改写:让模型在看不到答案的情况下把题干重写两遍,四个选项原样不动,题干平均从 47.3 字变成 54.6 字,跟原题的实词重合度平均 0.44,等于换掉一半的词;两个改写各盲答一次,376 次调用 209.7 秒。辩护:把标答亮出来、并禁止选它,让模型指出一个学生能辩护的错误选项,并把材料里支持它的那句抄出来,188 次调用 376.2 秒。抄回来的 74 句,逐句核对过,全在材料里。
一次都没动
| 检验 | 怎么跑的 | 与标答一致的题数 |
|---|---|---|
| 换模型盲答 | 188 道,deepseek-v4-pro,不给答案 | 188 |
| 同模型盲答,温度 0 | 188 道,deepseek-flash,不给答案 | 188 |
| 改写题干后再答 | 188 道 x 2 个改写 = 376 次作答 | 376 次全部没变 |
两个模型家族,376 次盲答,跟标答没有一次分歧。改写那一遍是更狠的检验:改写题干的模型看不到答案,没有理由去保住原来那点线索,结果 376 次作答还是全落在标答上,英文 256 次、中文 120 次。
抄材料的答案,这两种检验都过
正确项是材料里逐字的一段,188 道里有 106 道八成实词在同一句,这种题靠对字面就能答。题干改了字面还对得上,换个模型来字面照样对得上。这跟 11 月 12 日把材料藏起来还有 71/80 能被答出是同一个机理,也跟 11 月 18 日选项措辞露答案是同一件事。按这个法子出的题,任何「重答一遍」的复核都能过,题本身好不好是另一回事。
会让老师跟学生争起来的那些题
| 数出来的东西 | 题数 |
|---|---|
| 有一个错误选项,能引出材料原句来辩护 | 188 道里 74 道(39%) |
| 其中,被辩护的那个选项本身也有八成实词落在同一句里 | 74 道里 32 道 |
| 其中,辩护句和正确项用的是同一句 | 74 道里 37 道 |
| 其中,辩护被模型自己评为「强」的(其余都是「弱」) | 74 道里 0 道 |
| 其中,也被下面那条选项计数标出来的 | 74 道里 46 道 |
| 选项计数标出来的:两个以上选项有八成实词在同一句 | 188 道里 60 道(32%) |
| 模型说得出、计数没标的 | 28 道 |
| 计数标了、模型说不出的 | 26 道 |
| 两份名单合起来 | 188 道里 88 道(47%) |
74 道里的三道,原文照抄:
| 题目 | 标答 | 学生能辩护的错误选项 | 他会引的那一句 |
|---|---|---|---|
| 内部施胶剂在造纸的什么时候加入? | 成纸之前加进纸浆 | 只在施胶辊那里作为薄膜加 | 表面施胶是在施胶辊处涂一层淀粉或聚合物薄膜。 |
| 蜂蜜结晶最快的温度大约是多少? | 13 到 14 度 | 50 到 51 度 | 把结晶的蜜加热到五十度左右,晶体又会溶回去… |
| 残留的对准误差叫什么? | 套刻(overlay) | 漂移(drift) | 曝光时的硅片加热、镜头漂移和工件台振动都会在一次曝光里推动套刻… |
这 74 道,辩护的模型自己全都评成「弱」,没有一道评「强」:只要把题干读仔细,每一道都分得清。风险就是这个形状——不是答案错,是干扰项拿了一句真材料搭出来,看漏一句的学生丢一分,老师还得多花五分钟解释。名单里 37 道的辩护句就是正确项那一句,坏在换了半句;另外 37 道是从材料别处搬来一句。
两份名单差 54 道
机器数选项:188 道里 60 道(32%)有两个以上选项,八成实词落在同一句材料里;55 道只有一个,73 道一个都没有。这份计数和模型那份辩护名单,重合 46 道,分歧 54 道——28 道模型说得出、计数没标,26 道计数标了、模型说不出。合起来 88 道,占全卷 47%,十道题的卷子拿这个去复核太奢侈。交集 46 道,占四分之一,这份名单才值得人看。
人工读的那 12 道
随机抽 12 道,英文 6 道、中文 6 道,种子 1120,在屏幕上不带模型答案看的:12 道标答全对,没有一道有两个说得通的选项。题号记下来:papersizing 第 8 题、battery 第 2 题、sourdough 第 8 和第 3 题、ballast 第 6 题、firstcrack 第 4 题、水轮机初二第 5 题、锂电池初二第 5 题、道岔初二第 1 和第 2 题、探空初二第 2 题、盐碱初二第 4 题。12 道证明不了这一批都干净,只够说明前面那几遍自动检查没漏掉明显的错。
可以照抄的检查
把题导出成 JSON,每道题带 id、options、answer 和出题用的那段 passage,跑下面这段。
import json, re, sys
STOP = set("a an the of in on at to for from by with and or but if then that this these is are was were be been "
"it its as which who what when where why how not no more most such into over under between".split())
def words(s):
return [w for w in re.findall(r"[a-z][a-z'-]+", s.lower()) if w not in STOP and len(w) > 2]
def flat(s):
return re.sub(r"[^a-z0-9 ]+", " ", s.lower())
def support(option, passage):
cw = words(option)
if not cw:
return 0.0
best = 0.0
for s in re.split(r"(?<=[.!?])\s+", passage):
f = flat(s)
best = max(best, sum(1 for w in cw if w in f) / len(cw))
return best
for it in json.load(open(sys.argv[1])):
n = sum(1 for o in it["options"] if support(o, it["passage"]) >= 0.8)
if n >= 2:
print(it["id"], n)
在这一批上,它打印出 60 个题号。占全卷超过两成,要复核的是措辞,不是答案。别把时间花在重答一遍上:这 188 道它什么都没查出来,这种题它也查不出东西来。
这测不出什么
一家厂商的两个模型,温度 0 和 0.8,28 段说明文:没有诗,没有实验报告,没有数学。没有人真的做这些题,所以这里没有观察到的课堂错误率。八成是个人为阈值,往下调,标出来的题多了,误报也跟着多。改写是同一个模型家族写的,它可能顺手保住了让答案一眼可辨的那点线索;换成人来改写,翻掉的可能不止 0 道。辩护那一遍给了标答,用来判「这道题该不该算分」是对的,用来判「这题能不能被答出」是错的。
可以直接拿去用的:188 道题上,重答一遍——换模型也好、改写题干也好——一道错答案都没查出来,而正确项抄材料的题,按结构就不可能在这两种检验里翻车。复核对时间该花在 46 道上,那是模型和计数同时指到两个选项的题。带走两个数:188 道里 188 道盲答与标答一致,188 道里 74 道有一个错误选项能引出材料原句。这些提示词要塞进去的九个免费工具,在九个免费出题工具的实际边界;年级那个开关实际做了什么,在年级开关实测;十道题能覆盖材料多少,在覆盖计数;一套卷子发出去之前值得跑的几道检查,在六项体检。
相关文章
- 2026年AI虚拟形象生成器:SadTalker(1.4万星)对比LivePortrait,让照片开口说话
- 代账该用哪种收据工具:12 美元包干与按张计价的交叉点算给你看
- Claude Code 香港能用吗?支付、访问、网络全攻略(2026 实测)
重答一遍也看不见这一类:两轮各 60 道,盲答都是 60 对 60,包括 18 道把毫米和天加在一起的题:表格出题实测。
本站文章由编辑人工撰写,收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库,仅作信息参考,不构成付费推广。