AI 出题遇到表格:60 道照抄格子,18 道算出没单位的数
数字表本该出成要计算的题。实际回来的每道题,标答都是照抄的格子,干扰项是别的行的格子,考的是找行不是读列。
把一张表丢给出题工具,要求按行出题,回来的东西是可以预料的:第 1 题问南京 A 的 2024 年用水量,四个选项 41.2、44.9、30.4、38.8。十张表,六十道题,每一道的标答都是表里某个格子原文照抄。没有一道要学生动一次笔算。
这不是某一句提示词的偶然。这十张表每张三列数字,一共 180 个数据格,六十道题碰了其中 60 个,一题一个。一张本来就是为了练计算的表,出成了一道只考「找到这一行」的题:认得行名就能拿分。
怎么跑的
十张表,每张六行、三列数字,为这次测试造的:灌溉用水按地块和年份、食堂按窗口和月份、气象站、图书馆借阅、产线、公交线路、水厂、光伏电站、门诊、果园,共 180 个格子。数字由我定,所以表本身就是标准答案;测的是模型面对这种表的行为,不是哪家工厂的真实数据。
同一批表跑两次。第一次要求正好六道题,第 1 题关于第 1 行,四选一,答案能从表里查到。第二次形状一样,但每道题必须让学生算一次,标答不能是表里印着的数,模型要把算式写出来。出题模型 deepseek-flash,温度 0.8,每轮十次调用:第一轮 17.8 秒、21,077 token,第二轮 265.5 秒、23,668 token。然后每道题盲答一遍,给表不给答案,温度 0:第一轮 25,532 token,第二轮 22,056。
第一轮:六十道题,六十个照抄的格子
| 数的东西 | 60 道里 |
|---|---|
| 标答就是表里一个格子,原文照抄 | 60 |
| 要求学生动手算一次的 | 0 |
| 三个干扰项全是同列别的行的数 | 40 |
| 标答出自题目指定的那一行 | 60 |
| 盲答与标答一致 | 60 |
行对得上得满分:60 道题的标答全部出自题目指定的那一行,行号它是认真读的。它不做的是把两个格子放在一起。干扰项也不是编的:60 道里有 40 道,三个错误选项全是同一列里别的行的数——题干写着行名,把行名和那个唯一的「本行数字」对一下就选出来了。标答落在第一项 23 次、第二项 16 次、第三项 15 次、第四项 6 次,这个偏第一项的习惯跟材料出题那次的答案位置偏置一样。
第二轮:它算,而且算对了
要计算就有计算。60 道题全部动了两列;60 道里有 59 道的标答是表里根本印不出来的数(第 60 道撞了车:0.55 − 0.31 = 0.24,而水厂第一行的浑浊度正好也是 0.24)。我按表把每一道重新算了一遍,手算加脚本:60 道标答全部算对,保留位数也按题干要求。
所以问题不在加法上,在加的是什么。
十八个没有单位的数
| 哪张表 | 题怎么问的 | 算式 | 标答 |
|---|---|---|---|
| 气象站 | 年降水量与无霜期天数的平均数 | (731.4 + 231) / 2 | 481.2 |
| 气象站 | 年降水量与无霜期天数的和 | 967.3 + 262 | 1229.3 |
| 水厂 | 出厂浊度与余氯的平均数 | (0.24 + 0.62) / 2 | 0.43 |
| 门诊 | 平均候诊分钟数加复诊率 | 24.5 + 18.2 | 42.7 |
| 果园 | A 级果率减去糖度 | 79.6 − 14.1 | 65.5 |
采用的尺子:参与运算的两个数单位不同,被直接相加、相减、求平均,或者互相算百分比变化。按这条尺子数出 18 道:气象站 6 道里 3 道,水厂 6 道里 5 道,光伏 6 道里 4 道,门诊 6 道里 4 道,果园 6 道里 2 道。还有 1 道把「每天件数」的产量和不良数相加,单位一样,语义重复,不计入这 18 道。
它根本不看的那几列
十张表里有六张带百分比列:节水率、剩饭率、逾期率、一次通过率、准点率、可用率。两轮六十道题,这六列一次没用。气象站那张表的平均气温列也没用,可那偏偏是表里唯一能和别的站比一比的量。它固定先取第一列和第二列,然后就停了。
| 把两个单位不同的数直接算 | 题数 |
|---|---|
| 气象站:降水量(毫米)跟无霜期(天) | 6 道里 3 道 |
| 水厂:浑浊度(NTU)跟余氯(mg/L)、日供水量 | 6 道里 5 道 |
| 光伏:装机(MW)跟发电量(GWh) | 6 道里 4 道 |
| 门诊:候诊分钟数跟复诊率 | 6 道里 4 道 |
| 果园:A 级果率跟糖度(Brix) | 6 道里 2 道 |
| 合计 | 60 道里 18 道 |
「再答一遍」看不出这些
两轮都做了盲答:表放进提示词,不给标答,同一个模型温度 0 再答。第一轮 60 道一致 60 道,第二轮 60 道一致 60 道。也就是说,拿「重答一遍看答案变不变」来复核,这 18 道没单位的题全部合格——第二个模型读同一张表,做同一道算术,得到同一个没有意义的数。
散文对照指向同一个机理。四段说明文,每段六句,一句一题,提示词形状相同:24 道里 23 道的标答,八成以上实词来自题目本该对应的那一句,平均重合 0.97。材料出题抄的是一整个从句,表格让复印件变成一个数字,所以表格版看着更干净,其实更糟。
这跟 11 月 20 日那次「两个模型盲答 188 道、改写 376 次、答案一次没动」是同一件事往下挖一层:掀不翻的不是答案,是这类题压根没让学生做表该让他做的那件事。
可以照抄的检查
出题时就让模型多写两个字段:这道题用了哪几列、做的是什么运算。然后拿单位表去筛:
import re
# 数字列的位置 -> 单位,按表给(label 列不算进去,位置从 1 开始)
UNITS = {
"weather": {1: "mm", 2: "C", 3: "day"},
"waterworks": {1: "NTU", 2: "mg/L", 3: "10k m3/day"},
"solar": {1: "MW", 2: "GWh", 3: "%"},
"clinic": {1: "count", 2: "min", 3: "%"},
"orchard": {1: "kg", 2: "Brix", 3: "%"},
# 灌溉、食堂、图书馆、产线、公交:第 1、2 列是同一类量
}
def op_of(stem, calc):
s, e = stem.lower(), str(calc).replace(" ", "")
if "percentage" in s or "percent of" in s or "*100" in e:
return "pct_change"
if re.search(r"\([^()]*\+[^()]*\)/\d", e):
return "mean"
if "-" in e: return "minus"
if "+" in e: return "plus"
if "/" in e: return "ratio"
return "none"
def unit_mix(table, cols, stem, calc):
# cols 是把算式里的数对回表格得到的列位置,calc 是模型自己写的算式
units = {UNITS[table][c] for c in cols}
return len(units) > 1 and op_of(stem, calc) in ("plus", "minus", "mean", "pct_change")
在这 60 道上,它返回 18 个题号,跟上面那张表一一对上,42 道在同一类量里做运算的题一个没误报。
这测不出什么
表是造的,数字是我定的,不是任何一所学校、一家工厂、一个站点的真实数据;换一批数,它抓错列对的次数可能变。一个模型家族,出题温度 0.8、盲答温度 0,两种提示词各一次。18 这个数是按上面那条尺子人工判的,尺子放宽(不同单位之间做任何运算都算,相除也算,降水量除无霜期、亩产除糖度都进来,可每公里客流这种正常指标也跟着进来)会标到 36 道。没有学生真做过这些题,所以这里没有课堂正确率。盲答跟出题共用同一套盲区,这正是它全对的原因。
可以直接拿去用的:面对数字表,这个模型默认出「找格子」的题,只有明说才出「算一次」的题,所以提示词里得写清楚要哪一种。明说之后,算术 60 次对 60 次,同时 60 次里有 18 次把毫米和天加在一起——该复核的是单位和你想考的那一列,不是加法。带走两个数:60 道里 60 道在不提要求时标答照抄表格,60 道里 18 道算出来的答案没有单位。这些提示词要塞进去的九个免费工具,在免费出题工具的实际边界;十道题能覆盖材料多少,在覆盖计数;重答一遍为什么查不出错,在答案重查实测;能拦住这类题的检查,在六项体检;批改工具的免费额度,在批改额度实测。
相关文章
本站文章由编辑人工撰写,收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库,仅作信息参考,不构成付费推广。