AI出题的年级开关:要十二年级,题干读起来是七八年级
年级字段看着像阅读难度的控制阀。量下来,它只把题干挪了四分之一的距离,而「一句话就能答」的比例还在八成以上。
年级是老师第一个会动的开关。填个数字,出来那个年级的题。我拿十段材料,每段分别按四年级、八年级、十二年级各出六道题,三十次调用一百八十道,然后用一条可读性公式量题干。八档年级的要求,换回来 2.11 档的结果;要十二年级,出来的题干读起来是 7.97,比一套写给三到九年级的科学题库还低。
后半段对年级开关更不利。十二年级那组,82% 的题,正确项的实词仍然集中在材料的一句话里,学生只要对字面就能答,不用读懂意思。把年级调高,这个数从 93% 降到 82%,就停在那儿了。
怎么跑的
十段英文材料,一百一十八到一百三十三词,取自 11 月 18 日那次选项线索体检的十六段:酸面团、冰芯、斜拉索、造纸施胶、蜂蜜、道砟、意式浓缩、卫星阻力、叶片磨蚀、咖啡一爆。每段每种年级要求出六道,四选项,正确项必须在材料里找得到依据。模型 deepseek-flash,温度 0.8,四十八次调用,62.7 秒,共 252 道题,没有一次少给。中文那边换了六段材料,每段在小学四年级、初中二年级、高中三年级各出四道。
提示词只改一句话:给「四年级的学生」「八年级的学生」「十二年级的学生」做,其余完全一样。可读性是 Flesch-Kincaid 年级值,0.39 乘每句词数,加 11.8 乘每词音节数,减 15.59;音节按元音组数,词尾不发音的 e 减一个。每道题干算一句,因为几乎每道题就是一个问句。这个约定是整套口径里最软的一处,后面会说。人类那条线是同一个函数跑 MMLU test(14,042 道里 13,977 道可算)和 ARC-Challenge test(1,172 道里 1,171 道),都在 ECS 上从 11 月那几次体检用的同一批 parquet 读。MMLU 平均 10.51,ARC 平均 8.39。
要四档,给一档
| 要的年级 | 题数 | 题干 FK 年级,均值 | 中位数 | 每道题干词数 | 落在要求上下两档内 |
|---|---|---|---|---|---|
| 四年级 | 60 | 5.86 | 5.86 | 10.1 | 28(47%) |
| 八年级 | 60 | 6.75 | 6.73 | 11.3 | 29(48%) |
| 十二年级 | 60 | 7.97 | 8.09 | 12.4 | 16(27%) |
看第一行和最后一行。要十二年级,题干落在 7.97,差不多等于「八年级再加一档」。斜率是八档要求换 2.11 档结果,26%。题干长度倒是跟着走,从 10.1 词到 12.4 词,而公式反应的主要就是这件事。
第三列还打掉一个期待。四年级那组,只有 47% 的题干落在要求上下两档内,57% 的题干跑到五年级以上;十二年级那组,97% 的题干落在十三年级及以下,六十道里有五十五道低于十二年级。两头都有误差,但大的那头的方向是:没有一道题比要求的更难。
天花板在材料那边
十段材料的 FK 平均 12.11,从酸面团的 10.15 到卫星阻力的 14.73。它们是整条链路上最难的文本,每道题干都从里面长出来。题干里 30% 到 37% 的词,材料里本来就有;而那些技术名词换不掉:问斜拉索那段的电解电容器,就得写 capacitor。
模型能改的只有边角。它加一个从句,把每道题干的词数从 10.1 推到 12.4,每词音节从 1.49 推到 1.58。这够让公式动一下,也大致就是老师会说的「问题变长了一点」,而不是「题变难了」。
交出来的年级,低于人类题库
MMLU 是研究生和职业题库,同一个公式平均 10.51;ARC-Challenge 写给三到九年级,平均 8.39。按十二年级生成的卷子回来是 7.97,比那套三到九年级的科学题库还低 0.42,比 MMLU 低 2.54。
这个差不等于题简单。短问句在 Flesch-Kincaid 上天生偏低,MMLU 的题干也常常长过十二个词。它能证明的是:老师填的那个数字,不是这份卷子实际读起来的数字,而且这个缺口是系统性的,不是随机抖出来的。
年级开关没改的部分
| 四年级 | 八年级 | 十二年级 | |
|---|---|---|---|
| 正确项在材料里逐字出现 | 21(35%) | 19(32%) | 15(25%) |
| 正确项八成以上的实词集中在同一句里 | 56(93%) | 51(85%) | 49(82%) |
| 题干里每个词的平均音节数 | 1.49 | 1.52 | 1.58 |
| 三个音节以上的词占比 | 9% | 12% | 14% |
| 题干里同时出现在材料中的词占比 | 37% | 34% | 30% |
后三行是词汇这一侧,几乎不动:从四年级到十二年级,二十个词里多一个三音节词,题干从材料里借词的比例少三个点。卷子说的还是那些事,用的还是那些词。
前两行才是判卷时真正要紧的。正确项逐字抄自材料的比例从 35% 掉到 25%,这是实打实的进步;正确项八成以上实词集中在同一句的比例从 93% 掉到 82%。也就是说,十二年级那组,五道题里有四道,学生找到一句话、对上字面就能答。如果调高年级的目的,是让学生动脑子推断,这个开关把这条数动了十一个点。
题是新的,难度不是
三组不是同样六道题换个说法。把同一段材料里每道四年级题干,跟最接近的十二年级题干比实词重合度,最佳配对的 Jaccard 均值 0.427,六十对里有十四对到 0.60,三对到 0.80,归一化之后完全相同的一道题只有 1 道。模型确实在出新题。
所以这个开关换的是考哪几句、怎么问,没换读起来的难度,也没换「一句话就能答」这条。照这次的数据,它是个挂着难度标签的文风开关。这跟 11 月 13 日难度标签那次的结论是一条线:标了「难」的题,不读材料被答对的比例,跟标「易」的差不多。
中文那一组更平
| 要的年级 | 题数 | 题干字数,均值 | 中位数 |
|---|---|---|---|
| 小学四年级 | 24 | 18.6 | 17.0 |
| 初中二年级 | 24 | 20.8 | 19.5 |
| 高中三年级 | 24 | 20.4 | 20.5 |
题干字数 18.6、20.8、20.4:初中和高中两组出来的题干一样长,小学和高中的字面相似度平均 0.262,二十四对里只有两对到 0.60。高中那档不是小学那档的加难版,是从同一个分布里另抽了一次。
中文没有 Flesch-Kincaid 的对应量,这一组只有长度和相似度。它多给的是一个排除:这个「平」不是英文公式造成的——换一种公式用不上的语言,同一个开关出来的卷子,变的还是措辞,不是数得出来的难度。
可以照抄的检查
把题导出成 JSON,形状跟这次一样,runs[].items[] 里带 stem、options 和从 0 开始的 answer,跑下面这段。它逐组打印平均年级值和你要求之间的差,再把「正确项直接抄自材料」的题列出来。
import re, sys, json
VOW = "aeiouy"
def syllable(w):
w = re.sub(r"[^a-z]", "", w.lower())
if not w:
return 0
n, prev = 0, False
for ch in w:
v = ch in VOW
if v and not prev:
n += 1
prev = v
if w.endswith("e") and not w.endswith(("le", "ee")) and n > 1:
n -= 1
return max(1, n)
def fk(text):
words = re.findall(r"[A-Za-z][A-Za-z'-]*", text)
if not words:
return None
sents = max(1, len(re.findall(r"[.!?](\s|$)", text.strip())))
syl = sum(syllable(w) for w in words)
return 0.39 * (len(words) / sents) + 11.8 * (syl / len(words)) - 15.59
def flat(s):
return " " + re.sub(r"[^a-z0-9 ]+", " ", s.lower()).strip() + " "
def report(path):
d = json.load(open(path))
for run in d["runs"]:
grades = [fk(i["stem"]) for i in run["items"]]
grades = [g for g in grades if g is not None]
if not grades:
continue
mean = sum(grades) / len(grades)
print("%-22s n=%d FK mean %.2f gap %+.2f" % (run["label"], len(grades), mean, mean - run["grade"]))
for run in d["runs"]:
p = d["passages"]["en"][run["label"].split("|")[0]]
for i in run["items"]:
key = flat(i["options"][i["answer"]])
if len(key.split()) >= 3 and key.strip() in flat(p):
print("%-22s verbatim key: %s" % (run["label"], key.strip()[:60]))
report(sys.argv[1])
在上面的数据上,四年级那组打印出 +1.86 的差,八年级是 -1.25,十二年级是 -4.03。两条判据可以留着:差值往任何一边超过两档,说明你填的数字没起你以为的作用;逐字抄材料的正确项超过 25%,说明有一大块题靠对字面就能做。
这测不出什么
一个模型、一个温度、十段英文材料加六段中文材料。材料都是说明文,这里的上限只对这类文本成立,不对诗歌或实验报告成立。Flesch-Kincaid 跑十个词的问句本身就不稳:公式把每道题干当一句,随便加个从句分数就上去,音节计数也会切错一些词。没有人真的去做这些卷子,这里没有观察到的难度,只有算出来的阅读年级和一条字面测试。一句话那条用的是机械定义——正确项八成以上实词落在同一句,阈值收紧,82% 会降,93% 也会跟着降。
可以直接拿去用的:要求十二年级,题干回来是 7.97,低于一套写给三到九年级题库的 8.39,而这批题里 82% 的正确项还是能在同一句里找到。这个开关值得填,因为它确实把问题变长了,也确实把抄答案的比例从 35% 压到 25%;但它不是阅读年级的控制阀。年级要对,就得控材料、限题干长度,然后量。十道题实际覆盖几个句子,在覆盖计数那篇;标了难易之后发生了什么,在标签校准;选项措辞怎么露答案,在线索体检;这些提示词要塞进去的九个免费工具,在九个免费[出题工具](/post/ai-quiz-closed-book-test-20261112)的实际边界。带走两个数:2.11 档,八档要求换回来的;82%,十二年级那组仍然一句话可答的比例。
相关文章
本站文章由编辑人工撰写,收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库,仅作信息参考,不构成付费推广。