AI出题的年级开关:要十二年级,题干读起来是七八年级

🔧 AI工具 2026-11-19 约 25 分钟阅读

年级字段看着像阅读难度的控制阀。量下来,它只把题干挪了四分之一的距离,而「一句话就能答」的比例还在八成以上。

📜 目录

年级是老师第一个会动的开关。填个数字,出来那个年级的题。我拿十段材料,每段分别按四年级、八年级、十二年级各出六道题,三十次调用一百八十道,然后用一条可读性公式量题干。八档年级的要求,换回来 2.11 档的结果;要十二年级,出来的题干读起来是 7.97,比一套写给三到九年级的科学题库还低。

后半段对年级开关更不利。十二年级那组,82% 的题,正确项的实词仍然集中在材料的一句话里,学生只要对字面就能答,不用读懂意思。把年级调高,这个数从 93% 降到 82%,就停在那儿了。

怎么跑的

十段英文材料,一百一十八到一百三十三词,取自 11 月 18 日那次选项线索体检的十六段:酸面团、冰芯、斜拉索、造纸施胶、蜂蜜、道砟、意式浓缩、卫星阻力、叶片磨蚀、咖啡一爆。每段每种年级要求出六道,四选项,正确项必须在材料里找得到依据。模型 deepseek-flash,温度 0.8,四十八次调用,62.7 秒,共 252 道题,没有一次少给。中文那边换了六段材料,每段在小学四年级、初中二年级、高中三年级各出四道。

提示词只改一句话:给「四年级的学生」「八年级的学生」「十二年级的学生」做,其余完全一样。可读性是 Flesch-Kincaid 年级值,0.39 乘每句词数,加 11.8 乘每词音节数,减 15.59;音节按元音组数,词尾不发音的 e 减一个。每道题干算一句,因为几乎每道题就是一个问句。这个约定是整套口径里最软的一处,后面会说。人类那条线是同一个函数跑 MMLU test(14,042 道里 13,977 道可算)和 ARC-Challenge test(1,172 道里 1,171 道),都在 ECS 上从 11 月那几次体检用的同一批 parquet 读。MMLU 平均 10.51,ARC 平均 8.39。

要四档,给一档

要的年级题数题干 FK 年级,均值中位数每道题干词数落在要求上下两档内
四年级605.865.8610.128(47%)
八年级606.756.7311.329(48%)
十二年级607.978.0912.416(27%)

看第一行和最后一行。要十二年级,题干落在 7.97,差不多等于「八年级再加一档」。斜率是八档要求换 2.11 档结果,26%。题干长度倒是跟着走,从 10.1 词到 12.4 词,而公式反应的主要就是这件事。

第三列还打掉一个期待。四年级那组,只有 47% 的题干落在要求上下两档内,57% 的题干跑到五年级以上;十二年级那组,97% 的题干落在十三年级及以下,六十道里有五十五道低于十二年级。两头都有误差,但大的那头的方向是:没有一道题比要求的更难。

天花板在材料那边

十段材料的 FK 平均 12.11,从酸面团的 10.15 到卫星阻力的 14.73。它们是整条链路上最难的文本,每道题干都从里面长出来。题干里 30% 到 37% 的词,材料里本来就有;而那些技术名词换不掉:问斜拉索那段的电解电容器,就得写 capacitor。

模型能改的只有边角。它加一个从句,把每道题干的词数从 10.1 推到 12.4,每词音节从 1.49 推到 1.58。这够让公式动一下,也大致就是老师会说的「问题变长了一点」,而不是「题变难了」。

交出来的年级,低于人类题库

MMLU 是研究生和职业题库,同一个公式平均 10.51;ARC-Challenge 写给三到九年级,平均 8.39。按十二年级生成的卷子回来是 7.97,比那套三到九年级的科学题库还低 0.42,比 MMLU 低 2.54。

这个差不等于题简单。短问句在 Flesch-Kincaid 上天生偏低,MMLU 的题干也常常长过十二个词。它能证明的是:老师填的那个数字,不是这份卷子实际读起来的数字,而且这个缺口是系统性的,不是随机抖出来的。

年级开关没改的部分

四年级八年级十二年级
正确项在材料里逐字出现21(35%)19(32%)15(25%)
正确项八成以上的实词集中在同一句里56(93%)51(85%)49(82%)
题干里每个词的平均音节数1.491.521.58
三个音节以上的词占比9%12%14%
题干里同时出现在材料中的词占比37%34%30%

后三行是词汇这一侧,几乎不动:从四年级到十二年级,二十个词里多一个三音节词,题干从材料里借词的比例少三个点。卷子说的还是那些事,用的还是那些词。

前两行才是判卷时真正要紧的。正确项逐字抄自材料的比例从 35% 掉到 25%,这是实打实的进步;正确项八成以上实词集中在同一句的比例从 93% 掉到 82%。也就是说,十二年级那组,五道题里有四道,学生找到一句话、对上字面就能答。如果调高年级的目的,是让学生动脑子推断,这个开关把这条数动了十一个点。

题是新的,难度不是

三组不是同样六道题换个说法。把同一段材料里每道四年级题干,跟最接近的十二年级题干比实词重合度,最佳配对的 Jaccard 均值 0.427,六十对里有十四对到 0.60,三对到 0.80,归一化之后完全相同的一道题只有 1 道。模型确实在出新题。

所以这个开关换的是考哪几句、怎么问,没换读起来的难度,也没换「一句话就能答」这条。照这次的数据,它是个挂着难度标签的文风开关。这跟 11 月 13 日难度标签那次的结论是一条线:标了「难」的题,不读材料被答对的比例,跟标「易」的差不多。

中文那一组更平

要的年级题数题干字数,均值中位数
小学四年级2418.617.0
初中二年级2420.819.5
高中三年级2420.420.5

题干字数 18.6、20.8、20.4:初中和高中两组出来的题干一样长,小学和高中的字面相似度平均 0.262,二十四对里只有两对到 0.60。高中那档不是小学那档的加难版,是从同一个分布里另抽了一次。

中文没有 Flesch-Kincaid 的对应量,这一组只有长度和相似度。它多给的是一个排除:这个「平」不是英文公式造成的——换一种公式用不上的语言,同一个开关出来的卷子,变的还是措辞,不是数得出来的难度。

可以照抄的检查

把题导出成 JSON,形状跟这次一样,runs[].items[] 里带 stem、options 和从 0 开始的 answer,跑下面这段。它逐组打印平均年级值和你要求之间的差,再把「正确项直接抄自材料」的题列出来。

import re, sys, json

VOW = "aeiouy"

def syllable(w):
    w = re.sub(r"[^a-z]", "", w.lower())
    if not w:
        return 0
    n, prev = 0, False
    for ch in w:
        v = ch in VOW
        if v and not prev:
            n += 1
        prev = v
    if w.endswith("e") and not w.endswith(("le", "ee")) and n > 1:
        n -= 1
    return max(1, n)

def fk(text):
    words = re.findall(r"[A-Za-z][A-Za-z'-]*", text)
    if not words:
        return None
    sents = max(1, len(re.findall(r"[.!?](\s|$)", text.strip())))
    syl = sum(syllable(w) for w in words)
    return 0.39 * (len(words) / sents) + 11.8 * (syl / len(words)) - 15.59

def flat(s):
    return " " + re.sub(r"[^a-z0-9 ]+", " ", s.lower()).strip() + " "

def report(path):
    d = json.load(open(path))
    for run in d["runs"]:
        grades = [fk(i["stem"]) for i in run["items"]]
        grades = [g for g in grades if g is not None]
        if not grades:
            continue
        mean = sum(grades) / len(grades)
        print("%-22s n=%d  FK mean %.2f  gap %+.2f" % (run["label"], len(grades), mean, mean - run["grade"]))
    for run in d["runs"]:
        p = d["passages"]["en"][run["label"].split("|")[0]]
        for i in run["items"]:
            key = flat(i["options"][i["answer"]])
            if len(key.split()) >= 3 and key.strip() in flat(p):
                print("%-22s verbatim key: %s" % (run["label"], key.strip()[:60]))

report(sys.argv[1])

在上面的数据上,四年级那组打印出 +1.86 的差,八年级是 -1.25,十二年级是 -4.03。两条判据可以留着:差值往任何一边超过两档,说明你填的数字没起你以为的作用;逐字抄材料的正确项超过 25%,说明有一大块题靠对字面就能做。

这测不出什么

一个模型、一个温度、十段英文材料加六段中文材料。材料都是说明文,这里的上限只对这类文本成立,不对诗歌或实验报告成立。Flesch-Kincaid 跑十个词的问句本身就不稳:公式把每道题干当一句,随便加个从句分数就上去,音节计数也会切错一些词。没有人真的去做这些卷子,这里没有观察到的难度,只有算出来的阅读年级和一条字面测试。一句话那条用的是机械定义——正确项八成以上实词落在同一句,阈值收紧,82% 会降,93% 也会跟着降。

可以直接拿去用的:要求十二年级,题干回来是 7.97,低于一套写给三到九年级题库的 8.39,而这批题里 82% 的正确项还是能在同一句里找到。这个开关值得填,因为它确实把问题变长了,也确实把抄答案的比例从 35% 压到 25%;但它不是阅读年级的控制阀。年级要对,就得控材料、限题干长度,然后量。十道题实际覆盖几个句子,在覆盖计数那篇;标了难易之后发生了什么,在标签校准;选项措辞怎么露答案,在线索体检;这些提示词要塞进去的九个免费工具,在九个免费[出题工具](/post/ai-quiz-closed-book-test-20261112)的实际边界。带走两个数:2.11 档,八档要求换回来的;82%,十二年级那组仍然一句话可答的比例。

相关文章

延伸阅读 · 含推广链接

API 账单分散在几家平台时,续费和管理都费神。合到一个账号下,成本和额度一眼看得清。

合并到一个账号 →

相关文章
2026-08-24
2026 最佳 AI 邮件营销工具:6 款电商品牌工具
2026-07-27
AI项目管理工具
2026-07-24
2026最佳免费AI视频编辑器
2026-08-15
2026 悉尼最佳 AI 日程助手:从技工到广告公司的 6 款工具
2026-08-24
2026 马拉喀什最佳 AI 翻译工具:6 款旅游与贸易团队工具
2026-08-15
2026 文本转 AI 思维导图生成器:视觉思维者适用 5 款免费工具

本站文章由编辑人工撰写,收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库,仅作信息参考,不构成付费推广。

💬 评论 (0)

暂无评论,来说两句吧~

登录后评论