AI出题再生成一次,64道里有35道原样回来
同一份卷子生成两次,第二次的64道里有35道重复第一次,15道一字不差,35对重复里有20对答案字母相同。攒题库前要先跨导出查重:一段材料跑两次平均只得到11.6道新题。
上午给一个班生成一份小测,下午另一个班要用,拿同一段材料再生成一遍。两份卷子在不同标签页里打开,看着不一样,一半以上是同一道题换了个说法。
下面这组数是128道题:八段材料、每段八道题、两次独立生成,2026年11月11日。只回答一个问题——让同一个生成器把同一份卷子再出一遍,有多少会原样回来。
跑了什么
八段110到130词的材料,都是为这次测试写的:珊瑚白化、拉链的专利史、印度季风、酸种酵头、GPS定位、印加结绳、睡眠周期、茶叶氧化。每段材料分两次、各自独立调用,要求八道四选项题、恰有一个正确答案,以JSON返回、答案用0到3的下标。温度1.0,模型deepseek-chat,返回里标的是deepseek-flash。
只有四个选项文本互不相同、答案下标合法的题才计入,128道全部通过,所以下面的计数里没有悄悄丢掉的题。两次调用之间没有共享上下文,第二次不是缓存命中,是拿同一段材料、同一份提示重新生成的。
重复多少
| 判定标准 | 第二次里重复第一次的题数 | 占64道 |
|---|---|---|
| 题干一字不差 | 15 | 23% |
| 词元杰卡德相似度0.7以上 | 22 | 34% |
| 词元杰卡德相似度0.5以上 | 35 | 55% |
第二次的64道题里,35道能在第一次里找到对应的一道,按词元杰卡德相似度0.5以上算,占55%。其中15道连题干都一字不差。门槛提到0.7还剩22道,占34%,说明重复的主要是贴得很近的改写,不是勉强沾边。
门槛是人为选的,所以看一下卡在线上的是什么。0.5到0.6之间有4对,逐对看过,问的都是同一件事:「季风由什么驱动」对「季风被描述为什么」,「台面上的酵头多久喂一次」对「放在台面上的酵头应该多久喂一次」。再往下降,配上的就开始问不同的事了。门槛放低,数字会变大,量到的却是用词相近,不是同一道题。
重复从哪来
| 材料 | 重复题数 | 16道里的新题 |
|---|---|---|
| 珊瑚白化 | 3 | 13 |
| 拉链专利史 | 6 | 10 |
| 印度季风 | 4 | 12 |
| 酸种酵头 | 5 | 11 |
| GPS定位 | 5 | 11 |
| 印加结绳 | 5 | 11 |
| 睡眠周期 | 4 | 12 |
| 茶叶氧化 | 3 | 13 |
| 合计 | 35 | 93 |
拉链那段重复最多,八道里重复六道,十六道只剩十道是新的。那段材料全是年份和人名:1851、豪、1913、桑德巴克、1918年的海军、1923年的广告。一段材料能考的事实是有限的,让生成器走两遍,它按略微不同的顺序把同一份清单又走了一遍。珊瑚白化和茶叶氧化各只重复三道,留下十三道新的。
35对重复里,29对连正确答案的文本都一样,20对的答案落在同一个字母上,没有一例出现第一次的干扰项在第二次变成正确答案。所以重复的题可以直接用,代价是你以为买到的那道新题其实是旧的。答案字母会跟着一起回来:前一天的位置体检发现96道生成题里只有5道把答案放在D,一道题重复时,它落在哪个字母也一起重复。
凑一份60道的题库要多少材料
八段材料算下来,一段材料跑两次平均得到11.6道不重复的题,最少的10道,最多的13道。要凑60道,得五到六段材料各跑两次,生成的题大约90道;八段各跑一次只有64道,而且没有第二份可比。第二次跑值得做的前提是先把重复去掉,否则付了64道的调用,只留下29道新的。
检查脚本
只用标准库,Python 3.8以上。两份导出都是表头stem,a,b,c,d,answer的CSV,answer填小写字母。不带参数时只报重复:把超过门槛的每一对打出来,最后给计数。--merge会把第一次的题全部留下、第二次只并入不重复的,写成一份新题库。--th改门槛,短题干用0.5,长题干放到0.45也合适。
拿这次测试的两份导出跑一遍,输出截取一对和汇总:
A=64 items B=64 items threshold=0.50 DUP 1.00 A: In what year did Gideon Sundback redesign the teeth? B: In what year did Gideon Sundback redesign the teeth? B items repeating A: 35 of 64 (55%) merged bank: 93 items
这查不出什么
一个模型家族、一天的生成、英文材料,八段全是说明性文字。叙事或议论性的材料可考的事实可能更少,重复更多;材料更长,事实更多,重复会少一些。脚本比的是题干用词,同一个事实换个角度问,「1913年」对「豪的专利之后多少年」,会被当成两道题,所以事实层面的重复只会比55%更高,不会更低。重复的题对不对、有没有歧义、难度合不合适,是另外几项体检:28.6%的题能靠选项长度蒙对,15186道真题上的答案泄漏体检。
如果还在挑工具,九个工具的免费边界和导出限制在这篇:九个免费出题工具各自能给到什么。带两个数进下一份导出:64道题里有35道第二次原样回来;一段材料跑两次,拿到11.6道可用的题。
相关文章
- AI出题工具的答案位置:96道生成题里只有5道把答案放在D
- 2026年AI记账应用:Firefly III(2.4万星)对比Actual Budget,带AI分类的自托管记账
- Claude Code 香港能用吗?支付、访问、网络全攻略(2026 实测)
重复只是题库出问题的一种方式,另一种是这道题本来就不需要材料。把材料藏起来,80道里71道照样答对,活下来的九道全是细节题:闭卷测试。
本站文章由编辑人工撰写,收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库,仅作信息参考,不构成付费推广。