摘要工具实测:每篇78个数字,5%预算只剩12%
摘要读起来很顺,样本量、价格、日期全没了。数字召回几乎跟着预算线性走,摘要越短,丢的数字越多。
摘要工具都是拿文笔卖的。演示里一段干净的话把论点抓住了,论点确实抓住了。没人演示消失的那一列数字,而数字恰恰是读者打开文档的理由:样本量、价格、日期、那个让这篇文章值得引用的百分比。
所以我把这部分单独量了一遍。八篇 arXiv 论文,2026 年 11 月 17 日抓的 HTML,剥成正文,一共 1,803 个句子、623 个不同的数字。按句子上限做预算的摘要器分别按原文的 5% 和 10% 交付,然后用第二种花法再跑一遍:留出位置,优先收进那些带来新数字的句子。所有摘要只按一个指标打分——文档里不同数字活下来的比例。
活下来的有多少
| arXiv 编号 | 字符数 | 句子数 | 不同数字 | 带数字的句子 | 5% 普通 | 5% 数字优先 | 10% 普通 | 10% 数字优先 |
|---|---|---|---|---|---|---|---|---|
| 2401.00001 | 26,279 | 183 | 80 | 65 | 31.2% | 32.5% | 40.0% | 42.5% |
| 2401.00368 | 28,831 | 182 | 54 | 84 | 7.4% | 11.1% | 20.4% | 27.8% |
| 2401.00741 | 32,613 | 203 | 58 | 91 | 6.9% | 10.3% | 12.1% | 25.9% |
| 2401.01234 | 41,968 | 250 | 60 | 109 | 16.7% | 18.3% | 16.7% | 25.0% |
| 2401.02954 | 65,872 | 407 | 163 | 199 | 4.9% | 7.4% | 17.2% | 27.0% |
| 2401.03770 | 40,824 | 222 | 37 | 60 | 16.2% | 21.6% | 32.4% | 48.6% |
| 2401.04088 | 22,791 | 140 | 90 | 83 | 2.2% | 4.4% | 4.4% | 10.0% |
| 2401.05371 | 29,283 | 216 | 81 | 87 | 14.8% | 16.0% | 30.9% | 34.6% |
| 均值 | 36,058 | 225 | 78 | 97 | 12.5% | 15.2% | 21.8% | 30.2% |
5% 预算下,普通中心度摘要器平均留下 12.5% 的数字,大约 78 个里剩 10 个。最好的一篇 31.2%,最差 2.2%,而这个最差不是离群点,更是警告:2401.04088 是 22,791 个字符、90 个不同数字的密集文档,5% 就是 1,139 个字符,五句话。五句话装不下 90 个数字。
预算翻到 10%,数字召回差不多翻倍,12.5% 到 21.8%。这就是这笔交易的诚实形状:召回几乎跟着预算线性走,所以如果数字重要,你选的是一个比例,不是一个工具。
数字优先那一遍有用,但远远不够
第二种策略是一看就想到的修法:继续挑最中心的句子,但在预算关闭之前检查还有哪些数字没被覆盖,把带来这些数字的句子补进来,允许超支 15%。它确实有用,数字从来不会更低:5% 预算下从 12.5% 提到 15.2%,10% 预算下从 21.8% 提到 30.2%,提升最大的在中段那几篇(2401.00741 从 12.1% 到 25.9%,10% 预算)。
但它不可能更好,原因只有一个数:在这八篇里,至少含一个数字的句子平均占正文的 42.1%,最密的一篇 52.1%。数字不是撒在行文里的点缀,数字就是行文的一半。承诺"一个数字都不落"的策略,等于承诺带走将近一半的原文,那已经不叫摘要了。
这把设计问题换了位置。读者需要数字的时候,正确的做法不是在一个 5% 的块里挑得更聪明,而是分成两件东西:一份短的文字摘要,明确说明数字不在范围内;一份单独的数字块,每个数字带它所在的那个句子片段。摘要留在 5%,数字块要花掉原文大约 45%,需要表格的读者找得到。真正失败的是第三种做法——一份 5% 的摘要,被默默期待保留数字。
拿你付钱的那个工具跑一遍
下面的脚本就是产出上面这张表的那一段。抽取式,只用标准库,输入一个纯文本文件。
#!/usr/bin/env python3
# numrecall.py -> python3 numrecall.py paper.txt 5
import re, sys, math, collections
NUM = re.compile(r"\d[\d,\.]*\d|\d")
STOP = set("the a an of and or to in for on with that this is are was were be been by as at from it its "
"which we our their than then these those such not can may also used using use show shows shown".split())
def sentences(t):
ps = re.split(r"(?<=[.!?])\s+(?=[A-Z0-9(])", t)
return [p.strip() for p in ps if 40 <= len(p.strip()) <= 400]
def toks(s):
return [w for w in re.findall(r"[a-z][a-z\-]+", s.lower()) if w not in STOP and len(w) > 2]
def numbers(s):
return set(NUM.findall(s))
def centrality(sents):
df, tfs = collections.Counter(), []
for s in sents:
w = toks(s); tfs.append(collections.Counter(w))
for k in set(w):
df[k] += 1
idf = {k: math.log(len(sents) / (1 + v)) for k, v in df.items()}
return [sum(tf * idf[w] for w, tf in c.items()) / math.sqrt(sum(c.values()) or 1) for c in tfs]
def pick(sents, scores, budget, guard=False, slack=1.15):
order = sorted(range(len(sents)), key=lambda i: -scores[i])
kept, used = [], 0
for i in order:
if used + len(sents[i]) <= budget:
kept.append(i); used += len(sents[i])
if guard:
covered = set()
for i in kept:
covered |= numbers(sents[i])
for i in order:
ns = numbers(sents[i])
if i in kept or not ns or ns <= covered:
continue
if used + len(sents[i]) > budget * slack:
continue
kept.append(i); used += len(sents[i]); covered |= ns
return kept
def recall(sents, kept, allnums):
got = set()
for i in kept:
got |= numbers(sents[i])
return 100.0 * len(got & allnums) / len(allnums)
t = re.sub(r"\s+", " ", open(sys.argv[1], encoding="utf-8").read())
pct = float(sys.argv[2]) if len(sys.argv) > 2 else 10.0
sents = sentences(t)
sc = centrality(sents)
allnums = set()
for s in sents:
allnums |= numbers(s)
nb = [i for i, s in enumerate(sents) if numbers(s)]
print("chars %d sentences %d numbers %d numeric sentences %d (%.1f%% of text)"
% (len(t), len(sents), len(allnums), len(nb), 100.0*sum(len(sents[i]) for i in nb)/len(t)))
b = pick(sents, sc, len(t)*pct/100.0)
g = pick(sents, sc, len(t)*pct/100.0, guard=True)
print("budget %.0f%%: plain %d sentences, recall %.1f%%" % (pct, len(b), recall(sents, b, allnums)))
print("budget %.0f%%: numbers-first %d sentences, recall %.1f%%" % (pct, len(g), recall(sents, g, allnums)))
拿 2401.02954 在 5% 预算下跑,它打印 13 句话、召回 4.9%,加了数字优先后是 15 句话、7.4%。和表里那一行一样,这正是把脚本一起放出来的原因:结论可以自己验,不用信。
要量一个商业摘要工具,把它的输出存成文件、去掉标记,然后用同一个函数把它和原文的数字集合求交,除以原文数字数。买之前拿自己五份文档跑一遍,因为真正有意义的数是你的材料上的那个,营销 PDF 和临床报告的失败方式不一样。
这个测量到哪为止
三个限制。第一,这个基线是抽取式的,它挑句子,留下的数字都带着原来的上下文。生成式摘要可以把记岔了的数字重述出来,在这个指标上分数一样,但答案是错的,所以召回跑完还要逐条读一遍改过的数字。第二,这个指标数的是数字记号,不是事实:12、12% 和 2012 是三个不同的说法、一个记号家族,记号全中也不等于文档全对。第三,论文天生数字密集,新闻稿和合同会不一样,唯一知道的办法就是跑脚本。
实际用法比听起来窄,也更有用。答应客户把 40 页报告压成一页之前,先抽几份跑一次数字检查。如果你的预算下召回是 10%,就把这句话说出来,并且附上数字块。另一种做法是交出一份看着完整、读着通顺、悄悄丢掉整份报告核心数字的摘要。
本站早前两篇:1,296 个句子进去,10 句出来,定义一次都没活下来、七款能读一百页文档的工具。
相关文章
本站文章由编辑人工撰写,收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库,仅作信息参考,不构成付费推广。