摘要工具实测:每篇78个数字,5%预算只剩12%

🔧 AI工具 2026-11-17 约 20 分钟阅读

摘要读起来很顺,样本量、价格、日期全没了。数字召回几乎跟着预算线性走,摘要越短,丢的数字越多。

📜 目录

摘要工具都是拿文笔卖的。演示里一段干净的话把论点抓住了,论点确实抓住了。没人演示消失的那一列数字,而数字恰恰是读者打开文档的理由:样本量、价格、日期、那个让这篇文章值得引用的百分比。

所以我把这部分单独量了一遍。八篇 arXiv 论文,2026 年 11 月 17 日抓的 HTML,剥成正文,一共 1,803 个句子、623 个不同的数字。按句子上限做预算的摘要器分别按原文的 5% 和 10% 交付,然后用第二种花法再跑一遍:留出位置,优先收进那些带来新数字的句子。所有摘要只按一个指标打分——文档里不同数字活下来的比例。

活下来的有多少

arXiv 编号字符数句子数不同数字带数字的句子5% 普通5% 数字优先10% 普通10% 数字优先
2401.0000126,279183806531.2%32.5%40.0%42.5%
2401.0036828,83118254847.4%11.1%20.4%27.8%
2401.0074132,61320358916.9%10.3%12.1%25.9%
2401.0123441,9682506010916.7%18.3%16.7%25.0%
2401.0295465,8724071631994.9%7.4%17.2%27.0%
2401.0377040,824222376016.2%21.6%32.4%48.6%
2401.0408822,79114090832.2%4.4%4.4%10.0%
2401.0537129,283216818714.8%16.0%30.9%34.6%
均值36,058225789712.5%15.2%21.8%30.2%

5% 预算下,普通中心度摘要器平均留下 12.5% 的数字,大约 78 个里剩 10 个。最好的一篇 31.2%,最差 2.2%,而这个最差不是离群点,更是警告:2401.04088 是 22,791 个字符、90 个不同数字的密集文档,5% 就是 1,139 个字符,五句话。五句话装不下 90 个数字。

预算翻到 10%,数字召回差不多翻倍,12.5% 到 21.8%。这就是这笔交易的诚实形状:召回几乎跟着预算线性走,所以如果数字重要,你选的是一个比例,不是一个工具。

数字优先那一遍有用,但远远不够

第二种策略是一看就想到的修法:继续挑最中心的句子,但在预算关闭之前检查还有哪些数字没被覆盖,把带来这些数字的句子补进来,允许超支 15%。它确实有用,数字从来不会更低:5% 预算下从 12.5% 提到 15.2%,10% 预算下从 21.8% 提到 30.2%,提升最大的在中段那几篇(2401.00741 从 12.1% 到 25.9%,10% 预算)。

但它不可能更好,原因只有一个数:在这八篇里,至少含一个数字的句子平均占正文的 42.1%,最密的一篇 52.1%。数字不是撒在行文里的点缀,数字就是行文的一半。承诺"一个数字都不落"的策略,等于承诺带走将近一半的原文,那已经不叫摘要了。

这把设计问题换了位置。读者需要数字的时候,正确的做法不是在一个 5% 的块里挑得更聪明,而是分成两件东西:一份短的文字摘要,明确说明数字不在范围内;一份单独的数字块,每个数字带它所在的那个句子片段。摘要留在 5%,数字块要花掉原文大约 45%,需要表格的读者找得到。真正失败的是第三种做法——一份 5% 的摘要,被默默期待保留数字。

拿你付钱的那个工具跑一遍

下面的脚本就是产出上面这张表的那一段。抽取式,只用标准库,输入一个纯文本文件。

#!/usr/bin/env python3
# numrecall.py  ->  python3 numrecall.py paper.txt 5
import re, sys, math, collections

NUM = re.compile(r"\d[\d,\.]*\d|\d")
STOP = set("the a an of and or to in for on with that this is are was were be been by as at from it its "
           "which we our their than then these those such not can may also used using use show shows shown".split())

def sentences(t):
    ps = re.split(r"(?<=[.!?])\s+(?=[A-Z0-9(])", t)
    return [p.strip() for p in ps if 40 <= len(p.strip()) <= 400]

def toks(s):
    return [w for w in re.findall(r"[a-z][a-z\-]+", s.lower()) if w not in STOP and len(w) > 2]

def numbers(s):
    return set(NUM.findall(s))

def centrality(sents):
    df, tfs = collections.Counter(), []
    for s in sents:
        w = toks(s); tfs.append(collections.Counter(w))
        for k in set(w):
            df[k] += 1
    idf = {k: math.log(len(sents) / (1 + v)) for k, v in df.items()}
    return [sum(tf * idf[w] for w, tf in c.items()) / math.sqrt(sum(c.values()) or 1) for c in tfs]

def pick(sents, scores, budget, guard=False, slack=1.15):
    order = sorted(range(len(sents)), key=lambda i: -scores[i])
    kept, used = [], 0
    for i in order:
        if used + len(sents[i]) <= budget:
            kept.append(i); used += len(sents[i])
    if guard:
        covered = set()
        for i in kept:
            covered |= numbers(sents[i])
        for i in order:
            ns = numbers(sents[i])
            if i in kept or not ns or ns <= covered:
                continue
            if used + len(sents[i]) > budget * slack:
                continue
            kept.append(i); used += len(sents[i]); covered |= ns
    return kept

def recall(sents, kept, allnums):
    got = set()
    for i in kept:
        got |= numbers(sents[i])
    return 100.0 * len(got & allnums) / len(allnums)

t = re.sub(r"\s+", " ", open(sys.argv[1], encoding="utf-8").read())
pct = float(sys.argv[2]) if len(sys.argv) > 2 else 10.0
sents = sentences(t)
sc = centrality(sents)
allnums = set()
for s in sents:
    allnums |= numbers(s)
nb = [i for i, s in enumerate(sents) if numbers(s)]
print("chars %d  sentences %d  numbers %d  numeric sentences %d (%.1f%% of text)"
      % (len(t), len(sents), len(allnums), len(nb), 100.0*sum(len(sents[i]) for i in nb)/len(t)))
b = pick(sents, sc, len(t)*pct/100.0)
g = pick(sents, sc, len(t)*pct/100.0, guard=True)
print("budget %.0f%%: plain %d sentences, recall %.1f%%" % (pct, len(b), recall(sents, b, allnums)))
print("budget %.0f%%: numbers-first %d sentences, recall %.1f%%" % (pct, len(g), recall(sents, g, allnums)))

拿 2401.02954 在 5% 预算下跑,它打印 13 句话、召回 4.9%,加了数字优先后是 15 句话、7.4%。和表里那一行一样,这正是把脚本一起放出来的原因:结论可以自己验,不用信。

要量一个商业摘要工具,把它的输出存成文件、去掉标记,然后用同一个函数把它和原文的数字集合求交,除以原文数字数。买之前拿自己五份文档跑一遍,因为真正有意义的数是你的材料上的那个,营销 PDF 和临床报告的失败方式不一样。

这个测量到哪为止

三个限制。第一,这个基线是抽取式的,它挑句子,留下的数字都带着原来的上下文。生成式摘要可以把记岔了的数字重述出来,在这个指标上分数一样,但答案是错的,所以召回跑完还要逐条读一遍改过的数字。第二,这个指标数的是数字记号,不是事实:12、12% 和 2012 是三个不同的说法、一个记号家族,记号全中也不等于文档全对。第三,论文天生数字密集,新闻稿和合同会不一样,唯一知道的办法就是跑脚本。

实际用法比听起来窄,也更有用。答应客户把 40 页报告压成一页之前,先抽几份跑一次数字检查。如果你的预算下召回是 10%,就把这句话说出来,并且附上数字块。另一种做法是交出一份看着完整、读着通顺、悄悄丢掉整份报告核心数字的摘要。

本站早前两篇:1,296 个句子进去,10 句出来,定义一次都没活下来、七款能读一百页文档的工具。

相关文章

延伸阅读 · 含推广链接

免费额度适合验证想法,不适合跑常驻任务。按量付费按实际用量结算,比包年更不容易浪费。

对比按量与包年 →

相关文章
2026-07-24
2026最佳免费AI建筑设计工具
2026-08-23
2026 卑尔根最佳 AI 照片增强工具:6 款挪威旅行摄影师工具
2026-08-16
2026 自由设计师最佳 AI 邮件助手:7 款帮你拿下客户的工具
2026-08-01
2026年律师用AI的10个工具
2026-08-24
2026 坎昆最佳 AI 修图工具:6 款酒店与旅游营销工具
2026-08-15
2026 AI 博客选题生成器:6 款终结写作障碍的免费工具

本站文章由编辑人工撰写,收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库,仅作信息参考,不构成付费推广。

💬 评论 (0)

暂无评论,来说两句吧~

登录后评论