合同切块再问:token 省 83%,三十二条条款丢了八条

🔧 AI工具 2026-11-18 约 21 分钟阅读

切块检索在演示里看着免费,因为演示合同的标题就叫那个条款。真合同把责任上限写成「在任何情况下不予赔偿」,词表一段都没命中,调用悄悄从文档开头两段里作答。

📜 目录

问合同有两种问法。一种把整份文件塞进去,另一种先挑出提到该条款的段落再问。七十道真题上,第二种少用 83% 的输入 token,少判对 五条条款。两个数都重要,第二个是演示里不会出现的那个。

测试集是 CUAD:五百一十份公开合同,四十一个条款类别逐句标注。取了十四份,字符数从 8,852 到 40,590,中位数 27,025,每份问五类条款:适用法律、审计权、责任上限、保险、竞业限制。共七十道,其中三十二道确实有该条款。

两种问法各送出什么

整份合同的问法送出全文,平均 26,002 字符,附一句要求:这份合同有没有适用法律条款,用 JSON 回答并抄出原句。

切块问法先在章节断点处把合同切成约 900 字符的段,按该条款关键词在段中出现的次数排序,留前五段以及每段后面那段,平均送出 3,864 字符。同一个问题、同一种输出格式,温度 0,每类条款一次调用。

准确率与 token 的交换

整份合同一次问关键词切块再问
判对的条款66 / 7061 / 70
准确率94.3%87.1%
合同里有、也找到了29 / 3224 / 32
误报1 / 381 / 38
每个问题平均输入 token5,344906
每份合同(五类条款)输入 token26,7214,528
平均耗时0.9 秒0.8 秒

准确率差看着像噪声,其实不是:三十二道有条款的题找到二十九道,另一种找到二十四道。token 差则一眼能从账单上看出来。

一千份合同多少钱

按实测的输入输出 token,套官网当前 deepseek-flash 价目:高峰每百万输入 0.30 美元、输出 1.20 美元,低谷减半。

一千份合同、每份五类条款整份合同切块再问
高峰价,每百万输入 0.30 美元、输出 1.20 美元8.20 美元1.52 美元
低谷价,每百万输入 0.15 美元、输出 0.60 美元4.10 美元0.76 美元

每份合同问五类条款已经是一次很浅的审查。改问四十类,高峰价下整份合同那列接近每千份 65 美元,切块那列接近 12 美元。两个数字都不决定架构,决定架构的是下一节的八条条款。

切块丢掉的八条

八次全是一个形状:关键词预筛一段都没命中,于是退回文档开头两段,而条款在别处。没有一次是模型读错了给它的段落。

三例,引 CUAD 标注原文:

一份代理协议把赔偿限成 "In no event will the Company be liable for incidental or consequential damages." 没有 cap,没有 exceed,没有 limitation of liability,词表无处可中。

一份战略联盟协议写 "This Agreement shall be governed by the internal laws State of New York.",词表里是 "governed by the laws",少了 internal 一个词。最不该出错的条款类型,照样漏。

一份网络服务协议把责任限成 "i-on will not be liable under any circumstances for any lost profits"。这句话在「责任限制」词表里,这次测的是「责任上限」,两张表没打通。

照条款名称写出来的词表,描述的是分类体系怎么叫它;合同写的是双方不能索赔什么。两套词汇之间的缝,就是全部故障来源。

切块在哪些条款上还稳

条款类型含该条款的合同整份合同切块再问
适用法律14 / 141413
审计权8 / 1476
责任上限6 / 1441
保险4 / 1444
竞业限制0 / 14--

适用法律和保险在切块下没垮:短、用自己的词、位置集中。责任上限从六份判对四份掉到一份,因为这个条款常写成损害赔偿长段里的一句除外,语气是「赔不了什么」,不是「上限多少」。

竞业限制这批一份都没有,说明不了方法好坏,只说明十四份的样本量。这一行读作「未测」,别读成「没问题」。

引用是干净的

整份合同那路判出的二十九条,二十九条都带一句能在 CUAD 标注里对上的原句,重合度中位数 1.0。切块那路二十四条,二十四条同样对得上。失效发生在「找没找到」,不在「引得对不对」,跟大多数评测担心的方向相反。

两条路各出现一次误报,同一份合同同一类条款。模型抄的那句里确实有 insurance,而 CUAD 在那里没标保险条款。这是「什么算一条条款」的标注判断,不是编造。自己跑的时候,一部分分歧长的就是这个样子。

能保住准确率的级联

先送切块结果。模型说有,就采信;模型说没有,再把整份合同送一遍,用第二次的答案。其余不变。

整份合同切块再问切块问、说不存在再退回整份
判对的条款66 / 7061 / 7066 / 70
合同里有、也找到了29 / 3224 / 3229 / 32
七十个问题的输入 token 合计374,09263,385296,037

和贵的那条路一样判对七十道,输入 token 少 20.9%。省得不多,因为责任上限在多数合同里都不存在,退回就退得勤。问题以适用法律、当事人这类条款为主,省下的会多得多;全问限损条款,几乎一点也省不下来。

可以直接抄的几条

合同不到约三千 token,别切块。那个体量,省下的 token 不如裁剪代码本身贵。

词表照补救语言写,不照条款名写:shall not be liable、in no event、will not exceed、shall have the right to audit、shall be governed by the laws of。写完拿自己二十份合同试,数它漏了几条。这批每类四个词漏了三十二条里的八条;加长词表能提召回,也会稀释排序,所以「说不存在就退回整份」比调词表便宜。

每次回答都记下检索到的是哪几段。漏了条款时,日志一秒就能分出是预筛漏了还是模型漏了,这两种故障的修法正相反。

实际跑的代码

import re

def blocks(text):
    # 在分号句号换行、空行、编号条目、全大写小标题处切段,每段兜到 900 字符
    parts = re.split(r"(?<=[.;:])\s*
|
\s*
|
(?=\s*\(?[0-9ivxIVX]+[.)]\s)|
(?=[A-Z][A-Za-z ]{2,38}\.?\s*$)", text)
    out, buf = [], ""
    for p in parts:
        buf += " " + p if buf else p
        if len(buf) > 900:
            out.append(buf.strip()); buf = ""
    if buf.strip():
        out.append(buf.strip())
    return [b for b in out if len(b) > 40]

def excerpts(text, keywords, k=5):
    bs = blocks(text)
    scored = sorted(((sum(b.lower().count(w) for w in keywords), i)
                     for i, b in enumerate(bs)), reverse=True)
    keep = set()
    for score, i in scored[:k]:
        if score == 0:
            break
        keep.update((i, i + 1))
    if not keep:
        keep = {0, 1}
    return "

".join(bs[i] for i in sorted(keep) if i < len(bs))

提示词只要一个 JSON 对象:条款在不在,以及在给出的文本里抄一句原话。温度 0、输出上限 300 token,七十次回答的补全合计只用 2,161 token。

这次测试的边界

十四份合同、一个模型、一个温度、CUAD 四十一个类别里的五个。合同是美国 1999 到 2014 年的公开备案文件,行文冗长,现代模板合同两条路大概都会更高。每个问题只问一类条款,所以这批数据说明不了「一次抽全部四十一类」的情形,那时一份合同一次调用,token 和准确率都会变。

标注口径也要注意:CUAD 只有审阅人实际划出句子才算「有」,一份提到保险却没有投保义务的合同算「没有」,指出提法的模型算「错」。

这个簇里另外两篇可以接着看:把审查流程该交给模型的页面级地图,在条款页面地图;免费工具各自停在哪,在五个免费合同审查工具;不讲技术的版本在律师用 AI,讲收案、保密和哪些文件不上市。

带走一句:关键词检索把账单砍了 83%,代价是七十条里丢五条;「说不存在就退回整份」用贵的那条路的准确率换回 21% 的输入成本。

相关文章

延伸阅读 · 含推广链接

跑通原型和长期挂着跑是两件事。按量计费起一台,用完释放,不用为闲置的机器付整月。

看按量计费价格 →

相关文章
2026-08-30
2026自由职业艺术家最佳AI记账工具:6款发票税务对比
2026-08-18
2026 免费 AI 声音克隆工具:6 款合规克隆(需授权)
2026-08-17
AI 笔记转测验免费版 2026:6 款把笔记变成测试的工具
2026-08-18
2026 奥克兰最佳 AI 旅行规划工具:6 款适合新西兰自驾与房车游
2026-07-26
Anker AI笔记耳机评测
2026-08-21
2026 最佳 AI 表单构建器:Typeform vs Jotform vs Tally 线索生成对比

本站文章由编辑人工撰写,收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库,仅作信息参考,不构成付费推广。

💬 评论 (0)

暂无评论,来说两句吧~

登录后评论