两小时的文字稿怎么喂给 AI:token 是什么、为什么要分块、怎么分才不丢信息

· 约 4 分钟 🗣️ 字幕转文字稿

两小时的播客、一下午的会议录音,转成文字稿轻松两三万字。整个贴进 AI 对话框,常见结局有两种:直接提示超长被截断;或者看起来总结出来了,但第 70 分钟那个最关键的决定完全没出现在结果里。

这不是模型不行,是喂法不对。搞清楚一个概念、一个现象、一套流程,就够用了。

token:模型眼里的计量单位

模型不按「字」处理文本,按 token——分词器切出来的最小单位。换算感觉:

  • 英文约 1 token ≈ 4 个字母(0.75 个单词)
  • 中文因模型而异,粗略按 1 个汉字 ≈ 1 token 出头估算;为什么中文普遍比英文「贵」,见中文在 LLM 里为什么更贵

代入现实:口语语速每分钟 200–250 字,两小时节目 ≈ 2.5–3 万字 ≈ 3 万–4.5 万 token。这个数字决定了三件事:塞不塞得进上下文窗口、API 计费多少、以及要分几块。不同模型的分词差异不小,精确值用 LLM Token 计数实测,别按字数猜。

塞得下 ≠ 处理得好

现在的模型动辄几十万 token 上下文,两小时文字稿理论上塞得下。但「塞得下」和「处理得好」之间有三道坎:

中间遗忘。 大量测试反复验证:模型对长输入的开头和结尾利用得最好,中段信息的召回明显下滑。一次性塞入的会议记录,最重要的结论若出现在第 70 分钟,恰好落在最容易被略过的位置。

输出稀释。 给模型 3 万 token 要一份总结,它的输出就几百到一两千字,平摊到每个话题只剩两三句。分成 6 块分别总结,同样的内容拿到 6 倍的输出预算,细节保留量完全不是一个量级。

费用结构。 按 token 计费的场景下,长对话每追问一轮都要重新支付整个上下文的费用——这笔账在长上下文成本工程里算得很细。

反过来说,几千 token 的短文、或者「从中找某个具体信息」的检索型任务,不用分块,直接整段给最简单。分块是给「长材料 + 全面整理」这个组合准备的。

分块的第一原则:跟着内容边界走

最常见的错误做法是每 2000 字硬切一刀。断口落在句子中间时,前一块以半句话结尾、后一块没头没脑地开始,两块在断口附近的总结都会失真。

切分位置的优先级:

  1. 话题边界——讲者换话题处。文字稿里的线索是段落间较长的时间间隔(这正是转文字稿时按停顿分段的价值)
  2. 段落边界
  3. 句子边界
  4. 句中——万不得已

操作方式是「上限 + 就近收块」:设定单块 token 上限(2000–4000 是各模型都舒服的区间),按段落聚合,逼近上限时在最近的段落边界收块。既不破坏语义,又不超预算。

至于块与块之间要不要重叠:做检索(RAG)时通常留 10–15% 重叠,防止答案恰好横跨两块;顺序总结不需要重叠——用「前一块的三行小结」衔接更省 token,效果还更好,这就引出提示词的写法。

逐块提示词 + 最后合并:map-reduce 两段式

裸贴一句「总结一下」,每块会被当成独立文章处理,合并时风格混乱、「他」「这个方案」之类的指代全断。逐块提示词要交代四件事:

这是一期关于「××」的播客文字稿,共 6 块,这是第 3 块。
前一块的小结:(三行要点)
请提炼本块要点,每条 1–2 句,条目后标注依据的时间戳 [mm:ss];
区分发言人;不要开场白和结语,不要补充文字稿之外的信息。
  • 全局背景 + 块位置:模型知道自己在处理局部,不会给每块都写「本文介绍了…」
  • 前块小结衔接:代替大段重叠文本,跨块指代接得上
  • 统一的输出格式:合并阶段不用返工
  • 负面清单:禁客套、禁自行发挥

全部块跑完后进入第二段:把各块小结按顺序连起来,加一句「这是同一份文字稿各部分的小结,请合并成一份连贯的总结」,一次交给模型。这就是长文档处理的标准形态 map-reduce:逐块提炼(map),统一归并(reduce)。

时间戳:最便宜的防幻觉手段

提示词里那句「标注时间戳」值得单独说。要求每条要点锚定到 [42:10] 这样的段落时间戳,有三重效果:

  • 模型凭空发挥的空间被压缩——编造的论点没有时间戳可标
  • 任何存疑的要点,跳回原音频几十秒即可核实,不用重听全程
  • 合并阶段按时间戳排序,多块小结不会时序错乱

配套两条纪律:数字、金额、日期让模型原样引用而非转述(转述是数字幻觉高发区);拿到总结先抽查两三条边缘要点——重要结论通常没错,错的都藏在细节里。

落到工具上

整条流水线在本站可以走通:字幕转文字稿先做去重、断句、段落时间戳,再用它的按 token 分块功能——在段落边界收块,每块自动带上可编辑的提示词模板,逐块复制给任意 AI 使用,全程本地处理。文字稿的整理原理见字幕转文字稿的三步结构还原,token 的计数细节见 LLM Token 计数

❓ 常见问题

token 到底是什么?一万字的文字稿大概是多少 token?

token 是模型处理文本的最小单位,由分词器把文本切出来,既不是字也不是词换算感觉:英文大约 1 token ≈ 4 个字母(0.75 个单词);中文因分词器而异,常见范围是 1 个汉字 ≈ 0.6–1.5 token——对多数现代模型按「1 汉字 ≈ 1 token 出头」估算不会差太远。所以:一万字的中文文字稿大约 1 万–1.5 万 token;两小时播客的文字稿(按每分钟 200–250 字口语语速)约 2.5–3 万字,即 3 万–4.5 万 token。为什么要关心:(1) 模型的上下文窗口按 token 计,超了直接截断;(2) API 按 token 计费,输入越长越贵;(3) 同一段话在不同模型里 token 数不同,估算要按目标模型来。精确数字用 token 计数工具实测,别按字数瞎猜。

现在的模型上下文都几十万 token 了,为什么还要分块?

塞得下不等于处理得好,长上下文有三笔隐性成本。(1) 中间遗忘:大量测试表明模型对超长输入的开头和结尾最敏感,中段信息的利用率明显下降——整场会议最重要的决定如果出现在第 70 分钟,一次性塞入时它恰好落在最容易被略过的位置;(2) 输出稀释:给 3 万 token 要一份总结,模型输出预算就那么多,每个部分只能摊到几句话,细节大量丢失——分成 6 块各自总结,同样的内容能拿到 6 倍的输出预算;(3) 费用与失败成本:按 token 计费时,长对话里每追问一轮都要重新计费整个上下文;一次超长请求中途出错,重试代价也大。什么时候不用分块:全文只有几千 token、或任务是「找一个具体信息」而非「全面整理」时,直接整段给最简单。

分块应该按固定字数切,还是按内容切?

永远优先按内容边界切,字数只做上限约束理由:在句子中间硬切,断口两侧的上下文都被破坏——前一块结尾是半句话,后一块开头没头没脑,两块的总结在断口附近都会失真。优先级从高到低:(1) 话题/章节边界(讲者明显换话题处,文字稿里通常是段落间较长的时间间隔);(2) 段落边界;(3) 句子边界;(4) 万不得已才在句中切。操作上:转文字稿时保留段落时间戳,分块工具按段落聚合、逼近 token 上限时在最近的段落边界收块,就能同时满足「不破坏语义」和「不超上限」。要不要重叠(overlap):做检索(RAG)时块间常留 10–15% 重叠防止答案恰好跨块;做顺序总结时用「携带前块小结」代替重叠更省 token——见分块提示词的写法。

每一块的提示词该怎么写?直接说「总结一下」行吗?

逐块提示词要多交代三件事:全局背景、块的位置、输出格式。裸的「总结一下」会让每块被当成独立文章,合并时风格混乱、指代不明。模板要素:(1) 全局背景——「这是一期关于 X 的播客文字稿的第 3/6 块」,模型才知道自己在处理局部;(2) 上文衔接——附上前一块的三行小结,代替大段重叠文本,指代(「他」「这个方案」)才接得上;(3) 任务与格式——要点数量、是否保留时间戳、是否区分发言人,各块统一,合并才不用返工;(4) 明确「不要做」——不要开头结尾客套、不要自行补充文字稿之外的信息。最后一步:把各块小结连同「这是同一份文字稿各部分的小结,请合并成一份连贯总结」再交给模型——这就是 map-reduce 两段式,长文档总结的标准做法。

让 AI 总结时怎么防它编造?时间戳在这里有什么用?

要求每个论点后附时间戳,是成本最低的防幻觉手段做法:文字稿保留段落级时间戳(如 [42:10]),提示词里写明「每条要点后标注其依据所在的时间戳」。效果:(1) 模型必须把结论锚定到具体段落,凭空发挥的空间被压缩;(2) 你抽查任何一条存疑的要点,跳回原视频/音频几十秒就能核实,不用重听全程;(3) 合并阶段还能按时间戳排序,避免多块小结合并后时序错乱。另外两条纪律:(1) 数字、金额、日期类信息让模型「原样引用」而不是转述——转述是数字幻觉的高发区;(2) 总结拿到手先抽查两三条边缘要点(不是最重要的那条——重要结论通常没错,错的都在细节),通过了再信任整份输出。

🗣️ 打开 字幕转文字稿 SRT/VTT/LRC/ASS 去时间轴·按标点停顿智能合并断句·去滚动重复·可留段落时间戳·按 token 分块配提示词喂 AI·本地处理不上传

📖 同一工具的其他教程

🔗 相关阅读

全部教程 →