KV Cache被压成常数! OCR开源新王:页数没上限,缓存砍96% 听雨 2026-10-27 16:35:33 来源: 量子位 OCR 3.0时代,来了 听雨 发自 凹非寺 量子位 | 公众号 QbitAI 百度的OCR又升级了, 文心Unlimited OCR 2正式发布并开源!
这次,它直接挑战一口气读完整套小说。 7部《哈利·波特》,从《魔法石》到《死亡圣器》,连续识别、转写,3600+页一路读到最后。
换成《三体》全集,同样能一口气读完,三本书1200+页,几十万字,中间也不带喘的。不过,连着读这么多页,模型得先过一道关: 显存 。
文档越长,推理时需要保留的中间信息(KV缓存)就越多——可以理解为模型边读边记的小抄,页数越多,小抄越厚。小抄厚重,不光占地方,翻起来也慢。
在技术报告的百页级单序列测试中,文心Unlimited OCR 2给出了一组对比: 峰值KV缓存占用从标准解码(将所有页面的视觉缓存同时保留在显存中)的 47GB降至1.77GB,一口气减少了约96%。 47GB是什么概念?
比不少笔记本电脑的整机内存还大。而这还只是KV缓存,模型权重等其他开销另算。
它的上一代Unlimited OCR,已经凭借多页文档连续解析能力,在开源社区积累了相当的人气:累计下载量超过1000万,在GitHub上收获约2.86万Star。从社区制作在线Demo,到支持SGlang推理,围绕它的适配也在持续推进。
到了第二代,升级重点在于连续处理更长文档的同时,把计算和缓存负担降下来。为此,文心Unlimited OCR 2提出 稀疏参考滑动窗口注意力机制SR-SWA ,让模型按需选取相关页面和视觉信息,减少重复计算。
配合持续解码机制,模型能够连续处理超长文档,单步解码开销也不会随着文档变长而水涨船高。目前,文心Unlimited OCR 2已在Hugging Face和GitHub正式开源。
开源地址: *GitHub : https:// github.com/baidu/Unlimi ted-OCR* *HuggingFace : https:// huggingface.co/baidu/Un limited-OCR-2* 拆解核心技术:SR-SWA怎么少算,分块解码怎么少存 连续读完几百万字、3600+页的《哈利波特》全集,文心Unlimited OCR 2究竟是怎么做到的?它借鉴的,其实是人类抄书的思路。
人手抄书时是什么流程?看一段、抄一段,眼睛主要盯着正在抄的那一页;只有遇到需要前后对照的地方,才回头翻一翻相关页面。
抄书这件事,人类比模型更早就想明白了:没人会一边抄《论语》,一边在脑子里同时把《论语》全部页数摊开一起看。但上一代Unlimited OCR不是这么干的:虽然通过R-SWA已大幅降低推理阶段的KV缓存,但再回看的过程中,所有输入页面的视觉信息依旧都要参与注意力计算。
文档越长,算的信息越多,而其中相当一部分,跟当前正在识别的那几行字压根没关系——典型的「陪跑」。 △SR-SWA借鉴人类抄书时的局部聚焦方式 顺着人类抄书的思路,文心Unlimited OCR 2引入了 稀疏参考滑动窗口注意力机制(SR-SWA) 。
它的筛选分两层:先把需要参考的页面筛出来,再从筛出来的页面里挑出真正相关的局部信息,把无关计算挡在门外。从整体架构看,文心Unlimited OCR 2延续了上一代的基础设计。
△文心Unlimited OCR 2整体架构 书页图像先进入DeepEncoder,被转成模型能处理的视觉Token——可以理解成一组记录页面内容与版面特征的数据卡片。接着,语言模型根据这些卡片,一步一步生成识别结果。
关键变化就发生在语言模型内部:上一代采用的 参考滑动窗口注意力机制(R-SWA) ,在这一代升级为SR-SWA。架构图中左下方展示的,就是SR-SWA的两层筛选过程。
第一层是Page Gate,管「该看哪几页」。它根据模型当前解析到的位置,把候选视觉信息收拢到相关页面范围内,不让无关页面来凑热闹。
放到抄书的场景里,就像读到某一页时,先找到与这一页相关的几个页面,而不是从头翻遍整本书。第二层是Token Sieve,管「这一页里该看哪几行」。
选对页面只是第一步:即使在这些页面中,也不必让所有视觉Token都参与计算。 Token Sieve会再做一次筛选,从页面里挑出与当前内容更相关的视觉信息块,以捕捉长距离视觉依赖关系。
架构图右侧展开了这一过程:先用各个信息块的简要表示算出相关性,再通过TopK挑出得分最高、数量固定的信息块。挑完之后,模型仍然会去看这些块中的具体视觉信息,而不是只看个摘要。
两层机制配合,让模型既能在长文档中找到相关页面,又能减少每一步需要处理的视觉信息,从而提升长文档解析效率。 △Token Sieve细节 筛选出的视觉信息,还会与图中的 Local Window (局部滑动窗口)一起参与解析。
这个窗口大小固定,装着最近的上下文,并随着生成过程一路向前平移,负责让模型顺着刚才的内容往下写。信息块数量固定,局部窗口大小也固定,每一步需要参考的信息量就被框住了——文档再长,这一步还是这么多活儿。
不会出现「书越厚、每写一个字越费劲」的情况。 SR-SWA负责的是每一步少算点;而显存里到底要留多少信息,则是另一个问题。
每页图像经过编码,都会变成一组视觉Token。模型生成解析结果时要参考它们,因此会存下对应的KV缓存,供后续计算复用。
如果一次性读入整份文档,再把所有页面的视觉缓存都留在显存里,页数越多、占的地方越大。更麻烦的是:哪怕这些页面根本没参与当前计算,只要缓存没释放,它们照样占着显存不走。
这就好比抄书时把每页草稿都摊在桌上,一页不扔——桌子再大也不够用。所以,少算一些,还得配合少存一些。
文心Unlimited OCR 2为此引入了 无限解码机制 (Unlimited-Horizon Decoding Paradigm),通过分块处理控制缓存占用。 △分块解码示意图 这套机制把文档划成大小可控的页面块,依次解析。
相邻两块重叠一页,上一块的最后一页,也是下一块的起点——一枚现成的书签。进入下一块时,模型直接复用这页重叠页的视觉KV缓存,同时保留上一段输出末尾的文本缓存,让前后内容接得上。
其余已经用不上的页面视觉缓存,就及时释放,腾出显存。这样一来,显存里需要保留的视觉缓存,就被压在当前处理块的规模内。
处理完一块,留下衔接所需的信息,再开下一块——不必让整份文档的视觉缓存从头到尾占着位子。 *SR-SWA负责减少每一步的计算,无限解码机制负责控制缓存占用。
两者配合,才能让模型持续解析超长文档。 884页《指环王》42分钟读完,缓存降到1.77GB 技术讲了这么多,我们也想亲眼看看效果:直接丢给它一份 884页的英文版《指环王》 。