VicroCode
让代码创造价值
VicroCode是一个轻量级代码在线发布、交易平台,开箱即用,免部署、免服务器、免备案,支持接入智能体、通用管理系统、游戏等多种项目
稍候片刻,您可先学习AI编程手册
正在加载中...

市场信息

KV Cache被压成常数!OCR开源新王:页数没上限,缓存砍96%

OCR 3.0时代,来了

www.qbitai.com · 2026-10-27T08:35:33+00:00

KV Cache被压成常数! OCR开源新王:页数没上限,缓存砍96% 听雨 2026-10-27 16:35:33 来源: 量子位 OCR 3.0时代,来了 听雨 发自 凹非寺 量子位 | 公众号 QbitAI 百度的OCR又升级了, 文心Unlimited OCR 2正式发布并开源!

这次,它直接挑战一口气读完整套小说。 7部《哈利·波特》,从《魔法石》到《死亡圣器》,连续识别、转写,3600+页一路读到最后。

换成《三体》全集,同样能一口气读完,三本书1200+页,几十万字,中间也不带喘的。不过,连着读这么多页,模型得先过一道关: 显存 。

文档越长,推理时需要保留的中间信息(KV缓存)就越多——可以理解为模型边读边记的小抄,页数越多,小抄越厚。小抄厚重,不光占地方,翻起来也慢。

在技术报告的百页级单序列测试中,文心Unlimited OCR 2给出了一组对比: 峰值KV缓存占用从标准解码(将所有页面的视觉缓存同时保留在显存中)的 47GB降至1.77GB,一口气减少了约96%。 47GB是什么概念?

比不少笔记本电脑的整机内存还大。而这还只是KV缓存,模型权重等其他开销另算。

它的上一代Unlimited OCR,已经凭借多页文档连续解析能力,在开源社区积累了相当的人气:累计下载量超过1000万,在GitHub上收获约2.86万Star。从社区制作在线Demo,到支持SGlang推理,围绕它的适配也在持续推进。

到了第二代,升级重点在于连续处理更长文档的同时,把计算和缓存负担降下来。为此,文心Unlimited OCR 2提出 稀疏参考滑动窗口注意力机制SR-SWA ,让模型按需选取相关页面和视觉信息,减少重复计算。

配合持续解码机制,模型能够连续处理超长文档,单步解码开销也不会随着文档变长而水涨船高。目前,文心Unlimited OCR 2已在Hugging Face和GitHub正式开源。

开源地址: *GitHub : https:// github.com/baidu/Unlimi ted-OCR* *HuggingFace : https:// huggingface.co/baidu/Un limited-OCR-2* 拆解核心技术:SR-SWA怎么少算,分块解码怎么少存 连续读完几百万字、3600+页的《哈利波特》全集,文心Unlimited OCR 2究竟是怎么做到的?它借鉴的,其实是人类抄书的思路。

人手抄书时是什么流程?看一段、抄一段,眼睛主要盯着正在抄的那一页;只有遇到需要前后对照的地方,才回头翻一翻相关页面。

抄书这件事,人类比模型更早就想明白了:没人会一边抄《论语》,一边在脑子里同时把《论语》全部页数摊开一起看。但上一代Unlimited OCR不是这么干的:虽然通过R-SWA已大幅降低推理阶段的KV缓存,但再回看的过程中,所有输入页面的视觉信息依旧都要参与注意力计算。

文档越长,算的信息越多,而其中相当一部分,跟当前正在识别的那几行字压根没关系——典型的「陪跑」。 △SR-SWA借鉴人类抄书时的局部聚焦方式 顺着人类抄书的思路,文心Unlimited OCR 2引入了 稀疏参考滑动窗口注意力机制(SR-SWA) 。

它的筛选分两层:先把需要参考的页面筛出来,再从筛出来的页面里挑出真正相关的局部信息,把无关计算挡在门外。从整体架构看,文心Unlimited OCR 2延续了上一代的基础设计。

△文心Unlimited OCR 2整体架构 书页图像先进入DeepEncoder,被转成模型能处理的视觉Token——可以理解成一组记录页面内容与版面特征的数据卡片。接着,语言模型根据这些卡片,一步一步生成识别结果。

关键变化就发生在语言模型内部:上一代采用的 参考滑动窗口注意力机制(R-SWA) ,在这一代升级为SR-SWA。架构图中左下方展示的,就是SR-SWA的两层筛选过程。

第一层是Page Gate,管「该看哪几页」。它根据模型当前解析到的位置,把候选视觉信息收拢到相关页面范围内,不让无关页面来凑热闹。

放到抄书的场景里,就像读到某一页时,先找到与这一页相关的几个页面,而不是从头翻遍整本书。第二层是Token Sieve,管「这一页里该看哪几行」。

选对页面只是第一步:即使在这些页面中,也不必让所有视觉Token都参与计算。 Token Sieve会再做一次筛选,从页面里挑出与当前内容更相关的视觉信息块,以捕捉长距离视觉依赖关系。

架构图右侧展开了这一过程:先用各个信息块的简要表示算出相关性,再通过TopK挑出得分最高、数量固定的信息块。挑完之后,模型仍然会去看这些块中的具体视觉信息,而不是只看个摘要。

两层机制配合,让模型既能在长文档中找到相关页面,又能减少每一步需要处理的视觉信息,从而提升长文档解析效率。 △Token Sieve细节 筛选出的视觉信息,还会与图中的 Local Window (局部滑动窗口)一起参与解析。

这个窗口大小固定,装着最近的上下文,并随着生成过程一路向前平移,负责让模型顺着刚才的内容往下写。信息块数量固定,局部窗口大小也固定,每一步需要参考的信息量就被框住了——文档再长,这一步还是这么多活儿。

不会出现「书越厚、每写一个字越费劲」的情况。 SR-SWA负责的是每一步少算点;而显存里到底要留多少信息,则是另一个问题。

每页图像经过编码,都会变成一组视觉Token。模型生成解析结果时要参考它们,因此会存下对应的KV缓存,供后续计算复用。

如果一次性读入整份文档,再把所有页面的视觉缓存都留在显存里,页数越多、占的地方越大。更麻烦的是:哪怕这些页面根本没参与当前计算,只要缓存没释放,它们照样占着显存不走。

这就好比抄书时把每页草稿都摊在桌上,一页不扔——桌子再大也不够用。所以,少算一些,还得配合少存一些。

文心Unlimited OCR 2为此引入了 无限解码机制 (Unlimited-Horizon Decoding Paradigm),通过分块处理控制缓存占用。 △分块解码示意图 这套机制把文档划成大小可控的页面块,依次解析。

相邻两块重叠一页,上一块的最后一页,也是下一块的起点——一枚现成的书签。进入下一块时,模型直接复用这页重叠页的视觉KV缓存,同时保留上一段输出末尾的文本缓存,让前后内容接得上。

其余已经用不上的页面视觉缓存,就及时释放,腾出显存。这样一来,显存里需要保留的视觉缓存,就被压在当前处理块的规模内。

处理完一块,留下衔接所需的信息,再开下一块——不必让整份文档的视觉缓存从头到尾占着位子。 *SR-SWA负责减少每一步的计算,无限解码机制负责控制缓存占用。

两者配合,才能让模型持续解析超长文档。 884页《指环王》42分钟读完,缓存降到1.77GB 技术讲了这么多,我们也想亲眼看看效果:直接丢给它一份 884页的英文版《指环王》 。

返回 AI 市场导读

来源:qbitai.com