VicroCode
让代码创造价值
VicroCode是一个轻量级代码在线发布、交易平台,开箱即用,免部署、免服务器、免备案,支持接入智能体、通用管理系统、游戏等多种项目
稍候片刻,您可先学习AI编程手册
正在加载中...

市场信息

Token 暴涨 5000 倍之后,企业 Agent 落地还卡在哪里?

点击查看原文>

www.infoq.cn · 2026-11-04T21:56:58+00:00

过去两年,AI 的发展速度几乎超出了所有人的预期。但看到国家数据局披露的那组 Token 数据时,相信不少人还是会吓一跳: 我国日均 Token 调用量从 2024 年初的 1000 亿,增长到 2026 年 7 月的超 500 万亿,两年增长超 5000 倍。

这是个什么概念?两年前,1000 亿或许还是个“试用级”的量,大家拿 AI 写文案、做问答,用完就关,纯属尝鲜。

但现在的 500 万亿,可以算是“生产级”的量,AI 应用从个人提效走向更广泛的企业场景,企业侧的提效也在加速。但从“用起来”到“用得好”,还存在一些“断点”。

在 10 月 29 日举办的 2026 腾讯全球数字生态大会上,腾讯集团高级执行副总裁、云与智慧产业事业群 CEO 汤道生在谈到企业 Agent 落地时提到, 打通这些“断点”的关键在于“连接” —— 把人、工具、系统和数据连接起来,让大模型理解业务上下文,真正进入工作流程。围绕这一判断,腾讯云将打造 “全场景、高效能、更放心”的 Agent 生产力系统。

这套系统到底怎么落地?腾讯云把答案放进了数字生态大会的 AI 产品发布台 : 用两天、四个版块、七大议题、40+场发布,把这套系统拆解到应用、数据、安全和工程的每个环节中,最终形成一张企业 Agent 生产力系统的产品地图。

40+ 场发布:一张 Agent 生产力地图上的工程坐标 在这张地图上, 应用先回答 Agent 能帮员工和业务做什么,数据回答 Agent 如何读懂业务,安全回答 Agent 的边界,工程回答 Agent 如何跑得稳、用得起。先看应用。

如前文所说,汤道生把企业 Agent 落地的关键归到“连接”上,落到应用上,腾讯云给出的回答是 更加开放 。 WorkBuddy 将全面开放产品架构,同时支持企业自研 Agent 与生态中第三方 Agent,包括第三方 IM 系统的接入。

“选什么模型、接什么 Agent、用什么 IM,选择权都在企业手里。汤道生表示,已经有越来越多企业基于 WorkBuddy 组成自己的企业 Agent 网络,搭建新一代的企业智能中枢。

此外,腾讯云还发布了 以 WorkBuddy 为工作台的一体化套件 Buddy One ,把 WorkBuddy、腾讯会议、腾讯文档、腾讯网盘等工具放进同一套账号、积分池和上下文里,全面打通内外部生态。应用回答了 Agent 能做什么,十几款产品能力升级着实热闹,但决定它们好不好用的,是能否拿到数据、读懂数据。

腾讯云所描绘的“全场景”,不只是打通应用本身,还包括 打通数据平台,让 Agent 进入企业工作流 。 AI 产品发布台数据板块讨论的,就是 如何让 Agent 快速拿到并读懂企业数据 ,并把六款产品串成一条“ 懂—存—跑—自治 ”的链路。

其中,AI 原生多模数据库 TDSQL Nexa Lakebase 负责“懂”,通过 Knowledge 提供语义构建与理解能力,在企业数据与 Agent 之间构建了一层可持续演进的语义层;多模 AI 数据底座 TDSQL Boundless 解决“存”的问题,一套内核兼顾事务、宽表、分析、搜索与语义检索;TDSQL-C PostgreSQL 负责“跑”,为 Agent 提供弹性、隔离的数据库后端;TencentDB Agent 负责“自治”,把腾讯云数据库多年运维经验封装为 Skill,让 Agent 接手 DBA 的工作。 Agent 越能干,碰到的数据和系统越多,边界问题就越绕不开。

在 AI 产品发布台的安全板块中,七场分享基从 AI 攻防延伸到业务安全。在攻防层面,新一代云安全中心从被动防御转向主动运营,整合主机、容器与云安全态势管理;腾讯云无境以 AI 驱动自主渗透以攻促防,单站验证平均约 91 分钟、百元级成本,助力企业高效提升安全水位。

业务安全侧,天御风控 Agent 以黑灰产情报驱动,在对话中随时随地完成风险分析与策略调优。应用、数据、安全三大板块,回答了 Agent 能做什么、如何答对、边界在哪。

但要确保这些能力跑得稳、用得起,还需要归到工程上。汤道生将 Agent 工程的关键词总结为“高效能”,他观察到的一大变化是, 随着 Agent 持续渗透办公与业务场景,企业的 Token 使用量与成本暴增。

企业需要从粗放使用最强、最贵的模型,转向追求性价比,精准匹配不同模型来执行不同任务。这笔账,确实有必要细细算。

据 Gartner 测算,一个简单聊天机器人花 0.01 美元能完成的任务,换成具备推理能力的 AI Agent,成本可能到 1.50 美元;Agent 完成同等任务平均需要多消耗 5-30 倍的 Token。预计到 2028 年,单个 Agent 工作流的 AI 推理成本可能增长 5 倍以上。

当然,Agent 的成本不是单一模型单价决定的,它还取决于 Agent 怎么跑、跑多久、调多少次模型。换个便宜模型,解决不了全部的问题。

实现“高效能”,需要从工程上找答案。在 AI 产品发布台工程板块中,腾讯云从 Agent Hosting (Agent 托管与治理)、Agent Infra 产品方案,以及 MaaS 服务及训推加速三大方向,做出体系化回应。

全新发布 AgentHosting:让 Aha 时刻持续发生 先看 Agent 托管与治理。个人使用 Agent,关注它能否方便地帮自己完成任务;企业使用 Agent,还需要考虑谁来管理、成本如何控制,以及经验能否沉淀和复用。

在 AI 产品发布台,腾讯云把原有的云端自托管 Agent 产品系列升级为统一品牌 AgentHosting ( /ai-market-guide/ ) , 汇聚 Lighthouse Agent、ClawPro、SkillHub、Octop 等产品能力,覆盖 Agent 云端运行、企业管理、技能生态及智能运维等场景,为个人、开发者和企业提供从部署到持续使用的支持。但如果只把它理解成是一次品牌升级,或许过于狭隘了,本质上,腾讯云想以 AgentHosting 回答的,是 Agent 进入更广泛的企业场景后,云服务该补哪些能力。

腾讯云通用计算产品副总经理肖娜分享了团队经历的三个“Aha 时刻”。第一个 Aha 来自 Agent 在云端的持续运行。

OpenClaw 部署在 Lighthouse 上并接入聊天工具后,用户可以通过熟悉的窗口交代任务。 “原来,电脑关了,AI 还能帮你把事情往前推进。

第二个 Aha 来自用户对 AI 的热情。 3 月 6 日,团队在腾讯大厦北广场帮助用户部署 OpenClaw。

现场来了不同年龄、不同职业的人,大家都想知道 AI 能帮自己做些什么。从现场装机到全国巡装,团队看到了更多人对 AI 的期待。

第三个 Aha 发生在 AgentHosting 品牌建设过程中。团队借助 AI 完成品牌设计、官网和视频制作,从理念碰撞到落地实现,用了一到两周。

这次实践也让团队感受到,AI 正在改变团队的协作方式。三个“Aha 时刻”,分别对应云端运行、用户使用和团队协作,也解释了 AgentHosting 这个名字的由来。

品牌首字母“AH”既呼应 Aha Moment,也呼应“Always Here”。 Aha 是发现新可能时的惊喜,Always Here 是云端能力的持续陪伴,让 Agent 接住任务、继续推进。

围绕这个理念,AgentHosting 明确了三个方向: Here to Run,让任务持续运行;Here to Connect,让需求找到合适的能力;Here to Govern,让团队使用有序、责任清楚。落到产品上,四款产品各有肩负。

Lighthouse Agent 管“在哪跑”。据腾讯 Lighthouse Agent 产品负责人曹楠介绍, Lighthouse Agent 依托腾讯轻量云,支持主流 Agent 快速云端部署 。

Agent 运行在用户自有的 Lighthouse 实例上,用户可按需选择镜像、模型和运行配置,搭建自己的云端 Agent 工作环境。面对需要多角色参与的任务,Lighthouse Agent 支持通过手动或智能建群组织多个 Agent 分工协作。

用户也可以通过云桌面查看网页任务的执行情况;遇到登录、文件上传等关键步骤时,可接管操作,完成后再交由 Agent 继续执行。对于巡检等需要持续跟进的工作,用户可以设置定时任务,让 Agent 在云端按计划执行,并将结果推送至已接入的消息通道。

本地设备离线后,云端任务仍可继续运行。 ClawPro 负责“怎么管”。

腾讯 ClawPro 产品负责人黄绮婷在 AI 产品发布台宣布 ClawPro 正式全量发布。它是 腾讯云面向企业的 Agent 管控平台,支持统一纳管云端与本地 Agent,集中管理组织权限、模型配额、Token 用量和安全审计 。

企业可以将知识、技能和工作规范沉淀下来,统一维护并分发给团队成员,让员工开箱即用;也可以通过 API 将 Agent 接入现有业务系统。 SkillHub 解决“技能从哪来”。

腾讯轻量云产品总监钟宇澄在 AI 产品发布台分享了 SkillHub 技能生态的最新进展,并发布 SkillPay 能力。 SkillHub 支持在 Agent 对话中发起安装,通过 TRACE 评测帮助用户选择技能,并提供安全检测和审核记录,让用户了解技能来源与使用风险。

目前, SkillHub 平台技能总量超过 20 万个,累计下载量超过 2 亿次,单月下载量超过 5000 万次 。此次发布的 SkillPay 还连接了技能服务的交易与交付 :服务提供者可以将已有服务或 API 封装为 Pay Skill,设置单次服务价格并发布;用户和 Agent 找到所需服务后,可按次购买和调用,服务结果返回当前任务,相关订单与结果也可查询。

Octop 面向开源开放。作为开源、自托管的 AI Agent 引擎, 它以云服务器运维作为核心切入点,依托开源社区生态持续向更多专业垂类场景延伸 。

支持对接长安链,可将 Agent 输出内容对应的引用资料与推理依据上链存证,在产生争议时能够快速完成取证与核验。据腾讯云 Octop 产品负责人许家豪介绍,Octop 连接腾讯云后,用户可以查看授权范围内的服务器实例信息、配置和运行状态,并通过对话发起诊断或巡检任务。

针对服务器异常,Octop 可结合专家经验、工具、知识库和记忆组织排查,提供检查依据与处理建议;需要执行处置操作时,经用户确认后再进行处置与复查。用户也可以按实例或任务范围设置巡检,通过移动端 IM 定时接收巡检报告。

除了运维场景,社区开发者也将 Octop 应用在了律师工作台、临床医生学习、小店经营管理、国际招生等多个跨行业场景中。四款产品放在一起看,AgentHosting 回答的,是如何 让 Agent 在云端持续运行,让团队使用有序、责任清楚,也让用户能够找到合适的技能和能力。

不过,企业能管好 Agent,并不代表底层运行问题已经解决。一个企业拥有几十个 Agent,和同时运行数万个 Agent,对云端资源的要求完全不同。

任务数量增加后,执行环境能不能快速创建,任务暂停后能不能恢复,多个 Agent 之间如何共享数据,都会成为新的问题。在 Agent Infra 议题中,腾讯云以八款产品回答了,如何让 Agent 从“能跑起来”到“可规模化、可信赖地持续生产”。

如何让 Agent 从“能跑起来”到“可规模化、可信赖地持续生产”?腾讯云 Agent Runtime 产品负责人李佳南在 AI 产品发布台圆桌对谈环节中,算了一笔账: 传统应用可以让大量请求复用少量实例,Agent 却需要每个配一台“云电脑”。

如果企业有 10 万个数字员工,背后就可能需要 10 万个沙箱。这笔账背后,体现的是架构差异。

传统应用大多无状态,请求来了就处理,处理完就释放,少量实例能扛住大量并发。 Agent 有状态、能独立操作、要持续运行,每个 Agent 都像一个独立工位。

WorkBuddy 更极致,它是会话级隔离,每个用户会话背后都要瞬间启动一个隔离沙箱。它带来的规模压力,可以用“恐怖”来形容。

怎么让它们跑得稳、管得住,直接决定 Agent 能不能上生产。腾讯云为此 全新升级了 Agent Runtime,围绕上下文管理、工具调用、安全沙箱、可观测、评测等关键环节做了系统性增强 。

据介绍,这次升级覆盖运行域、治理域、进化域: 运行域让 Agent 跑得稳,治理域让 Agent 管得住,进化域让 Agent 越来越聪明 。去年腾讯云首次发布 Agent Runtime,从 Sandbox 出发提供大规模弹性、安全隔离的执行环境。

当时业界有几条路线:在 Kubernetes、云函数 FaaS 上做适配,或者调整云桌面、云手机的产品形态。腾讯云选了一条更难走的路:从 Agent 负载特征出发,重新构建调度、计算、存储和网络。

相当于, 面向 Agent 重新搭建了一套云 。今年,升级后的 Agent Runtime 在运行域提供代码、浏览器、桌面、手机等标准沙箱,以及 SWE、OSWorld 等训练评测环境,兼容 E2B SDK。

训练场景重构资源交付链路,预置评测环境,把执行环境与 Harness 解耦;服务场景把休眠机制搬到云上,空闲时暂停并释放算力、保留工作现场,配合弹性块存储 Agent CBS 和“金蝉”加速技术,磁盘快照唤醒缩短到毫秒级。运行域还提供了兼容 K8s 和 BYOC 的 Agent Cluster、负责部署与会话管理的 Agent Engine,以及内置开源 Harness 的 Managed Harness。

数据显示,腾讯云 Agent Runtime 已将沙箱冷启动时间缩短至 60 毫秒,训练场景每分钟可创建 16 万个沙箱,Agent 场景每分钟可创建 60 万个,单地域支持百万级沙箱同时在线。在典型场景中,这套基础设施帮助模型迭代效率提升 30% 至 87%, 目前已支撑混元、MiniMax、阶跃星辰、面壁等十多家模型厂商。

更值得看的是成本。在 Agent 服务中,通过运行资源与存储机制优化, 单位 DAU 成本大幅降低 。

行业里谈 Agent 成本,目光大多落在模型 Token 上,但沙箱、存储和闲置资源也是实打实的开销。 Agent 大部分时间在等待,为闲置资源持续付费,是规模化运营里容易被忽略的一笔账单。

Agent 服务要求会话级隔离,每个用户会话背后都要瞬间启动一个隔离沙箱,能把单位 DAU 成本压下来,意味着同样预算可以支撑更多活跃用户。作为 Agent Runtime 运行域里的关键执行环境,沙箱要同时做到隔离和快。

腾讯云开源的弹性沙箱平台 CubeSandbox 要解决的就是这个两难:Agent 执行的是不可信代码,隔离必须做,但隔离往往意味着启动慢、开销大。传统沙箱方案能轻量启动,但隔离弱;虚拟化方案隔离强,启动又慢。

据 CubeSandbox 核心 maintainer、腾讯云高级工程师李帅介绍,CubeSandbox 为每个沙箱提供独立的 MicroVM,实现硬件级隔离。网络层基于 eBPF 实现沙箱间隔离和出站流量控制,存储层通过写时复制等机制保证数据相互隔离。

敏感密钥托管在平台侧,由平台劫持网络流量、注入 API 请求,密钥不进入沙箱;所有网络访问都会被审计,内网默认受保护。 CubeSandbox 兼容 E2B SDK,开发者改变一个环境变量即可迁移,无需修改业务代码。

Agent 场景里还有一类重操作:快照、克隆、回滚、暂停和恢复。传统方案动辄几十秒,CubeSandbox 把它们做成了毫秒级 API。

快照启动可在 60 毫秒内完成,克隆出的副本独立运行、互不影响,回滚后可以立即执行,适合环境异常恢复和批量实验。数据显示,CubeSandbox 单机 50 并发下 P95 为 90 毫秒;单沙箱额外开销小于 5MB,单机密度可做到千级别以上。

自 2026 年 4 月开源,CubeSandbox 版本已更新至 V0.7.3,并斩获 1.3 万 Star、1000 多个 Fork,106 位外部开发者提交了 990 个 PR。李帅还在发布中预告了 0.8.0 版本的三项能力:保活机制自动探测沙箱健康状态并原地重启,文件系统快照只保存可写文件系统以加快克隆恢复,以及引入 JuiceFS 支持镜像分发和跨机快照。

沙箱把隔离和启动速度这道题解了,但沙箱里的数据怎么存、怎么共享,还有另一套账要算。腾讯云文件存储产品经理熊欣表示, 沙箱从几百个扩展到上千万个,最先撑不住的往往不是算力,而是存储 。

AgentCFS 同时提供文件系统挂载和 S3 两套接口,采用宿主机统一连接存储的方式,不需要逐个沙箱建链;挂载权限由平台统一管理,不同沙箱的数据相互隔离。数据显示, 其 4K32 并发随机读 IOPS 16 万,4K 单流读 P50 延迟 14 微秒。

美团 NoCode 换用后性能提升 100% 以上。 Agent Bucket 管的是 AI 产物。

腾讯云产品专家王致铭提到,AI 时代用户和 Agent 数量可能增长到百万甚至亿级,海量空间的隔离和权限分割成了新问题;数据的使用者也从人扩展到 Agent。 Agent Bucket 在对象存储架构上引入 Space,为每个用户或 Agent 分配独立数据空间,可配置配额、权限和限速,也支持多人共享。

TencentDB ContextTurbo 管的是上下文。腾讯云数据库 ContextTurbo 高级产品经理陈薏竹介绍,它位于 Agent 与模型之间,通过上下文压缩减少长任务中的冗余输入,并利用 L0 到 L3 四层记忆,让 Agent 跨会话延续用户背景和任务信息。

团队记忆把 Chat Memory、Skill、Wiki 和 CodeGraph 纳入 Memory Hub,统一管理归属、版本和状态,再按权限装配给不同 Agent。 PersonaMem 评测中, 用户信息理解准确率从 48% 提升到 76%。

某零售企业用它为四万多名员工提供内部客服记忆支持,接入后转人工率降低 30%。 Agent 多了之后,每一次对模型、工具和系统的调用由谁来管,是规模化绕不开的一环。

腾讯云 TCS 产品中心副总经理曹寅提到一组对照:麦肯锡调研显示 88% 的企业已在至少一个职能中常态化使用 AI,但真正能用 AI 创造显著价值的只有 6%。他把企业撞上的坎归为三道: 接不住,点对点接入换一个模型就要改一遍代码;管不住,敏感数据、提示词注入、智能体权限都没有边界;算不清,Token 消耗是黑盒,费用算在哪个部门头上说不清。

腾讯云 AI 网关以独立网关产品形态正式发布,公有云与私有云两个版本在产品能力、控制台体验与治理标准上全面一致,治理策略可由公有云无缝迁移至私有云。大模型网关统一接入混元、DeepSeek 等主流大模型,支持按成本、延迟、语义等维度智能路由,并提供多级 Fallback 容灾切换;MCP 网关将存量 HTTP 接口转换为 MCP 工具,实现工具粒度的授权管控与调用留痕;Agent 网关对智能体协同与权限实施统一治理。

安全合规方面,提供认证鉴权、输入输出双向内容检测、隐私脱敏、提示词注入防护四层防护体系;成本治理方面,支持按部门、应用维度精确计量 Token 用量,超额自动降级。由 ADP 开发或 Agent Runtime 托管的智能体——包括 WorkBuddy 所使用的智能体——其模型流量均可经 AI 网关统一治理后,分发至 TokenHub 或 TI-ONE。

AgentObs 解决另一类问题。腾讯云 CLS 高级产品经理黄鑫皓提到一个很现实的数字:每天上万次对话,用户一般不主动反馈,光靠工单、点踩和人工抽检,覆盖率连 5% 都不到。

就算发现了问题,一次请求就一行日志,中间召回了什么、工具返回了什么,全看不到;改完之后是变好了还是变差了,也说不清,谁也不敢拍板上线。 AgentObs 要做的就是三件事:看得清、查得准、每一次优化都能被验证。

它基于 OpenTelemetry 协议,支持 20 多类 Agent 和 Agent 主流框架,从运行大盘、会话、调用链到智能诊断逐层下钻,由 AI 分析出错节点。本次重点发布质量评估与 Agent 进化,坏例自动入集,多源打分,过回归门禁再灰度上线。

黄鑫皓还在现场提到了一个有意思的变化:以前看观测数据的基本是运维和开发,现在产品、算法同学也很关心, 可观测正在从“运维工具”变成“质量工具” 。腾讯云异构计算专家工程师、TeamAI 负责人徐志锋则分享了一个团队内部数据:大约 5% 的长尾会话消费了超过 50% 的 Token。

不同用户放在一个对话里完成任务导致上下文爆满,或者一个很大的任务跨天反复被重新提起。每个团队都应该有最佳实践,但最佳实践往往只掌握在走得比较前的人手里,怎么让它快速、自动地触达团队成员,是个真问题。

TeamAI 把团队的技能、规则、工具配置和踩过的坑放进团队 Git 仓库,本地和云端的 AI 自动同步,修改走合并请求。它支持 WorkBuddy、CodeBuddy、Claude Code 等 16 种工具,一条命令可把已合入的代码改动整理成经验。

同一个 AI 跑 40 次任务,违反团队规则从 25 次降到 0 次;149 道踩坑题答对率从 67% 提升到 89%。项目从今年 4 月开源以来,GitHub Star 超过 5000 个。

八款产品构成了一条从运行、治理到进化的链路:运行域让 Agent 跑得稳,治理域让 Agent 管得住,进化域让 Agent 越来越聪明。过去很长一段时间,行业里讨论 Agent,注意力容易放在模型能力上,但真正让企业敢把 Agent 放进业务流程的,往往是沙箱启动快不快、存储撑不撑得住、调用管不管得住、出错查不查得清这些工程化问题。

解决完这些问题,企业还得继续算一笔账:模型从哪里来?不同任务应该用什么模型?

推理速度和算力成本又该怎么平衡?这些,也是 MaaS 服务及训推加速议题需要回答的。

模型越用越多,企业开始精打细算 模型调用量持续增长,企业选模型的方式也在发生变化。腾讯云 TokenHub 产品负责人何世友在现场分享了一个观察:过去,企业往往倾向于优先使用能力最强的模型;现在,随着 Agent 使用量增加,大家开始根据任务选择不同规模的模型。

编码等复杂任务仍更多使用大模型和中模型,办公、Agent 场景逐渐转向中小模型,普通对话则更多交给小模型。原因在于,一个 Agent 完成任务,可能需要多次调用模型。

如果每一步都使用最贵的模型,成本很快就会累积起来。企业需要考虑的,已经不只是模型能力,还有每一笔 Token 花得是否值得。

TokenHub 此次升级,主要围绕模型供给、服务稳定性、使用体验和成本治理展开。模型供给方面,TokenHub 在腾讯混元之外,聚合 DeepSeek、GLM、MiniMax、Kimi 等主流模型,覆盖文本推理、代码、图像、视频、音频和 3D 等能力,并通过重点模型 Day0 接入,让用户在模型发布首日就能体验新能力。

服务方式上,何世友重点分享了三个场景:客服和语音外呼可用 TPM 预留提前安排吞吐容量;金融报表和风控分析可用模型单元提供专属推理资源,结合 AICC 可信运行保护数据链路;作业批改和批量数据分析可用离线推理服务和异步队列降低成本。购买方式上,TokenHub 推出 Token Plan 企业版和 Saving Plan,前者面向团队按月订阅,后者面向用量稳定的企业,通过月度消费承诺获得按量优惠。

接入方式上,TokenHub 推出 Skill 和 CLI,让 AI 助手帮助完成模型选型、配置、接入代码生成,以及上线后的运维和问题排查。安全方面,TokenHub 建立四层安全合规体系,覆盖基础运行时、企业资产、数据内容和合规风险。

模型单元提供专属推理资源,结合安全镜像、可信启动和运行时度量明确资源和运行边界;AICC 提供端到端加密,保护请求和结果的传输过程。模型调用的成本是一笔账,推理服务本身的效率是另一笔账。

腾讯云 TI-ONE 产品经理杨沐原提到, 企业自己部署推理服务不难,难的是达到生产级工程水准 。 Prefill 和 Decode 两阶段的算力利用率、缓存复用、算子优化、芯片适配,以及上线后的持续运营,都会影响最终性能和成本。

TI-ONE 此次升级集中在 更快、更省、更易用 。性能上,TI-ONE 基于五层技术路线优化国产芯片推理能力:数据通路优化使有效带宽提升 325%;算子重构使单算子最高加速 9 倍;并行与通信优化使 TPOT 下降 23%;多级缓存使 KV 池容量扩大约 7 倍,长上下文场景首字延迟下降 87%;集群调度与路由将缓存命中率从 80% 提升到 92% 以上,集群吞吐提升 50% 至 70%。

这些技术封装在 TACO 加速引擎中,内置于 TI-ONE。在某主力国产卡上,针对三个主流开源模型的真实 Agent 业务测试中,Hy4-preview 单卡吞吐提升 5 倍,GLM-5.3-Flash 提升 3.5 倍,DeepSeek-V4-Pro 提升 2.5 倍。

成本方面,TI-ONE 支持通过资源组、配额和全局优先级调度,对企业自有算力进行潮汐调度。白天优先保障在线推理,夜间则可以安排训练或数据处理任务,减少算力闲置。

易用性方面,平台通过平台、框架、驱动和底座四层适配体系,减少不同芯片之间的使用差异,并提供推理模板,将镜像、启动命令、环境变量和资源规格等配置沉淀下来,降低部署门槛。对于金融、政务、医疗等对数据出域有严格要求的行业,腾讯云此次还正式发布专有云 AI 套件。

据腾讯专有云 TokenHub 产品总监王仿坤介绍, 专有云 AI 套件面向中大型企业提供从异构算力、模型服务到 Agent 运行和应用接入的能力,企业可以接入 WorkBuddy、CodeBuddy 并统一纳管。其中专有云 TokenHub 预置 DeepSeek、GLM、腾讯混元等主流模型,通过选择模型、部署模板和发布 API 三步启动模型服务,生成兼容 OpenAI 接口规范的 API。

模型和 Agent 进入生产环境后,还有一项容易被忽略的工作:保护已经积累的数据。据腾讯云存储产品经理何婧介绍,企业需要保护的 AI 资产包括私域文档、语料和 RAG 知识库,Agent 编排配置、会话记忆,以及训练数据集、Checkpoint 和模型权重。

她举了一个 32 卡并行训练的例子:如果训练进行到第 6 天发生故障,而最近的 Checkpoint 是 3 天前的,可能损失约 72 小时的训练成果。腾讯云此次发布的灾备中心 BDRC,可以统一管理云上和本地环境中的文件、对象、数据库及 Agent 存储。

针对 AI 应用,知识库文档和语料可以通过备份实现恢复,Agent 配置和会话记忆可以通过 Agent 存储备份找回,训练 Checkpoint 和日志则可以采用小时级高频备份,帮助企业减少故障带来的损失。从模型选择、Token 治理,到推理加速、私有化部署和数据保护,这几个产品覆盖了 Agent 从调用模型到进入生产环境后的几大关键环节。

对企业来说,模型能力只是起点,能否把调用成本控制住,让算力持续发挥作用,并保护好长期积累的数据和业务资产,才决定了 AI 能走多远。回看这两天的 AI 产品发布台,讨论的内容从 Agent 应用、数据和安全,一直延伸到工程。

企业从最初关注模型能做什么、Agent 能完成什么任务,到现在关注如何让它接入现有系统、持续运行,以及如何管理随之增加的资源和成本。 Agent 的能力在向前走,企业需要补上的工程环节也越来越多。

这些工程环节,单个看都不算新鲜。托管、沙箱、存储、网关、可观测、推理加速、灾备,都是云上已有的能力。

难的是,把它们拼成一套能让 Agent 长期运行的系统,让模型调用有账可算,让任务执行有迹可循,让数据资产有处可放。只有这些问题逐步得到解决,企业才可能放心地把更多工作交给 Agent。

扫描下方二维码,或点击链接( /ai-market-guide/ ),查看精彩回放:

返回 AI 市场导读

来源:infoq.cn