V2EX › 开源软件 折腾了一个 Go Agent：魔改 Runtime + Hybrid RAG + llama.cpp + WebGPU，分享一下实现 hh2002sun · 4h 4m ago · 191 views 定的业务场景是企业公文写作，本地 Embedding/Rerank 和模型推理也一起整合进来了，不只是套一层 Agent 编排。整体链路是文档解析 → Hybrid RAG 召回 → Rerank → Agent Tool 调用 → 证据约束生成，Web 端用 WebGPU 跑 Embedding/Rerank ，桌面端用 llama.cpp 跑本地模型。
llama.cpp 端还做了点优化，cuda 版本对块对角矩阵的计算有问题，原版全部计算了，浪费了大量时间。这块是朋友帮助下 codex 帮忙改的，当时测试的时候发现同样一份测试用例 valkun 需要 3s 就能 rerank 完，cuda 版本居然要 10s 。
以下是核心功能演示视频。 /ai-market-guide/
id=bc58421664e24de799260e7c677ebc8a#.mp4 项目地址： /ai-market-guide/ 网站地址： /ai-market-guide/ 项目目前仍在完善，具体架构、Eval 和 Benchmark 都在 README ，欢迎提 Issue / PR / 架构建议，觉得有价值也欢迎 Star 。 Agent rag 本地 2 replies • 2026-10-10 19:40:37 +08:00 1 wxppkm 3h 50m ago Go Agent ？
这名字也是十多年前常见的翻墙方法，用 Google App Engine 的。 2 hh2002sun OP 1h 55m ago @ wxppkm 基于 golang 的 agent ，那很巧合了