• 请不要在回答技术问题时复制粘贴 AI 生成的内容 V2EX › 程序员 怎么实现让 AI 对百万数据进行本地分析? leven5 · 2h 20m ago · 486 views 目前的需求是,获取服务端数据交给 workbuddy ,让 AI 根据我提供的列名自行编写脚本,过滤、汇总出用户想要的数据。
由于没有参考对象,不知道应该怎么开发,我想的是: 写一个 MCP 获取数据,然后把数据集保存到 jsonl/xslx 等临时文件中,以 resource link 的形式返回给 AI ,并返回列名、字段类型、数据条数等元信息。 AI 得到路径后,自己写脚本开始处理数据,然后返回给用户。
但是我文件写到哪里?如果直接往 userdata 写的话,那垃圾文件只会越来越多,而且也不会随着对话的删除一并删掉。
这种功能一般是怎么实现?只能是服务端分析完,把结果返回给 AI 吗?
本地 数据 脚本 9 replies • 2026-09-09 18:56:32 +08:00 1 victorc 2h 1m ago 你直接问 ai 就行了,网友智商更低 2 YanSeven 1h 32m ago 听着有点像是要对离线数据做批处理和离线分析一样的需求,可以把场景和需求描述地更清晰一点,让 ai 往这个方向给给意见建议。主要是,啥数据,要分析啥。
3 blackPanda 1h 28m ago 那必须 duckdb 啊 4 kevan 1h 24m ago deepseek harness dataagent 5 itfarmer 1h 2m ago @ blackPanda 👍 duckdb 最适合干这个,不要让大模型去处理大数据 6 llsquaer 57 mins ago 感觉你这个分析的话,应该是分析的逻辑,而不是真正的数据处理。真的几百万数据大模型也吃不消啊 7 yjiefl 38 mins ago via iPhone 先跟 ai 聊目标和数据情况 8 mechunjun 33 mins ago 做不到 9 swczxf 33 mins ago via iPhone 让 ai 写个离线分析的数据库,然后把数据插入数据库,再写 sql 分析