V 友们好，最近帮公司做推理成本优化，把实测过程整理出来了。背景：团队每天 2000+ 次摘要/分类调用，走 API 一个月 ¥2000 上下。
这类任务（工单分类、报表摘要、字段抽取）其实 3B 模型就能干，没必要每次都叫 GPT-5 。实测：M1 Pro 32GB + llama.cpp + Qwen2.5-3B Q4_K_M （ 2GB ） 生成 54 tok/s （每秒约 40 个汉字） prompt 解析 551 t/s ，2100 token 长文 504 t/s 基本不衰减 内存 3.2GB ，挂后台无感 部署就三步： brew install llama.cpp curl 下载 gguf （ hf-mirror.com 镜像，-C - 断点续传） llama-cli -m 模型路径 -p "提示词" 要给团队用的话 llama-server 一条命令起 OpenAI 兼容 API ，现有代码改个 base_url 就行。
顺便说下最近很火的 DeepInfer （ DeepSeek 开源的推理引擎）：性能确实猛，但硬件要求 Linux + NVIDIA SM100 （ B200 那个级别）或昇腾 950 ，中小企业看看就好，现阶段 vLLM 是甜点位。完整教程+选型对比表： /ai-market-guide/ （博客版） 想问下 V 友们： 你们团队的 AI 调用量一个月 API 费多少？
有没有人在生产跑过本地小模型？踩了什么坑？