VicroCode
让代码创造价值
VicroCode是一个轻量级代码在线发布、交易平台,开箱即用,免部署、免服务器、免备案,支持接入智能体、通用管理系统、游戏等多种项目
稍候片刻,您可先学习AI编程手册
正在加载中...

市场信息

[分享创造] 大模型时代,我训练了一款小模型(4MB)

前情提要: 开发了一款轻量养车记账软件,欢迎油车电车高端人士体验 ( 7 天前发的上篇) 这 7 天更新了什么 一句话:把「 AI 帮你记」背后的模型,从 手机上跑一个 2.33GB 的大模型 ,换成了 自己训练的 4.5MB 小模型 lingxi (灵犀) 0.1.0 ,纯 Dart 推理、无任何原生依赖。 默认识别档位已切到 lingxi-0.1.0 (下载体积从 GB 级墙降到 4.

www.v2ex.com · 2026-09-09T04:06:55+00:00

前情提要: 开发了一款轻量养车记账软件,欢迎油车电车高端人士体验 ( 7 天前发的上篇) 这 7 天更新了什么 一句话:把「 AI 帮你记」背后的模型,从 手机上跑一个 2.33GB 的大模型 ,换成了 自己训练的 4.5MB 小模型 lingxi (灵犀) 0.1.0 ,纯 Dart 推理、无任何原生依赖。默认识别档位已切到 lingxi-0.1.0 (下载体积从 GB 级墙降到 4.5MB ,MB 级不再强制 Wi-Fi ) 支持 一句话记多笔 :「昨天加油 300 。

今天洗车 30 。 → 自动拆成两条草稿,日期各自正确 AI 草稿页支持增删改、批量落库、低置信度字段标记「请核对」 加了识别反馈(准/不准),真实语料从 55 条扩到 390 条,并修了一批评测集卫生问题 契约升到 v2 (全角句号从"小数点"里放出来,成为句子边界),模型零重训直接受益 为什么不用大模型 上篇评论区有人担心「端侧 AI 会让人变傻」,但其实更尴尬的是技术账:让一个通用 LLM 做 槽位抽取 ,等于让它承担本该由规则承担的活——中文数字换算、元→分乘 100 、相对日期推算、句中多数字消歧、备注改写。

于是引入两类最难防的错: 金额量级错误 (×100 出错,7 元记成 700 元,用户会漏过去)和 备注幻觉 (编造原文不存在的文本,污染账本)。而且抽取任务真正承载的决策信息只有约 3 bit ,LLM 是按语言建模约 45 bit 造的,纯粹浪费容量。

所以我换了个思路: 候选枚举 → 模型选择 → 规则解引用 。 "呃,昨天在壳牌那儿,95 的加了 42 升,367 块 8" ① 枚举 把所有片段编号,并顺手把计算全做完: N1=42 升(42.0) N2=367 块 8(=36780 分) D0=昨天(=设备当天-1) ② 标记 ⟨N1⟩42 升 ⟨N2⟩367 块 8 ③ 模型 一次前向:指出 N2 是金额、N1 是升数、D0 是日期、类别=加油 ④ 解引用 按编号取回算好的值 → 草稿 模型从头到尾 没做过一次算术、没做过一次日期换算、没写过一个原文不存在的字 。

中文数字、小数、心算、自我改口、多数字消歧、相对日期这六类难题,从"生成/计算"坍缩成了"选择",容量需求直接掉两个数量级,且结构上不可能幻觉——它只能指认候选。 lingxi 0.1.0 本身 项 值 参数量 4.42M ( 4 层 × 256 宽编码器,RoPE + SwiGLU + RMSNorm ,全网络无 bias ) 产物 slot.ptw 4.49MB ( int8 逐行量化;加载反量化为 fp32 ,常驻内存约 18MB ) 运行时 纯 Dart ,无原生库、无新依赖;常驻 isolate ,Android/iOS/macOS/Windows 通吃 推理时延 p50 ~18ms / p90 ~48ms ( M4 Pro, JIT 实测; AOT 更快,300ms 预算内) 训练 发布版 3000 步,CPU 上约 4 分钟( 242s )训完 评测(这是我最想吹也最想交代的部分): 金标准集 320 条:**100%**(纯规则基线 95.9%) 真实语料 390 条: 90.3% (注意:这个数字是在语料从 55 扩到 390 之后重测的,旧 55 条桥接子集仍是 94.5% 纹丝不动—— 分数下降是标尺变诚实,不是模型退化 ) 未见说法切片:**54.5%**,规则基线只有 27.3% ← 这 27pp 就是模型存在的全部理由 拒答召回:**93.2%**(拿不准就拒绝,不硬猜) Python 训练侧与 Dart 端侧:数百条端到端决策完全一致,logits 误差 < 1e-3 一个反直觉的结论来自容量扫参: 精度和参数量几乎无关 ——630K 参数金标准已 100%,14.5M 无任何可辨识提升,瓶颈是 数据与词汇覆盖 而不是模型大小。

当务之急是把评测集做大,而不是把模型做大。训练数据怎么来的?

模板族合成 + 用 qwen3:14b 当"教师"只借它的 词汇多样性 (一次问 30 种说法:「给车洗了个澡」「掏了过路费」「补点电」……),模式引擎再乘上槽位空间生成十万级样本;评测诚信纪律是生成的说法与评测集任何文本重合一律丢弃。整个训练链路、契约、测试向量都在 pitstop-ml/ 工作区,权重发布到 HuggingFace ,有防回归门禁。

这周踩的坑(省略一万字版) 真实语料只有 55 条时,模型和 0.75 vs 1.00 的差别都是自欺,先把评测集做大再谈调模型; 全角句号曾被归一化成小数点,导致分句器刻意躲着句号走——把它从映射表放出来当句子边界后,「昨天加油 300 。今天洗车 30 。

自然就对了; 纯 Dart 没有 int8 SIMD ,int8 只用来 存 (省下载),计算仍走 fp32——下载体积和计算精度就此解耦。 App 还是那款不上应用商店的养车记账(本地单机 / 在线共享双模式,多车、固定费用、统计都有),现在多了个 4.5MB 的 AI 帮你记。

下载: /ai-market-guide/ 模型仓库: /ai-market-guide/ ( slot.ptw ,4.49MB ) 有任何想问的尽管问,我很乐意展开聊。

返回 AI 市场导读

来源:v2ex.com