从 pixivic 到 ShareMoe,八年历程,在 ai 时代重新出发,just for fun~ 为什么是 ShareMoe?最全:pixiv+danbooru 以 Danbooru 与 Pixiv 的公开插画元数据为基础,打通两个最大二次元插画分发平台的物料,统一进行分发。
在数据补全方面,ShareMoe 基于前序开源的 ACG2Vec 项目中的 pix2score 模型,对 danbooru 作品的元数据进行预估补全,包括: sanity 分级预估 收藏数预估 浏览数预估 这些结果用于改善检索、排序和浏览初始体验,for 对齐 pixiv 平台的后验值,不替代真实统计数据。后续探索基于保序回归的新版本。
最准:从标签匹配到内容理解 不管是 pixiv 或者是 danbooru,检索仍然以文本粒度的 term 匹配+全文分词倒排作为实现,语义泛化能力差;在这种关键词硬匹配的背景下,danbooru 侧更是缺少用户反馈,后验信息缺失,导致朴素排序结果较差,pixiv 为了高级会员差异性,劣化了普通用户的搜索体验(无法进行热度排序) 我们建设从多模态内容理解到语义检索、召回和排序的完整方案。 LLM 增强的画作语义表征基座 基础表征方案由两个模型组成:上游多模态大模型负责离线生产高质量的领域语义数据,超大规模二次元图文对微调的 embedding 模型负责把图像与不同粒度的文本映射到同一个向量空间。
画作与原始元数据 → 标签知识增强 → 多模态内容理解 → 结构化语义数据 → 多粒度图文配对 → 分阶段 embedding 微调 → 向量化与 ANN 检索。结构化多模态内容理解:从图像生成可追溯的结构化理解 基于 Qwen/Qwen3.5-35B-A3B 产出插画单位的结构化内容理解数据 用领域知识补足原始标签 原始标签通常只有短词,无法完整表达角色、作品/IP、别名和上下位关系。
我们将画作图像、标题、原始标签与可用的标签知识共同送入内容理解流程: Pixiv 标签侧补充中文名、描述、层级分类、父子标签及关联标签等信息; Danbooru 标签侧补充标准名称、标签类别、频次和别名映射; 角色、作品/IP、画师、一般语义和元标签分开组织,减少同名实体和别名带来的歧义; 外部知识只作为识别线索,最终仍要求模型回到图像确认可见事实,无法确认的内容保留低置信度或空值。产出结构化理解 内容理解模型同时参考图像和元数据,输出分层结果,而不是只生成一段泛化描述。
主要信息包括: 理解层 典型内容 作用 总体描述 角色/IP、外观、服饰、姿态、场景、光影与氛围 支持自然语言搜索和描述配对 视觉属性 人物数量、发型、发色、瞳色、服装、配饰、表情、动作、构图、视角、景别、色彩 将可见内容拆成可组合的检索条件 实体识别 角色名、作品/IP、原创或二创判断、置信度与识别依据 连接标签、画师和作品关系 高层语义 构图概念、视觉表达、情绪和整体氛围 覆盖难以用单一标签表达的画面语义 分层标签 实体、主题、构图和风格等中文短标签 生成不同粒度的训练查询 大规模多阶段领域微调的语义向量化模型 构造三种互补的图文监督 结构化结果经过清洗、去重和格式统一后,转换成三类图文配对: 单标签配对: 将角色、作品/IP 和一般语义标签分别与图像配对,覆盖关键词、属性词和专有实体。多标签组合配对: 将角色/IP 标签或随机采样的语义标签组合成一个查询,学习“角色 + 服饰 + 场景”等条件交集。
自然语言描述配对: 将完整中文描述与图像配对,学习多个视觉属性、关系和氛围在自然语言中的表达。两阶段训练统一图文空间 使用 Qwen/Qwen3-VL-Embedding-2B 作为基础模型并采用 LoRA 方式进行领域适配: 阶段一: 使用单标签图文对训练 1 个 epoch,让基础模型先适应插画领域的角色、作品/IP、属性和标签表达。
阶段二: 混合单标签、多标签组合和自然语言描述三类数据继续训练 2 个 epoch,使同一个向量空间同时支持关键词搜索、组合条件搜索和完整描述搜索。向量检索: 将查询文本和作品内容编码为归一化向量,通过 ANN 索引进行大规模候选召回,再交给后续排序链路处理。
最终在 1%的多阶段测试集上取得显著指标提升 LLM 语义增强的实时全域序列感知的召排模型 推荐系统会综合用户兴趣、作品内容和近期行为,探索多路召回与统一排序: 用户双塔召回 物品 i2i 相似作品召回 近期画作序列召回 近期画师序列召回 User-CF 协同过滤召回 搜索与推荐共享的多目标、多域排序模型 搜索:语义 ANN 与全文倒排并行 搜索侧结合两类能力: 语义 ANN 召回:理解近义表达、画面描述和复杂意图 全文分词倒排:保证标签、画师、作品 ID 等精确检索能力 相关性、热度、新鲜度融合:用于搜索分粗排 免费多端使用 flutter 移动端(ios & android) react web 与桌面端 (wails) 搜索 Case 展示 移动端搜索结果预览 emb 模型离线评估 当前结果来自三组文本到图像检索评估:单一标签、多标签组合和自然语言描述。 Base 为原始 Qwen3-VL-Embedding-2B ,Exp 为完成“单标签 1 epoch + 三类数据混合 2 epoch”后的 LoRA checkpoint。
三组实验均使用 FAISS HNSW32,SQ8 量化 ANN 索引。评估任务 Query / 候选库 指标 Base Exp 绝对提升 单一标签配对 576,240 / 3,430,274 Recall@1 0.0339% 0.1365% +0.1026pp 单一标签配对 同上 Recall@10 0.1594% 0.9010% +0.7416pp 单一标签配对 同上 Recall@500 1.6632% 10.0632% +8.4000pp 单一标签配对 同上 HitRate@10 0.3483% 1.7595% +1.4112pp 单一标签配对 同上 MRR@10 0.1313% 0.5960% +0.4647pp 单一标签配对 同上 NDCG@10 0.1060% 0.5326% +0.4266pp 单一标签配对 同上 Precision@10 0.0368% 0.1842% +0.1474pp 多标签组合配对 369,797 / 418,229 Recall@1 1.9289% 32.6541% +30.7251pp 多标签组合配对 同上 Recall@10 6.1108% 56.6138% +50.5030pp 多标签组合配对 同上 Recall@500 22.6470% 81.2649% +58.6179pp 多标签组合配对 同上 HitRate@10 6.1796% 57.5835% +51.4039pp 多标签组合配对 同上 MRR@10 3.0716% 40.5600% +37.4884pp 多标签组合配对 同上 NDCG@10 3.7671% 44.1927% +40.4256pp 多标签组合配对 同上 Precision@10 0.6197% 5.8601% +5.2404pp 自然语言描述配对 126,779 / 126,770 Recall@1 60.6197% 87.7472% +27.1275pp 自然语言描述配对 同上 Recall@10 74.2544% 94.9156% +20.6612pp 自然语言描述配对 同上 Recall@500 83.1825% 98.2742% +15.0916pp 自然语言描述配对 同上 HitRate@10 74.2544% 94.9156% +20.6612pp 自然语言描述配对 同上 MRR@10 65.2370% 90.2323% +24.9953pp 自然语言描述配对 同上 NDCG@10 67.4217% 91.3712% +23.9495pp 自然语言描述配对 同上 Precision@10 7.4254% 9.4916% +2.0661pp 每组评估的 25 项检索指标均实现提升,三组共 75 项指标保持一致改善。
最明显的收益出现在多标签组合配对:Recall@10 从 6.1108% 提升到 56.6138% ,Recall@500 从 22.6470% 提升到 81.2649% ,说明领域微调显著改善了组合条件与图像之间的对齐。自然语言描述配对的 Base 本身已有较强表现,Exp 仍将 Recall@1 从 60.6197% 提升到 87.7472% ,将 Recall@10 从 74.2544% 提升到 94.9156% ,同时 NDCG@10 从 67.4217% 提升到 91.3712% ,说明不仅找回了更多目标,前排排序也得到改善。
单一标签配对的绝对分数仍然较低,但相对 Base 有稳定提升,例如 Recall@500 从 1.6632% 提升到 10.0632% 。单标签通常对应大量图像,且当前评估存在多正例、未完整补全相关关系和潜在假负例,因此不能仅凭这组分数断言单标签语义能力不足;后续会结合人工 case、完整相关性标注和分桶指标继续验证。
获取 安卓: https://github.com/OysterQAQ/Blog-Image/blob/master/ShareMoe-v4.2.1%2B1-build.40-arm64-v8a-release.apk iOS: /ai-market-guide/ macOS: https://github.com/OysterQAQ/Blog-Image/blob/master/ShareMoe-1.0.6-macos-arm64.zip https://github.com/OysterQAQ/Blog-Image/blob/master/ShareMoe-1.0.6-macos-x64.zip windows: https://github.com/OysterQAQ/Blog-Image/blob/master/ShareMoe-1.0.6-windows-amd64-installer.exe