VicroCode
让代码创造价值
VicroCode是一个轻量级代码在线发布、交易平台,开箱即用,免部署、免服务器、免备案,支持接入智能体、通用管理系统、游戏等多种项目
稍候片刻,您可先学习AI编程手册
正在加载中...

市场信息

[分享创造] [开源] 从生图到骨骼动画全自动:用 Blender 合成数据微调 DINOv2,把视频动作还原到非人形 3D 模型上

从粗糙的 Astra 建模踩坑开始,我就一直在琢磨:到底怎么才能让整套 3D 资产与动画生成流程真正自动化起来? 一路从 OpenAI 产出概念效果图,到 Tripo3D 生成 3D 模型,再到非人形怪物的自动绑骨蒙皮;更进一步,用 MiniMax H3 生成想要的动作视频,并基于 Meta 的 DINOv2 训练专属小模型来识别骨骼与关节位置,最终把视频动作还原到 3D 骨骼上(这里必须感谢…

www.v2ex.com · 2026-10-21T16:07:44+00:00

从粗糙的 Astra 建模踩坑开始,我就一直在琢磨:到底怎么才能让整套 3D 资产与动画生成流程真正自动化起来?一路从 OpenAI 产出概念效果图,到 Tripo3D 生成 3D 模型,再到非人形怪物的自动绑骨蒙皮;更进一步,用 MiniMax H3 生成想要的动作视频,并基于 Meta 的 DINOv2 训练专属小模型来识别骨骼与关节位置,最终把视频动作还原到 3D 骨骼上(这里必须感谢 @CanItCode ,核心思路正是从他的视频中学到的),才终于跑通并达到了视频里这种勉强可用的效果。

核心实现思路 模型生成 :通过 Tripo3D 生成基础 3D 模型。自动绑骨 :使用 TokenRig 完成非人形结构的自动绑骨与蒙皮。

**合成训练集(imoportant)**:在 Blender 中采用双视角与随机姿势,自动摆出并渲染默认的 3,000 个动作样本。训练视觉小模型 :基于 DINOv2 进行微调训练,输入渲染图片与对应的关节坐标等标注信息。

生成动作参考 :使用 MiniMax H3 生成目标模型的动作视频。逐帧特征提取 :用训练好的小模型逐帧推理视频,提取关节坐标与深度信息。

**动画重建(important)**:将提取出的空间数据解算并映射回模型,成功把 2D 视频重建为 3D 骨骼动画。开源仓库 :后半部分最折腾的小模型训练与推理代码已经开源,感兴趣的可以直接看源码自己琢磨: GrinZero/open-game-studio (monster package) 算力致谢与下一步计划 不得不再次感谢谷歌大善人,感谢 Gemini Ultra 附赠的 Colab 算力额度支撑了整套训练与渲染流程。

下一步优化 :目前动作大形已经没有问题,接下来打算接入量大管饱的 DeepSeek 4.1 Flash 1017 ,配合 同坐标叠图 与 逐帧评分工具 进行逐帧修正去抖,期待最终效果能完全达到预期。

返回 AI 市场导读

来源:v2ex.com