研究问题
UniMate 将已绑定骨架的三维资产与简短文字作为条件,在统一模型内生成关节动画。角色既可以是人,也可以是四足、鸟、鱼、昆虫、蛇或有关节的刚体,不必为每一种骨架重新训练或在测试时优化。
方法与能力
拓扑感知 Transformer 用关节图关系、几何距离、谱位置编码与整体骨架条件理解不同结构。除文字生成动作外,还可固定部分关节、重新生成其余部分,利用首尾姿态补间,或把多段提示串接成长动画。论文称其支持零样本跨拓扑泛化;这些属于研究结果,不等于每个陌生骨架都能得到正确运动。它需要已有绑定,并不负责从无骨架网格自动完成绑定。
实际输入输出
官方已开放训练、推理及数据预处理代码,发布预览权重。用户可对 GLB、glTF、FBX 进行 rig_preprocess,再用文字提示采样动画并导出 GLB/FBX。预处理利用 LLM 辅助标注关节,仍需人工复核关节语义和角色朝向。提示语宜简短、聚焦一个动作,作者建议多次采样;复杂长指令不能保证稳定遵循。
复现门槛与成熟度
环境采用 Python 3.10,按仓库安装依赖并从 Hugging Face 获取 checkpoint。完整处理数据约 88GB,也可部分下载;处理自己的资产并不意味着必须先下载全部数据。官方未提供统一最低显存承诺。作者明确指出这是早期研究,许多动作或骨架仍会失败。论文的 13,006 条序列与当前仓库的 13,769 条片段属于不同版本统计,不宜混用。
许可与资产边界
代码 MIT,公开预训练权重则是 CC BY-NC 4.0,不能凭代码许可直接推断模型可商用。Mixamo、Objaverse 与 Truebones 数据受原始授权约束,Truebones 动作和网格需要购买,不能再分发。官网交互展示资产另有版权及访问控制,应使用公开仓库示意图,不能提取网页加密三维素材。

从你的第一条分享开始
可以聊聊实际效果、安装经验,或者你想解决的一个小问题。