UniMate:用文字驱动不同骨架的角色动画
论文 / 研究阅读

UniMate:用文字驱动不同骨架的角色动画

UniMate: One Unified Model to Animate Diverse Skeletons

2026 · SIGGRAPH Asia 2026

Mou, Linzhan、Lei, Jiahui、Dou, Zhiyang、Cai, Chenyue、Song, Chaoyue、Finkelstein, Adam、Rusinkiewicz, Szymon

导读

以已绑定骨架的角色与简短文字生成关节动画,探索人形、动物及其他拓扑的统一动作模型;代码 MIT,预训练权重为非商业许可。

研究问题

UniMate 将已绑定骨架的三维资产与简短文字作为条件,在统一模型内生成关节动画。角色既可以是人,也可以是四足、鸟、鱼、昆虫、蛇或有关节的刚体,不必为每一种骨架重新训练或在测试时优化。

方法与能力

拓扑感知 Transformer 用关节图关系、几何距离、谱位置编码与整体骨架条件理解不同结构。除文字生成动作外,还可固定部分关节、重新生成其余部分,利用首尾姿态补间,或把多段提示串接成长动画。论文称其支持零样本跨拓扑泛化;这些属于研究结果,不等于每个陌生骨架都能得到正确运动。它需要已有绑定,并不负责从无骨架网格自动完成绑定。

实际输入输出

官方已开放训练、推理及数据预处理代码,发布预览权重。用户可对 GLB、glTF、FBX 进行 rig_preprocess,再用文字提示采样动画并导出 GLB/FBX。预处理利用 LLM 辅助标注关节,仍需人工复核关节语义和角色朝向。提示语宜简短、聚焦一个动作,作者建议多次采样;复杂长指令不能保证稳定遵循。

复现门槛与成熟度

环境采用 Python 3.10,按仓库安装依赖并从 Hugging Face 获取 checkpoint。完整处理数据约 88GB,也可部分下载;处理自己的资产并不意味着必须先下载全部数据。官方未提供统一最低显存承诺。作者明确指出这是早期研究,许多动作或骨架仍会失败。论文的 13,006 条序列与当前仓库的 13,769 条片段属于不同版本统计,不宜混用。

许可与资产边界

代码 MIT,公开预训练权重则是 CC BY-NC 4.0,不能凭代码许可直接推断模型可商用。Mixamo、Objaverse 与 Truebones 数据受原始授权约束,Truebones 动作和网格需要购买,不能再分发。官网交互展示资产另有版权及访问控制,应使用公开仓库示意图,不能提取网页加密三维素材。

官方链接

引用这篇论文
@misc{unimate2026,
  title = {UniMate: One Unified Model to Animate Diverse Skeletons},
  author = {Mou, Linzhan and Lei, Jiahui and Dou, Zhiyang and Cai, Chenyue and Song, Chaoyue and Finkelstein, Adam and Rusinkiewicz, Szymon},
  year = {2026},
  eprint = {2609.05415},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2609.05415}
}
COMMUNITY

评分与讨论

0 条讨论
—

欢迎评价研究价值与复现体验

从你的第一条分享开始

可以聊聊实际效果、安装经验,或者你想解决的一个小问题。