guides

Wan Animate 2:功能、模型、ComfyUI 与完整指南

Poyo.ai Team
8 min read
Share:

一个有关节的故事书角色从投影仪获得动作,两枚光学镜片展示不同的相机视角

Wan Animate 2 是 Wan 团队推出的开放角色动画框架。它接收一张参考图像和一段驱动视频,再生成一段让参考角色复现这些动作、同时保留其视觉身份的视频。不同于早期的 Wan2.2 Animate 流程,新系统会把驱动视频直接送入重新设计的 Diffusion Transformer,而不再依赖中间姿态或动作提取器。

另一个核心功能是文本驱动的视角控制。输出摄像机不再必须完全复制驱动视频中的视角,因此创作者可以在迁移动作的同时,要求角色呈现不同的观察角度。团队于 2026 年 8 月 7 日发布了推理代码以及 Base 和 Distillation 权重。同时还公布了面向流式处理的变体 Wan-Animate-2-Lite,不过 Lite 并未包含在此次公开权重发布中。

本指南将已确认的信息与社区推测区分开来,介绍模型选择,并涵盖官方仓库、Diffusers 以及更新后的 ComfyUI 工作流程。

状态检查日期:2026 年 8 月 17 日。 Wan Animate 2 正在快速发展。节点名称、模型打包方式和硬件优化方案可能会发生变化。在构建生产工作流前,请查看官方 Wan-Animate-2 仓库。

Wan Animate 2 一览

项目已确认信息
开发者Wan 团队
公开发布时间2026 年 8 月 7 日
主要任务由视频驱动的参考图像角色动画生成
核心变化在重新设计的 Diffusion Transformer 内进行端到端驱动视频条件控制
摄像机控制文本驱动的视角控制
已发布模型系列14B Base 和 Distillation 权重
已公布高效模型Wan-Animate-2-Lite
官方集成方式仓库脚本、Diffusers 和 ComfyUI
官方输出示例24 fps 导出
仓库许可证Apache License 2.0
官方 720p 参考配置使用默认仓库配置的 8× NVIDIA A800 GPU
官方 480p 测试配置2× NVIDIA A800 GPU

什么是 Wan Animate 2?

Wan Animate 2 并不是一个通用的文本生成视频模型。它的核心工作流程包含三个输入:

  1. 一张定义目标角色和场景外观的参考图像。
  2. 一段提供时间维度动作信息的驱动视频。
  3. 一段结构化文本描述,用于说明角色外观、背景以及可选的目标视角。

输出结果是一个重新渲染后的角色视频。这使该模型适用于数字角色、虚拟主播、风格化头像、广告吉祥物、短视频动画以及动作预演等场景。

这个名称可能会造成混淆。可下载的检查点以 Wan2.2-Animate-2-14B 发布,但 Wan Animate 2 是一个全新的框架,并不是对原始 Wan2.2 Animate 工作流程的简单改名。当前搜索结果中,“wan 2.2 animate”“wan animate”和“wan animate 2”等关键词存在重叠,因此在下载文件前,请务必确认检查点名称和节点版本。

Wan Animate 2 的关键特性

1. 直接使用驱动视频进行条件控制

早期的角色动画系统通常会先将表演转换为姿态、面部、骨骼或其他运动表示形式,然后再进行生成。每一次转换都可能丢失细节,或引入对齐误差。

Wan Animate 2 则在重新设计的 Diffusion Transformer 中直接以驱动视频为条件。其目标是在不依赖中间动作提取器的情况下,实现更高保真的动作表现和更强的身份保持能力。这并不意味着每一种实现都完全没有预处理,而是核心动作信号在进入模型前不再被简化成姿态序列。

2. 更强的身份保持能力

参考图像提供角色的面部、身体、服装和风格信息。直接条件控制旨在让这些特征在驱动视频改变姿态和表情时保持更加稳定。

身份一致性仍应在困难条件下进行测试:快速转身、自遮挡、手遮挡面部、运动模糊、全身运动、不寻常比例以及大幅度尺度变化。一个干净的发布示例并不能替代使用你自己的角色进行反复测试。

3. 文本驱动的视角控制

传统动作迁移通常会继承源表演的视频视角。Wan Animate 2 增加了文本驱动控制,可以将输出视角与驱动视频进行解耦。

例如,正面视角的驱动视频可以用于引导动作,同时提示词要求生成四分之三视角或略低的摄像机视角。当动作正确但源视频构图不符合目标镜头需求时,这一功能非常有用。

视角变化仍然属于生成式重构。它可能会展示参考图像中不可见的角色部分,因此应检查正面、背面、服装以及道具细节是否出现虚构或偏移。

4. Base 和 Distilled 模型

公开版本包含用于完整推理流程的 Base 模型,以及用于减少去噪步骤的 Distillation 模型。官方 Diffusers 示例中,Base 使用 40 步,Distilled 使用 10 步。

Distilled 示例还设置了 guidance_scale=1.0,并使用 Euler flow solver。这些设置是特定于模型的:将 Base 的设置复制到 Distilled checkpoint 中,并不能可靠地进行二者比较。

5. 面向流式应用的 Lite 模型

项目介绍中表示,Wan-Animate-2-Lite 可将推理延迟降低至实时阈值,用于流式角色动画。这对于实时虚拟形象和交互式智能体来说是一个重要方向。

不过,8 月 7 日的发布说明中列出的权重包括 Base 和 Distillation,并未提供 Lite checkpoint。在团队发布权重、接口、演示协议或可复现的延迟指标之前,应将 Lite 视为已公布的变体。“实时”表现也取决于分辨率、视频长度、批次大小、硬件,以及延迟是按单帧还是端到端进行测量。

6. 多种模型运行方式

官方项目文档提供了自己的推理脚本和 Gradio 接口。Wan Animate 2 同时支持 Diffusers,ComfyUI 也已推出用于节点式操作的原生工作流。这些方式共享相同的基础输入,但在模型封装、显存占用行为和运行控制方面存在差异。

Wan Animate 2 模型对比

模型或软件包公开状态官方典型设置最适合的初始用途主要权衡
Wan Animate 2 Base已发布权重示例中使用 40 个 Diffusers 步骤质量评估和最终渲染计算成本最高
Wan Animate 2 Distillation已发布权重10 步,guidance 1.0,Euler迭代开发和更快速的生产测试可能会牺牲部分保真度以换取速度
Wan Animate 2 Lite已公布初始版本中没有公开 checkpoint 设置未来的流式或交互式动画可用性和实际延迟仍未验证
Base Diffusers package已发布torch.bfloat16,40 步使用 Hugging Face 工具的 Python 应用仍需要大量 GPU 资源
Distilled Diffusers package已发布torch.bfloat16,10 步,无 CFG,Euler更低步骤的 Python 推理必须使用 Distilled 专用配置

Diffusers 仓库属于封装方式选择,并不是额外的模型等级。根据你希望运行的 pipeline,选择 Base Diffusers checkpoint 或 Distilled Diffusers checkpoint。

Wan Animate 2 的工作原理

从实际操作角度看,工作流程如下:

  1. 准备参考图像。 使用一个清晰可见的角色,保持稳定光照,并确保分辨率足够展示面部和服装细节。
  2. 准备驱动视频。 保持表演者可见,避免不必要的剪辑,并从能够展示所需动作的短视频片段开始。
  3. 描述外观而非动作。 官方工作流要求 LLM 创建客观描述,涵盖角色外观和背景,同时省略动作描述以及情绪推测。
  4. 编码三个输入。 参考图像定义身份,视频提供时间运动信息,提示词提供外观和视角指令。
  5. 使用 Base 或 Distilled 推理进行去噪。 模型会生成一个同时受这三类输入约束、在时间上保持连贯的视频潜变量。
  6. 解码并导出。 官方 Diffusers 示例以 24 fps 导出视频。

这种职责划分非常重要。不要使用外观提示词通过相互矛盾的动作描述去对抗驱动视频。应让视频控制运动,并通过文本明确目标角色和摄像机视角。

硬件要求与实际预期

Wan Animate 2 是一个 14B 视频模型,因此官方参考配置的资源需求远高于典型的消费级图像生成工作流。

仓库说明,其默认并行配置针对 8× A800 GPU 上的 720p 进行了调优。团队还测试了 2× A800 GPU 上的 480p。其他配置需要修改并行 YAML 配置文件。

这些是官方测试过的配置,并非通用的最低要求。它们并不能证明某款消费级 GPU 一定无法运行,因为卸载、量化、降低分辨率、缩短视频片段以及 ComfyUI 优化都可能改变显存使用情况。同时,它们也不能保证在较小显卡上拥有实际可用的速度。

一个更合理的本地测试计划:

  • 从 480p 和较短的驱动视频开始;
  • 优先使用 Distilled 检查点,而不是 Base;
  • 在单个视频片段能够稳定完成之前,避免长批量任务;
  • 同时监控显存和系统内存;
  • 将冷启动时间与生成时间分别记录;
  • 比较每个可用成片的成本,而不是只看生成一段预览需要多少秒。

社区提供的 FP8 或 GGUF 转换版本可能会降低硬件门槛,但它们并不是官方 BF16 检查点的同类文件。在生产环境中使用转换版本之前,请验证来源、校验和、节点兼容性以及输出质量。

如何从官方仓库安装 Wan Animate 2

官方安装方式使用 Python 3.11、针对 CUDA 12.6 的 PyTorch 2.7 wheel、FlashAttention,以及仓库的可编辑安装模式。

git clone --recursive https://github.com/Wan-Video/Wan-Animate-2.git
cd Wan-Animate-2

conda create -n wan_animate_2 python=3.11 -y
conda activate wan_animate_2

pip install torch==2.7.0 torchvision==0.22.0 torchaudio==2.7.0 \
  --index-url https://download.pytorch.org/whl/cu126
pip install -r requirements.txt
pip install flash-attn --no-build-isolation
pip install -e .

使用 Hugging Face CLI 下载主检查点:

pip install "huggingface_hub[cli]"
huggingface-cli download Wan-AI/Wan2.2-Animate-2-14B \
  --local-dir ./ckpts/

仓库为 Base 和 Distillation 推理分别提供了 YAML 文件。在启动任务前,请检查它们的并行设置;默认配置假设使用上述多 A800 配置。

使用 Diffusers 运行 Wan Animate 2

在相关支持进入下一个 Diffusers 正式发行版之前,官方说明要求从源码安装 Diffusers:

pip install git+https://github.com/huggingface/diffusers.git
pip install flash-attn --no-build-isolation

一个最小化的 Base 流水线遵循以下模式:

import torch
from diffusers import WanAnimate2Pipeline
from diffusers.utils import export_to_video, load_image

pipe = WanAnimate2Pipeline.from_pretrained(
    "Wan-AI/Wan2.2-Animate-2-14B-Diffusers",
    torch_dtype=torch.bfloat16,
).to("cuda")

result = pipe(
    image=load_image("reference.png"),
    driving_video="driving.mp4",
    prompt=(
        "Subject appearance: a small wooden courier with a teal vest, "
        "cream shirt, coral shoes, and a paper cap. "
        "Background: a simple navy theater stage. "
        "Viewpoint: front three-quarter view, slightly low camera."
    ),
    height=800,
    width=640,
    num_inference_steps=40,
)

export_to_video(result.frames[0], "wan-animate-2-output.mp4", fps=24)

对于 Distilled 软件包,请从已发布的配置开始:

pipe = WanAnimate2Pipeline.from_pretrained(
    "Wan-AI/Wan2.2-Animate-2-14B-Distilled-Diffusers",
    torch_dtype=torch.bfloat16,
).to("cuda")

result = pipe(
    image=load_image("reference.png"),
    driving_video="driving.mp4",
    prompt=prompt,
    num_inference_steps=10,
    guidance_scale=1.0,
    flow_solver="euler",
)

这些示例只是起始参考,并非部署代码。一个服务还需要输入验证、视频解码限制、超时控制、队列管理、模型预热、输出存储以及故障处理。

Wan Animate 2 的 ComfyUI 工作流

对于希望通过可视化方式检查和修改流水线的创作者来说,ComfyUI 是更容易上手的选择。新的集成围绕 WanAnimate2ToVideo 构建,而 WanAnimate2Cache 可以通过增加系统内存使用量来换取更快的重复计算速度。ComfyUI 对缓存的介绍称,该功能在其发布材料中可以将生成时间大约减少一半,但实际提升取决于计算图、硬件、分辨率以及视频片段长度。

分步设置

  1. 更新 ComfyUI。 使用包含 Wan Animate 2 节点的版本。如果模板打开后提示缺少核心节点,说明你的稳定版或 Desktop 版本可能低于所需版本。
  2. 加载 Wan Animate 2 工作流。 从官方模板或已发布的 ComfyUI 工作流开始,而不是凭记忆重新搭建计算图。
  3. 处理模型下载。 确认每个加载器都指向 Wan Animate 2 资源。旧版 Wan2.2 Animate 检查点无法与新的 Animate 2 模型互换。
  4. 上传参考图像。 优先选择单一且无遮挡的主体,确保细节在缩放后仍然清晰可辨。
  5. 加载驱动视频。 在生成前先裁剪视频。五秒的动作测试比长时间的复杂动作视频更容易排查问题。
  6. 填写外观描述。 描述可见的主体和背景特征。如果希望获得不同于驱动视频的视角,请添加简洁的镜头视角说明。
  7. 选择 Base 或 Distilled。 首次兼容性和动作测试建议使用 Distilled;当工作流稳定后,再切换到 Base 比较最终质量。
  8. 设置保守尺寸。 从约 480p 开始,并确保宽高符合工作流潜空间的要求。
  9. 仅在获得干净基线后启用缓存。 这样更容易判断内存或输出问题究竟来自核心工作流还是优化功能。
  10. 排队执行一个较短的生成任务。 在提高分辨率或延长时长之前,检查身份一致性、手部、遮挡、动作时间、视角以及首尾帧稳定性。

不要混用旧版和新版 ComfyUI 工作流

旧版 Wan2.2 Animate 工作流使用 WanAnimateToVideo 等节点,并可能针对 Move 或 Mix 模式预处理 DWPose、人脸、遮罩和背景输入。Wan Animate 2 工作流使用新的 WanAnimate2ToVideo 路径,并采用直接驱动视频条件输入。

如果某个教程要求你下载原始 wan2.2_animate_14B_bf16.safetensors、clip_vision_h、姿态估计器以及 Mix 模式遮罩,它很可能介绍的是早期模型。该教程可能仍然有参考价值,但它并不是 Wan Animate 2 安装指南。

推荐起始设置

目标模型分辨率步数GuidanceSolver说明
首次成功运行Distilled约 480p101.0Euler保持视频片段较短并关闭缓存
动作迭代Distilled约 480p101.0Euler在提升质量前比较驱动视频效果
质量比较Base与测试相同40使用 Base 默认值流水线默认值仅修改模型路径和必要设置
720p 评估Base 或 Distilled720p模型特定模型特定模型特定仅在验证内存和时长后使用
视角测试首先使用 Distilled约 480p101.0Euler使用两个镜头提示词渲染相同动作

这些设置尽可能参考了官方示例。它们并不表示每个本地 ComfyUI 软件包都会提供相同控制项,也不表示 480p 适用于所有 GPU。

提示词指南

官方仓库建议使用 LLM 生成客观的图像描述。其示例采用严格的中文结构:先描述主体外观,再描述背景,不包含动作描述、主观判断或推断出的情绪。

一个语言无关的模板是:

Subject appearance: [species or person, face, hair, body proportions,
clothing, colors, materials, accessories].
Background: [location, major objects, lighting, dominant colors].
Viewpoint: [front, profile, rear, three-quarter, high, low, close, wide].

更好的提示词

Subject appearance: a stylized wooden courier with a round carved face,
short dark hair, a cream paper cap, teal vest, ivory shirt, and coral shoes.
Background: a simple miniature theater with a muted navy curtain and warm
gold stage light. Viewpoint: front three-quarter full-body view, slightly low.

较弱的提示词

A happy courier runs dramatically, waves at the camera, jumps over a box,
and looks excited in a beautiful cinematic scene.

较弱版本重复了驱动视频中已经存在的动作指令,并加入了主观化语言。如果英文描述效果不佳,请先测试仓库推荐的中文描述结构,再判断模型是否无法保持角色特征。

优势与局限

Wan Animate 2 表现最强的方面

  • 动作迁移不会将驱动表演简化为中间姿态序列。
  • 基于参考的身份与风格保持能力。
  • 摄像机视角可以不同于驱动视频。
  • 提供 Base 和低步数 Distilled 选项,用于质量/速度测试。
  • 官方仓库、Diffusers、Gradio 和 ComfyUI 路径支持。
  • Apache 2.0 仓库许可证以及公开发布的权重。

仍需谨慎测试的方面

  • 480p 和 720p 配置对官方多 GPU 硬件要求较高。
  • 快速动作、严重运动模糊、遮挡、手部细节和身体旋转。
  • 长视频片段以及镜头之间的身份连续性。
  • 需要生成未出现角色细节的大幅摄像机变化。
  • 多角色场景以及与物体的交互。
  • Base、Distilled、FP8 和社区量化版本之间的质量差异。
  • Wan-Animate-2-Lite 的发布时间和实际延迟表现。

早期社区对比结果存在差异。一些创作者反馈其动作和视角控制效果出色;另一些创作者在特定快速运动或视频到视频示例中更偏好早期系统。社区讨论 和 早期对比视频 可用于确定测试方向,但它们并未公开每一次尝试、精确设置、源媒体版权情况或每个可用片段的成本。应将其视为测试假设,而不是排行榜。

Wan Animate 2 与 Wan2.2 Animate 对比

领域Wan2.2 AnimateWan Animate 2
主要设计统一角色动画与替换基于图像和驱动视频的端到端角色动画
动作路径空间对齐骨骼以及其他经过处理的控制信号在重新设计的 DiT 中直接使用驱动视频
常见模式Move 和 Mix/角色替换基于参考角色并直接进行视频条件控制的动画
摄像机关系通常与源控制更紧密关联文本驱动的视角可以不同于驱动视频
常见 ComfyUI 节点WanAnimateToVideoWanAnimate2ToVideo
公开速度选项社区 LoRA 和优化软件包官方 Base 和 Distillation 权重;已宣布 Lite
检查点命名Wan2_2-Animate-14B 变体Wan2.2-Animate-2-14B 变体

如果你明确需要其已记录的 Move/Mix 替换流程,或者已经拥有稳定的生产工作流,可以选择旧版方案。当直接动作保真度、身份保持或独立视角控制更重要时,应评估 Wan Animate 2。

最佳使用场景

Wan Animate 2 适用于:

  • 根据演员表演驱动风格化角色动画;
  • 虚拟主播和头像原型开发;
  • 广告吉祥物和品牌角色;
  • 使用一次驱动拍摄生成不同摄像机方案的预演;
  • 短视频内容和叙事插入片段;
  • 游戏、动画和电影概念开发;
  • 在 Lite 可稳定使用后进行流式动画研究。

对于长时间不间断场景、精准产品展示、拥挤的多角色动作场景,或当前阶段的直播应用,它并不是首选,除非你自己的测试证明其具备所需的一致性和延迟表现。

许可证与商业使用

Wan-Animate-2 仓库采用 Apache 2.0 许可证。该许可证通常允许使用、修改和分发,包括商业用途,但需遵守许可证条款。

仓库许可证只是商业审核的一部分。团队还必须拥有参考图像、驱动表演、肖像、服装、音乐以及任何背景素材的使用权。未经适当授权,不要对真实人物的身份或表演进行动画化处理。重新分发代码或修改后的软件包时,请保留相关许可证和署名声明。

获取 Wan Animate 2 的途径

使用以下主要资源:

Poyo.ai 目前已有一个现有的 Wan Animate API,其中包含独立的 move 和 replace 路由。该列表指的是较早的生产模型,而不是本指南中描述的新 Wan Animate 2 检查点。本文不声称 Wan Animate 2 当前已通过 Poyo.ai API 提供。

最终结论

Wan Animate 2 做出了两个重要的架构选择:直接使用驱动视频,并允许文本控制与源视频不同的摄像机视角。这两项改变针对角色动画中的两个长期问题——动作细节丢失,以及摄像机被表演者录制时的视角限制。

Base 和 Distilled 版本让用户可以通过官方代码、Diffusers 和 ComfyUI 进行实际测试。实际限制同样明确:官方硬件配置需求较高,模型较新,Lite 的可用性尚未确定,而复杂动作仍需要受控评估。

建议从一次简短的 480p Distilled 运行开始,保持外观描述客观,每次只改变一个变量,并根据可用帧而不是发布演示效果来比较输出。这个过程会比任何“最佳角色动画模型”的绝对说法提供更多信息。

常见问题

Wan Animate 2 与 Wan2.2 Animate 是同一个模型吗?

不是。Wan Animate 2 采用了重新设计的端到端架构,能够直接接收驱动视频,并加入基于文本的视角控制功能。检查点名称仍包含 Wan2.2,这也导致了搜索和教程中的混淆。

Wan Animate 2 是开源的吗?

官方仓库和已发布权重均已公开,仓库采用 Apache 2.0 许可证。请查看许可证和模型文件,以确认其是否适用于你的具体分发或商业使用场景。

可以下载哪些 Wan Animate 2 模型?

8 月 7 日发布版本包含 Base 和 Distillation 权重。两者均提供 Diffusers 软件包。Wan-Animate-2-Lite 已被公布,但未列入首批公开权重发布列表。

Base 和 Distilled 有什么区别?

官方 Diffusers 示例中,Base 使用 40 个步骤,Distilled 使用 10 个步骤。Distilled 还采用 guidance scale 1.0 和 Euler flow solver。建议先使用 Distilled 进行迭代,然后在相同输入条件下与 Base 对比最终质量。

Wan Animate 2 可以在 ComfyUI 中运行吗?

可以。请使用更新后的 ComfyUI 版本,以及基于 WanAnimate2ToVideo 的 Wan Animate 2 工作流。不要将其与基于 WanAnimateToVideo 的旧版 Wan2.2 Animate 工作流混淆。

Wan Animate 2 需要什么 GPU?

官方仓库针对 8× A800 GPU 的 720p 分辨率进行了优化,并报告在 2× A800 GPU 上测试了 480p 分辨率。其他硬件可能通过 offloading 或优化后的权重运行,但官方数据并未确定单一消费级 GPU 的最低要求。

Wan Animate 2 支持实时动画吗?

团队表示 Wan-Animate-2-Lite 可以达到流媒体实时阈值,但初始发布说明中未列出 Lite 权重。在规划实时产品之前,请等待可复现的公开软件包,并测试完整的延迟流程。

输出视角可以与驱动视频不同吗?

可以。基于文本的视角控制是该模型的核心功能之一。较大的视角变化可能需要模型生成未出现过的细节,因此需要仔细检查角色和服装的一致性。

提示词是否应该描述动作?

通常不需要。让驱动视频负责指定动作。官方工作流建议客观描述角色外观和背景,不添加动作或推断出的情绪。如有需要,可以添加简洁的视角指令。

Poyo.ai 是否提供新的 Wan Animate 2 API?

截至本次状态检查时,还没有。Poyo.ai 当前的 Wan Animate 列表仍是较早的 move/replace API。新的 Wan Animate 2 发布版本请使用官方仓库、Diffusers 软件包或 ComfyUI 工作流。

Share: