guides

FLUX 3 Video:原生音频、20 秒视频片段与核心功能

Poyo.ai Team
Updated
3 min read
Share:

支持原生音频和多模态参考的 FLUX 3 Video

FLUX 3 Video 是 Black Forest Labs 推出的首个用于完整视听生成的 FLUX 模型。它能够同时生成视频和原生音频,接受文本、图像与视频参考,并在一次生成中制作最长 20 秒的视频片段。

FLUX 3 Video 现已在 PoYo 上线五种生产级工作流,并已公布模型 ID、请求参数和按秒定价。PoYo 的 FLUX 3 API 页面提供文生视频、图生视频、首尾帧、源视频续接和定位关键帧的在线生成器。

FLUX 3 Video 一览

功能已公布的支持情况
文生视频是
图生视频是
图像参考是
视频生视频是
视频和音频续接是
关键帧生视频是
原生音频是
多语言对话是
单次生成的最长时长最长 20 秒
宽高比已公布支持多种格式
动态排版已公布
多镜头序列已公布 Agentic chaining
通用 PoYo API现已可用

什么是 FLUX 3 Video?

FLUX 3 Video 是更广泛的 FLUX 3 多模态基础模型的一种应用。与在图像模型基础上改造而来的视频帧生成模型不同,FLUX 3 在共享架构中对图像、视频和音频进行联合训练。

其目标不仅是建模视觉外观。视频能够帮助模型学习运动和时间关系。音频则提供有关碰撞、材质、语音和环境事件的信息。联合训练让生成的声音能够与屏幕上发生的内容建立联系。

这也是 FLUX 3 能够通过专门的研究变体,将能力扩展到内容创作之外并用于动作预测的原因。

Black Forest Labs 发布的 FLUX 3 官方发布媒体内容。

文生视频

文生视频可以直接根据书面场景描述创建视频片段。一个有用的提示词可以定义:

  • 主体与动作
  • 地点与时间
  • 摄像机位置与运动
  • 视觉风格
  • 口语对话
  • 环境声音
  • 事件的时间安排与发生顺序
  • 宽高比

FLUX 3 可以在一次处理中同时生成视觉和音频。PoYo 请求公开提示词、时长、分辨率、宽高比、音频开关,以及所选工作流需要的图像、源视频或关键帧输入字段。

图生视频

FLUX 3 支持两种由图像驱动的方法。

起始帧动画

图像可以定义第一帧,随后模型生成运动和声音。这适用于为产品图片、插画、肖像或设计场景添加动画。

视觉参考输入

图像也可以作为身份、主体或风格参考,而不必成为实际的第一帧。这有助于在新场景中保留角色、物体或视觉方向。

在 PoYo 上,图生视频接受一张源图,首尾帧生成接受两张有顺序的图像,关键帧生成最多接受十张定位图像。上传和文件格式要求以当前 API 文档为准。

视频生视频

视频生视频使用源视频片段作为参考,并将核心元素带入不同的场景或环境中。

潜在应用包括:

  • 将同一个角色置于新环境中
  • 以另一种视觉风格重新诠释素材
  • 在改变场景的同时保留运动
  • 为现有镜头创建不同版本
  • 将一段表演用作时间参考

视频生视频无法保证完全保持身份或动作。PoYo 当前通过 flux-3/extend-video 提供源视频续接,它不等同于独立的通用视频风格转换端点。

视频和音频续接

FLUX 3 可以续接输入视频及其音频。续接模型必须同时延展多个方面:

  • 主体外观
  • 摄像机运动
  • 物体轨迹
  • 光照与环境
  • 对话或环境氛围
  • 节奏与事件时间安排

这种工作流可以延长短镜头,或在不让每个片段都从无关提示词开始的情况下,生成连续的故事情节点。

关键帧生视频

关键帧生视频可以在定义好的视觉时刻之间生成过渡。与单独使用文本相比,起始帧和结束帧能够更精确地传达构图。

可能的用途包括:

  • 产品变形
  • 摄像机转场
  • 角色在不同姿势之间移动
  • 前后对比序列
  • Logo 或排版动画
  • 从分镜到动态预演

PoYo 最多支持十个定位关键帧。每个关键帧包含图像 URL 和帧索引,可直接控制转场时机。

原生音频生成

原生音频是 FLUX 3 Video 的定义性功能。该模型将声音作为同一场景的一部分生成,而不是完全依赖独立的音频流水线。

与事件对齐的声音

碰撞、移动和机械互动等动作可以产生与可见事件同步的声音。BFL 表示,该模型尤其擅长将声音与物理事件关联起来。

环境音频

场景可以根据地点、天气和活动加入合适的环境氛围。这可能比无声视频生成提供更完整的初稿。

多语言对话

Black Forest Labs 将多语言对话列为核心能力。发布公告没有提供完整的语言列表,也没有公布每种语言经过测量的语音准确率。

视频和音频续接

模型可以延展视听输入,有望将环境氛围、语音上下文和事件时间安排保持到新的片段中。

原生生成并不能消除后期制作的必要。对话准确性、发音、唇形同步、音频电平和不需要的伪影仍然需要审核。

时长与分辨率

PoYo 接受 5–20 秒的整数时长,支持八种宽高比以及 720p 和 1080p 输出,并可在同一请求中启用原生音频。

文生视频、图生视频、首尾帧和关键帧等标准工作流在 720p 和 1080p 下分别为每秒 34 和 58 credits;视频续接分别为每秒 82 和 106 credits。帧率、编解码器、生成时间等运行细节请查看当前 FLUX 3 API 文档。

角色与风格一致性

FLUX 3 使用视觉参考来帮助在不同场景中维持核心元素。BFL 表示,参考内容可以在持续数分钟的多场景序列中保持角色一致。

这种更长的输出是通过串联单个片段创建的,而不是在一次调用中生成数分钟的视频。每个镜头仍可能需要:

  • 选择参考内容
  • 保持提示词连续性
  • 规划转场
  • 审核身份一致性
  • 检查音频连续性
  • 剪辑与组装

Agentic chaining 可能会自动完成部分规划,但不会将 20 秒的单次生成限制变成无限时长的连续镜头。

排版与动画设计

BFL 强调,强大的排版和动画设计是 FLUX 3 Video 的能力之一。这可能支持:

  • 动态海报
  • 片头序列
  • 产品发布内容
  • 动态排版
  • 社交广告
  • 界面和图形动画

生成的文字仍应逐帧检查。标题可能在某一时刻看起来正确,却在运动过程中发生变形。

早期评估结果

在 BFL 的初步人类偏好测试中,FLUX 3 与多个视频模型进行了比较。该公司报告的偏好率从相较于 Seedance 2.0 和 Gemini Omni Flash 的 52%,到相较于 Luma Ray 3.2 的 93% 不等。

这些结果需要结合以下背景理解:

  • 结果由模型开发者发布。
  • 测试使用了带音频的 10 秒、720p 文生视频片段。
  • FLUX 3 候选模型和评估工具仍在开发中。
  • “最高”结果可能总结的是部分提示词类别,而不是每个提示词类别。
  • 目前还没有独立复现结果。

这些数字是有参考价值的早期证据,但不能证明 FLUX 3 在所有情况下都更好。

实际应用场景

对话驱动的短场景

原生语音和面部表情让 FLUX 3 适用于短叙事片段和多语言角色概念设计。

产品与品牌视频

参考图像可以建立产品或视觉识别,而原生声音能够生成更完整的营销活动初稿。

社交视频

多种宽高比、动态文字和较短时长适合广告、公告和竖屏社交媒体格式。

预演

图像、参考视频和关键帧可以将分镜转化为动态预览,用于摄像机、时间安排和转场决策。

视频变体与续接

团队可以探索替代场景、延长镜头,或将核心角色带入另一种环境。

多镜头叙事

串联片段可以创建更长的序列,同时视觉参考有助于保持一致性。

FLUX 3 Video API 可用性

PoYo 当前提供五个生产级视频模型 ID:

  • flux-3/text-to-video
  • flux-3/image-to-video
  • flux-3/first-last-frame-to-video
  • flux-3/extend-video
  • flux-3/keyframes-to-video

五个端点都使用 PoYo 的异步生成流程提交任务和查询状态。可以通过 FLUX 3 模型页面在线生成,或查看 API 文档完成集成。

常见问题

FLUX 3 Video 现在可以使用吗?

可以。PoYo 已提供文本、图像、首尾帧、源视频续接和定位关键帧五种生产级工作流。

FLUX 3 Video 能生成声音吗?

可以。它会与视频一起生成原生音频,包括环境声音和多语言对话。

FLUX 3 视频最长可以多长?

BFL 表示,单次生成最长可达 20 秒。更长的序列可以通过串联多个片段组装而成。

FLUX 3 支持图生视频吗?

支持。它可以为起始帧添加动画,也可以将图像用作视觉参考。

它支持视频生视频吗?

支持。BFL 表示,源视频可以引导角色等核心元素进入新的场景或环境。

FLUX 3 可以续接现有视频吗?

可以。视频和音频续接是已公布的工作流之一。

FLUX 3 支持哪些语言?

BFL 已宣布支持多语言对话,但尚未公布完整的支持语言列表。

FLUX 3 Video API 的价格是多少?

标准工作流在 720p 和 1080p 下分别为每秒 34 和 58 credits;视频续接分别为每秒 82 和 106 credits。

结论

FLUX 3 Video 将此前需要多个独立模型才能实现的工作流结合起来,包括文生视频、图像动画、视频转换、续接、关键帧转场和音频生成。

它最重要的不同之处不只是 20 秒的时长,而是尝试通过一种共享表示同时生成运动和声音,并接受跨多种媒体的参考内容。

阅读 FLUX 3 完整概览,比较 FLUX 3 与 FLUX 2,或立即在 PoYo 使用 FLUX 3。

来源: Black Forest Labs FLUX 3 公告

Share: