comparisons

FLUX 3 与 FLUX 2:图像、视频、音频及关键差异

Poyo.ai 团队
Updated
3 min read
Share:

用于图像、视频、音频和动作的 FLUX 3 多模态架构

FLUX 3 与 FLUX 2 之间最大的差异,并不是传统意义上的质量升级。FLUX 2 是一个图像生成与编辑模型系列。FLUX 3 则是一个多模态基础模型,在保留图像生成与编辑能力的同时,扩展到视频、原生音频和动作预测。

这一差异也影响当前应选择哪种模型。FLUX 2 提供生产级图像 API 和明确的模型变体;PoYo 现在则提供五种生产级 FLUX 3 视频工作流,支持原生音频、视觉输入、视频续接和关键帧控制。

FLUX 3 与 FLUX 2 一览

特性FLUX 2FLUX 3
主要方向图像生成与编辑统一的多模态生成与理解
输入文本和图像参考文本、图像和视频参考
图像生成是是
图像编辑是是
视频生成否是
原生音频否是
视频到视频否已宣布
关键帧到视频否已宣布
多语言对话否已宣布
动作预测否已通过专用变体宣布
开放权重FLUX.2 Klein 变体已提供FLUX 3 Dev 已宣布,尚未发布
PoYo 状态图像 API 已可用五种视频工作流已可用

不同的产品目标

FLUX 2 围绕高质量图像合成与编辑而设计。其模型系列包含面向不同图像工作流的高质量、灵活和快速变体。

FLUX 3 在图像、视频和音频之间采用共享架构。Black Forest Labs 认为,同时学习这些模态能够形成更好的世界表征:从图像中学习空间结构,从视频中学习运动和物理变化,并从声音中获取因果线索。

因此,FLUX 3 更像是一个范围更广的平台,而不是对所有 FLUX 2 图像端点的直接替代。

架构:图像模型与多模态模型

FLUX 2 是一个基于流匹配的图像模型系列。它接受文本输入,并在编辑工作流中接受图像参考,以生成或修改静态图像。

FLUX 3 建立在 BFL 的 Self-Flow 研究和多模态 Transformer 之上。独立的编码器和解码器将图像、视频、音频以及潜在的动作信号连接到共享模型。

这一架构旨在同时支持生成与理解,也能让一种模态中学到的知识改善另一种模态。例如,视频可以教会模型物体如何运动,而音频可以提供关于接触、冲击和材料行为的证据。

图像生成与编辑

两个模型系列都覆盖图像合成与编辑,但可用性有所不同。

FLUX 2

当生产工作流需要以下能力时,FLUX 2 是更实用的选择:

  • 立即进行文本到图像生成
  • 多参考图像控制
  • 由提示词驱动的图像编辑
  • 明确的模型变体和分辨率
  • 已知的 API 请求格式和定价

PoYo 当前在 FLUX 2 API 页面支持 FLUX 2 Pro、Pro Edit、Flex 和 Flex Edit 变体。

FLUX 3

Black Forest Labs 表示,FLUX 3 Image 改进了以下方面:

  • 复杂提示词处理
  • 多语言文本生成
  • 风格多样性
  • 对不同宽高比和分辨率的支持
  • 图像编辑

官方 FLUX 3 图像生成示例

不过,BFL 尚未发布最终 FLUX 3 Image 端点与完整 FLUX 2 系列之间的标准化公开比较。现在断言 FLUX 3 在每一项图像任务中都更胜一筹还为时过早。

视频是 FLUX 3 的核心升级

FLUX 2 不生成视频。FLUX 3 Video 增加了以下能力:

  • 文本到视频
  • 图像到视频
  • 视频到视频
  • 视频和音频延续
  • 关键帧到视频
  • 由参考内容驱动的角色和风格控制
  • 最长 20 秒的片段
  • 通过智能体链式处理生成多镜头序列

这使 FLUX 3 适用于另一组生产工作流,包括广告、短篇叙事视频、动画设计和视听预可视化。

原生音频改变工作流

传统的 AI 视频流程可能会先生成无声视频素材,再使用独立工具制作语音、音效、环境声和音乐。

FLUX 3 联合生成视频与音频。BFL 强调以下能力:

  • 与可见事件同步的物理声音
  • 多语言对话
  • 面部表情和语音
  • 视频与音频延续
  • 生成运动过程中的音频一致性

原生音频并不会消除审核或声音设计的必要性。它改变的是起点:生成的不是无声片段,而是一个视听场景。

参考控制

FLUX 2 使用文本和图像参考进行生成与编辑。它适用于产品图像、角色概念、合成以及受控的视觉变化。

FLUX 3 将参考控制扩展到了视频:

  • 使用图像作为起始帧
  • 使用图像作为身份或风格参考
  • 将一个视频中的核心元素延续到另一个视频中
  • 延续视听片段
  • 使用关键帧定义开始和结束时刻

PoYo 当前支持图生视频的一张源图、首尾帧的两张有序图像、最多十个定位关键帧,以及用于视频续接的 MP4 源视频。具体上传限制以 API 文档为准。

模型访问与开放权重

FLUX 2 已经包含发布的 API 和开放权重选项。例如,FLUX.2 Klein 面向本地或托管环境下的快速生成,并遵循已公布的许可协议和要求。

对于 FLUX 3,BFL 已宣布:

  • 通过 API 和私有权重提供 FLUX 3 Image
  • 通过 API 和私有权重提供 FLUX 3 Video
  • 将 FLUX 3 Dev 作为开放权重多模态骨干模型
  • 通过选定合作伙伴提供 FLUX 3 Action

FLUX 3 Dev 权重、许可证、下载位置和系统要求仍未公布。

可用性与定价

两个系列目前都可以通过 PoYo 使用,但面向不同的生产任务。FLUX 2 提供图像生成与编辑变体;FLUX 3 当前提供文生视频、图生视频、首尾帧、视频续接和定位关键帧五种视频工作流。

文生视频、图生视频、首尾帧和关键帧等标准工作流在 720p 和 1080p 下分别为每秒 34 和 58 credits;视频续接分别为每秒 82 和 106 credits。帧率、编解码器、生成时间等运行细节请查看当前 FLUX 3 API 文档。

PoYo 当前上线的是 FLUX 3 视频系列,不能据此推断独立的 FLUX 3 Image、Action 或 Dev 路线也包含在这些端点中。

应该选择哪种模型?

以下情况选择 FLUX 2:

  • 你现在就需要生产级图像 API。
  • 你的输出是静态图像。
  • 你需要基于参考内容进行图像编辑。
  • 你要求明确的定价和请求参数。
  • 你希望测试多个专注于图像的变体。

以下情况关注 FLUX 3:

  • 你需要带原生音频的视频。
  • 你的工作流结合了文本、图像和视频参考。
  • 你希望实现视频延续或关键帧过渡。
  • 多语言对话很重要。
  • 你正在研究多模态世界模型或动作预测。

以下情况同时使用两者:

FLUX 2 可以继续作为稳定的图像生产层,同时由团队评估 FLUX 3 在新型视听工作流中的表现。FLUX 3 不必在发布第一天就取代现有的图像流程。

常见问题

FLUX 3 比 FLUX 2 更好吗?

FLUX 3 的能力范围要广得多,但目前还没有足够的公开、独立测试来证明它在每一项图像生成或编辑任务中都更好。

FLUX 2 支持视频吗?

不支持。FLUX 2 是一个图像生成与编辑模型系列。

FLUX 3 仍然可以生成图像吗?

可以。FLUX 3 Image 支持图像合成与编辑,同时支持全新的视频、音频和动作方向。

FLUX 3 会取代 FLUX 2 吗?

BFL 尚未表示 FLUX 3 会立即取代 FLUX 2。在 PoYo 上,两者目前相互补充:FLUX 2 处理生产级图像工作流,FLUX 3 处理五种生产级视频工作流。

FLUX 3 是开源的吗?

开放权重的 FLUX 3 Dev 骨干模型已经宣布,但尚未发布。

哪种模型可以在 PoYo 上使用?

两者现在都可以在 PoYo 上使用。图像生成与编辑请选择 FLUX 2;需要原生音频的视频工作流请选择 FLUX 3。

结论

不应仅仅将 FLUX 2 和 FLUX 3 理解为新旧两代图像模型。它们代表了两种不同的产品范围:

  • FLUX 2: 面向生产的图像生成与编辑
  • FLUX 3: 面向图像、视频、原生音频和动作的多模态基础模型

对于图像工作负载,FLUX 2 仍然是相关选择;对于视听生成和多模态参考,FLUX 3 的五种视频工作流现已可用。

阅读更完整的 FLUX 3 概览,探索 FLUX 3 Video 指南,或立即在 PoYo 使用 FLUX 3。

来源: Black Forest Labs FLUX 3 公告、Black Forest Labs FLUX.2 公告

Share: