FLUX 3 Video：ネイティブ音声、20秒クリップ、主な機能

FLUX 3 Videoは、Black Forest Labsが開発した、完全な映像音声生成に対応する初のFLUXモデルです。動画とネイティブ音声を同時に生成し、テキスト、画像、動画のリファレンスを受け付け、1回の生成で最大20秒のクリップを作成します。

FLUX 3はPoYoで提供中です。テキスト動画、画像動画、開始・終了フレーム、動画延長、位置指定キーフレームの5つを利用できます。 FLUX 3.

FLUX 3 Videoの概要

FLUX 3 Videoとは？

FLUX 3 Videoは、より広範なFLUX 3マルチモーダル基盤モデルを活用したアプリケーションの1つです。フレーム生成用に適応された画像モデルとは異なり、FLUX 3は画像、動画、音声を共有アーキテクチャ上で学習しています。

その目的は、視覚的な外観だけをモデル化することではありません。動画からは動きと時間的な関係を学習し、音声からは衝撃、素材、会話、環境中の出来事に関する情報を得ます。共同学習によって、生成された音声を画面上で起きていることと結び付けられます。

このため、FLUX 3はコンテンツ制作にとどまらず、専門的な研究バリアントを通じたアクション予測にも拡張されています。

Black Forest Labsによる公式FLUX 3ローンチメディア。

テキストから動画

テキストから動画への生成では、文章によるシーンの説明から直接クリップを作成します。実用的なプロンプトでは、次の要素を定義できます。

• 被写体とアクション
• 場所と時間
• カメラの位置と動き
• ビジュアルスタイル
• 話される会話
• 環境音
• 出来事のタイミングと順序
• アスペクト比

PoYoのリクエストではプロンプト、秒数、解像度、比率、音声、画像・動画・キーフレーム入力を指定できます。

画像から動画

FLUX 3は、画像を起点とする2つのアプローチに対応しています。

開始フレームのアニメーション

画像を最初のフレームとして指定し、その後にモデルが動きと音声を作成できます。商品画像、イラスト、ポートレート、デザインされたシーンのアニメーション化に役立ちます。

ビジュアルリファレンス入力

画像を、文字どおり最初のフレームにするのではなく、アイデンティティ、被写体、スタイルのリファレンスとして使用することもできます。これにより、新しいシーンでもキャラクター、オブジェクト、ビジュアルの方向性を維持しやすくなります。

画像動画は1枚、開始・終了フレームは2枚、キーフレームは最大10枚に対応します。

動画から動画

動画から動画への生成では、元のクリップをリファレンスとして使用し、中心的な要素を異なるシーンや文脈へ引き継ぎます。

想定される用途には次のようなものがあります。

• 同じキャラクターを新しい環境へ移動させる
• 映像を別のビジュアルスタイルで再解釈する
• シーンを変更しながら動きを維持する
• 既存ショットのバリエーションを作成する
• パフォーマンスを時間的なリファレンスとして使用する

PoYoのflux-3/extend-videoは動画延長用であり、汎用的な動画スタイル変換エンドポイントではありません。

動画と音声の続きの生成

FLUX 3は、入力された動画とその音声の続きを生成できます。続きの生成モデルは、複数の要素を同時に拡張する必要があります。

• 被写体の外観
• カメラの動き
• オブジェクトの軌道
• 照明と環境
• 会話や雰囲気
• リズムと出来事のタイミング

このワークフローを使えば、短いショットを延長したり、関連性のないプロンプトから各クリップを始めることなく、連続するストーリーの展開を作成したりできます。

キーフレームから動画

キーフレームから動画への生成では、定義された視覚的な瞬間の間にトランジションを生成します。開始フレームと終了フレームを指定することで、テキストだけの場合よりも構図を正確に伝えられます。

考えられる用途には次のようなものがあります。

• 商品の変形
• カメラトランジション
• ポーズ間のキャラクターの動き
• ビフォーアフターのシーケンス
• ロゴやタイポグラフィのアニメーション
• ストーリーボードからモーションへのプリビジュアライゼーション

最大10個の位置指定キーフレームを、画像URLとフレーム番号で指定できます。

ネイティブ音声生成

ネイティブ音声は、FLUX 3 Videoを特徴付ける機能です。完全に別の音声パイプラインに依存するのではなく、同じシーンの一部として音声を生成します。

イベントに同期したサウンド

衝撃、動き、機械的な相互作用などのアクションに対して、目に見える出来事とタイミングの合った音声を生成できます。BFLは、物理的な出来事と音声を関連付ける能力に特に優れていると説明しています。

環境音

シーンには、場所、天候、活動内容に適した環境音を含めることができます。これにより、無音の動画生成よりも完成度の高い初稿を作成できる可能性があります。

多言語対話

Black Forest Labsは、多言語対話を中核機能として挙げています。ローンチ発表では、完全な対応言語一覧や、各言語で測定された音声精度は示されていません。

動画と音声の続きの生成

モデルは映像音声入力の続きを生成でき、環境音、会話の文脈、出来事のタイミングを新しいセクションへ引き継げる可能性があります。

ネイティブ生成によってポストプロダクションが不要になるわけではありません。会話の正確性、発音、リップシンク、音量、不要なアーティファクトについては、引き続き確認が必要です。

再生時間と解像度

5～20秒、720p/1080p、8種類のアスペクト比、ネイティブ音声に対応します。標準は毎秒34/58 credits、延長は82/106 creditsです。

モデルID、パラメータ、料金はPoYoの最新ドキュメントを確認してください。 API.

キャラクターとスタイルの一貫性

FLUX 3は、シーン間で中心的な要素を維持しやすくするために、ビジュアルリファレンスを使用します。BFLによると、数分間にわたるマルチシーンシーケンスでも、リファレンスによってキャラクターの一貫性を保てます。

このような長尺の出力は、数分間を1回の呼び出しで生成するのではなく、個々のクリップを連結して作成します。各ショットでは、引き続き次の作業が必要になる可能性があります。

• リファレンスの選択
• プロンプトの連続性の確保
• トランジションの計画
• アイデンティティの確認
• 音声の連続性の確認
• 編集と組み立て

Agentic chainingによって計画の一部を自動化できる可能性はありますが、1回の生成における20秒の制限が、無制限の連続ショットに変わるわけではありません。

タイポグラフィとアニメーションデザイン

BFLは、FLUX 3 Videoの機能として、優れたタイポグラフィとアニメーションデザインを強調しています。これにより、次のような用途に対応できる可能性があります。

• モーションポスター
• タイトルシーケンス
• 商品発表
• キネティックタイポグラフィ
• ソーシャル広告
• インターフェースやグラフィックのアニメーション

生成されたテキストは、引き続きフレームごとに確認する必要があります。ある瞬間には正しく見えるタイトルが、動きの途中で変形することがあります。

初期評価の結果

BFLの予備的な人間による選好テストでは、FLUX 3を複数の動画モデルと比較しました。同社は、Seedance 2.0およびGemini Omni Flashに対する52%から、Luma Ray 3.2に対する93%までの選好率を報告しています。

これらの結果は、次の点を踏まえて解釈する必要があります。

• モデルの開発元が公開した結果です。
• 音声付きの10秒、720pのテキストから動画へのクリップが使用されました。
• FLUX 3の候補モデルと評価ハーネスは、まだ開発中でした。
• 「最大」値の結果は、すべてのプロンプトカテゴリではなく、一部のサブセットを要約している可能性があります。
• 独立した再現検証はまだ行われていません。

これらの数値は初期段階の有用な証拠ではありますが、FLUX 3があらゆる面で普遍的に優れていることの証明ではありません。

実用的なユースケース

対話を中心とした短いシーン

ネイティブ音声と顔の表情に対応するFLUX 3は、短い物語の一場面や、多言語のキャラクターコンセプトに適しています。

商品・ブランド動画

リファレンス画像で商品やビジュアルアイデンティティを確立し、ネイティブ音声によってより完成度の高いキャンペーンの草稿を作成できます。

ソーシャル動画

複数のアスペクト比、アニメーションテキスト、短い再生時間は、広告、告知、縦型ソーシャルフォーマットに適しています。

プリビジュアライゼーション

画像、動画リファレンス、キーフレームを使って、ストーリーボードを動くプレビューに変換し、カメラ、タイミング、トランジションを検討できます。

動画のバリエーションと続きの生成

チームは別のシーンを試したり、ショットを延長したり、中心となるキャラクターを別の文脈へ引き継いだりできます。

マルチショットのストーリーテリング

クリップを連結することで、より長いシーケンスを作成しながら、ビジュアルリファレンスによって一貫性を維持できます。

FLUX 3 Video APIの提供状況

PoYoで5つの本番動画ワークフローを提供中:

• flux-3/text-to-video
• flux-3/image-to-video
• flux-3/first-last-frame-to-video
• flux-3/extend-video
• flux-3/keyframes-to-video

モデルID、パラメータ、料金はPoYoの最新ドキュメントを確認してください。

よくある質問

FLUX 3 Videoは現在利用できますか？

現在利用可能.

FLUX 3 Videoは音声を生成しますか？

はい。環境音や多言語対話を含むネイティブ音声を、動画と同時に生成します。

FLUX 3の動画はどのくらいの長さにできますか？

BFLによると、1回の生成で最大20秒まで対応します。より長いシーケンスは、クリップを連結して組み立てられます。

FLUX 3は画像から動画への生成に対応していますか？

はい。開始フレームをアニメーション化したり、画像をビジュアルリファレンスとして使用したりできます。

動画から動画への生成に対応していますか？

はい。BFLによると、元の動画を使って、新しいシーンや文脈におけるキャラクターなどの中心的な要素を導けます。

FLUX 3は既存の動画の続きを生成できますか？

はい。動画と音声の続きの生成は、発表されているワークフローの1つです。

FLUX 3はどの言語に対応していますか？

BFLは多言語対話を発表していますが、対応言語の完全な一覧は公開していません。

FLUX 3 Video APIの料金はいくらですか？

5～20秒、720p/1080p、8種類のアスペクト比、ネイティブ音声に対応します。標準は毎秒34/58 credits、延長は82/106 creditsです。

まとめ

FLUX 3 Videoは、これまで別々のモデルを必要としていた複数のワークフロー、つまりテキストから動画、画像のアニメーション化、動画変換、続きの生成、キーフレームトランジション、音声生成を組み合わせています。

最も重要な違いは、20秒という再生時間だけではありません。複数のメディアにまたがるリファレンスを受け付けながら、共有された1つの表現から動きと音声を生成しようとしている点にあります。

FLUX 3

出典： Black Forest LabsによるFLUX 3の発表