FLUX 3 Video: нативное аудио, клипы длительностью 20 секунд и ключевые возможности

FLUX 3 Video — первая модель FLUX от Black Forest Labs для полноценной аудиовизуальной генерации. Она одновременно создает видео и нативное аудио, принимает текстовые, графические и видео-референсы, а также генерирует клипы длительностью до 20 секунд за один запуск.

FLUX 3 доступен на PoYo: текст-в-видео, изображение-в-видео, первый/последний кадр, продолжение и позиционные ключевые кадры. FLUX 3.

FLUX 3 Video вкратце

Что такое FLUX 3 Video?

FLUX 3 Video — одно из применений мультимодальной базовой модели FLUX 3 более широкого назначения. В отличие от модели изображений, адаптированной для генерации кадров, FLUX 3 обучалась на изображениях, видео и аудио в рамках общей архитектуры.

Цель модели — работать не только с визуальным обликом. Видео обучает ее движению и временным взаимосвязям. Аудио предоставляет информацию об ударах, материалах, речи и событиях окружающей среды. Совместное обучение позволяет связывать генерируемый звук с происходящим на экране.

По этой же причине FLUX 3 выходит за рамки создания контента и применяется для предсказания действий в специализированных исследовательских вариантах.

Официальные материалы о запуске FLUX 3 от Black Forest Labs.

Преобразование текста в видео

Преобразование текста в видео создает клип непосредственно по письменному описанию сцены. Полезный промпт может определять:

• Объект и действие
• Место и время
• Положение и движение камеры
• Визуальный стиль
• Произносимый диалог
• Звуки окружающей среды
• Время и последовательность событий
• Соотношение сторон

Запрос PoYo включает промпт, длительность, разрешение, формат, аудио и входные изображения, видео или ключевые кадры.

Преобразование изображения в видео

FLUX 3 поддерживает два подхода на основе изображений.

Анимация начального кадра

Изображение может определить первый кадр, после чего модель создает движение и звук. Это полезно для анимации изображений продуктов, иллюстраций, портретов или разработанных сцен.

Ввод визуального референса

Изображения также могут выступать в качестве референсов идентичности, объекта или стиля, не становясь буквальным первым кадром. Это помогает сохранить персонажа, объект или визуальное направление в новой сцене.

Изображение-в-видео принимает одно изображение, первый/последний кадр — два, ключевые кадры — до десяти.

Преобразование видео в видео

Преобразование видео в видео использует исходный клип как референс и переносит ключевые элементы в другую сцену или контекст.

Возможные применения:

• Перемещение того же персонажа в новую среду
• Переосмысление видеоматериала в другом визуальном стиле
• Сохранение движения при изменении сцены
• Создание вариаций существующего кадра
• Использование исполнения в качестве временного референса

flux-3/extend-video предназначен для продолжения исходного видео, а не для общего рестайлинга.

Продолжение видео и аудио

FLUX 3 может продолжать входное видео вместе с его аудио. Модель продолжения должна одновременно продлевать несколько составляющих:

• Внешний вид объекта
• Движение камеры
• Траектории объектов
• Освещение и окружающую среду
• Диалог или атмосферные звуки
• Ритм и время событий

Этот рабочий процесс может продлевать короткие кадры или создавать последовательные сюжетные эпизоды без необходимости начинать каждый клип с несвязанного промпта.

Преобразование ключевых кадров в видео

Преобразование ключевых кадров в видео создает переход между заданными визуальными моментами. Начальный и конечный кадры могут точнее передать композицию, чем один текст.

Возможные применения:

• Трансформации продуктов
• Переходы камеры
• Перемещение персонажа между позами
• Последовательности «до и после»
• Анимация логотипа или типографики
• Предварительная визуализация перехода от раскадровки к движению

Поддерживается до десяти ключевых кадров с URL и индексом кадра.

Генерация нативного аудио

Нативное аудио — определяющая особенность FLUX 3 Video. Модель генерирует звук как часть той же сцены, а не полностью полагается на отдельный аудиоконвейер.

Звук, синхронизированный с событиями

Такие действия, как удары, движение и механические взаимодействия, могут сопровождаться звуком, синхронизированным с видимым событием. BFL заявляет, что модель особенно хорошо связывает звуки с физическими событиями.

Звуки окружающей среды

Сцена может включать атмосферные звуки, соответствующие ее месту, погоде и активности. Это может обеспечить более полный первый черновик по сравнению с генерацией немого видео.

Многоязычный диалог

Black Forest Labs называет многоязычный диалог одной из ключевых возможностей. В объявлении о запуске нет полного списка языков или измеренных показателей точности речи для каждого языка.

Продолжение видео и аудио

Модель может продолжать аудиовизуальный ввод, потенциально сохраняя атмосферу, контекст речи и время событий в новом фрагменте.

Нативная генерация не отменяет постпродакшен. Точность диалога, произношение, синхронизация губ, уровни громкости и нежелательные артефакты по-прежнему требуют проверки.

Длительность и разрешение

Поддерживаются 5–20 секунд, 720p/1080p, восемь соотношений сторон и нативное аудио. Стандарт: 34/58 кредитов в секунду; продолжение: 82/106.

Актуальные ID, параметры и цены приведены в документации PoYo. API.

Согласованность персонажей и стиля

FLUX 3 использует визуальные референсы, чтобы помогать сохранять ключевые элементы в разных сценах. BFL заявляет, что референсы могут поддерживать согласованность персонажей в многосценовых последовательностях длительностью несколько минут.

Более длинный результат создается путем объединения отдельных клипов, а не генерации нескольких минут за один вызов. Каждый кадр по-прежнему может требовать:

• Выбора референса
• Согласованности промптов
• Планирования переходов
• Проверки идентичности
• Проверки непрерывности аудио
• Монтажа и сборки

Агентная компоновка может автоматизировать часть планирования, но не превращает ограничение в 20 секунд за одну генерацию в неограниченный непрерывный кадр.

Типографика и анимированный дизайн

BFL отмечает сильные стороны FLUX 3 Video в типографике и анимированном дизайне. Это может поддерживать:

• Моушн-постеры
• Титровые последовательности
• Анонсы продуктов
• Кинетическую типографику
• Рекламу в социальных сетях
• Анимацию интерфейсов и графики

Сгенерированный текст все равно следует проверять покадрово. Заголовок может выглядеть правильно в один момент и деформироваться во время движения.

Результаты ранней оценки

В предварительных тестах предпочтений пользователей BFL FLUX 3 сравнивалась с несколькими видеомоделями. Компания сообщает о показателях предпочтения от 52% по сравнению с Seedance 2.0 и Gemini Omni Flash до 93% по сравнению с Luma Ray 3.2.

Эти результаты требуют контекста:

• Они опубликованы разработчиком модели.
• В них использовались 10-секундные клипы 720p, созданные из текста в видео, со звуком.
• Вариант FLUX 3 и инструментарий оценки все еще находились в разработке.
• Результаты «до» могут обобщать отдельные подмножества, а не каждую категорию промптов.
• Независимое воспроизведение результатов пока недоступно.

Эти числа представляют собой полезные ранние свидетельства, но не доказывают, что FLUX 3 универсально лучше.

Практические варианты использования

Короткие сцены, построенные на диалоге

Нативная речь и мимика делают FLUX 3 актуальной для коротких повествовательных эпизодов и концепций многоязычных персонажей.

Видео о продуктах и брендах

Референсные изображения могут задать продукт или визуальную идентичность, а нативный звук создает более полный черновик кампании.

Социальные видео

Несколько соотношений сторон, анимированный текст и небольшая длительность подходят для рекламы, анонсов и вертикальных форматов социальных сетей.

Предварительная визуализация

Изображения, видео-референсы и ключевые кадры могут превратить раскадровки в движущиеся превью для принятия решений о камере, времени и переходах.

Вариации и продолжение видео

Команды могут исследовать альтернативные сцены, продлевать кадр или переносить ключевого персонажа в другой контекст.

Рассказывание историй из нескольких сцен

Объединенные клипы могут создавать более длинные последовательности, а визуальные референсы помогают поддерживать согласованность.

Доступность FLUX 3 Video API

На PoYo доступны пять production-процессов для видео:

• flux-3/text-to-video
• flux-3/image-to-video
• flux-3/first-last-frame-to-video
• flux-3/extend-video
• flux-3/keyframes-to-video

Актуальные ID, параметры и цены приведены в документации PoYo.

Часто задаваемые вопросы

Доступен ли FLUX 3 Video сейчас?

Доступно сейчас.

Генерирует ли FLUX 3 Video звук?

Да. Она генерирует нативное аудио вместе с видео, включая звуки окружающей среды и многоязычный диалог.

Какой длины может быть видео FLUX 3?

BFL сообщает, что одна генерация может длиться до 20 секунд. Более длинные последовательности можно собрать путем объединения клипов.

Поддерживает ли FLUX 3 преобразование изображения в видео?

Да. Она может анимировать начальный кадр или использовать изображения как визуальные референсы.

Поддерживается ли преобразование видео в видео?

Да. BFL сообщает, что исходное видео может задавать ключевые элементы, например персонажа в новой сцене или контексте.

Может ли FLUX 3 продолжить существующее видео?

Да. Продолжение видео и аудио — один из заявленных рабочих процессов.

Какие языки поддерживает FLUX 3?

BFL объявила о многоязычном диалоге, но не опубликовала полный список поддерживаемых языков.

Сколько стоит FLUX 3 Video API?

Поддерживаются 5–20 секунд, 720p/1080p, восемь соотношений сторон и нативное аудио. Стандарт: 34/58 кредитов в секунду; продолжение: 82/106.

Заключение

FLUX 3 Video объединяет несколько рабочих процессов, для которых раньше требовались отдельные модели: преобразование текста в видео, анимацию изображений, преобразование видео, продолжение, переходы между ключевыми кадрами и генерацию аудио.

Ее самое важное отличие заключается не только в длительности 20 секунд. Модель пытается генерировать движение и звук на основе единого общего представления, принимая при этом референсы из нескольких типов медиа.

FLUX 3

Источник: анонс FLUX 3 от Black Forest Labs