FLUX 3 против FLUX 2: изображения, видео, аудио и ключевые различия

Главное различие между FLUX 3 и FLUX 2 заключается не в обычном повышении качества. FLUX 2 — это семейство моделей для генерации и редактирования изображений. FLUX 3 — мультимодальная базовая модель, которая расширяет возможности до видео, встроенного аудио и прогнозирования действий, сохраняя при этом генерацию и редактирование изображений.

FLUX 3 доступен на PoYo: текст-в-видео, изображение-в-видео, первый/последний кадр, продолжение и позиционные ключевые кадры.

FLUX 3 против FLUX 2: краткий обзор

Разные цели продуктов

FLUX 2 разработана для высококачественного синтеза и редактирования изображений. В её семейство входят варианты, ориентированные на качество, гибкость и скорость, для разных рабочих процессов с изображениями.

FLUX 3 использует общую архитектуру для изображений, видео и аудио. Black Forest Labs утверждает, что совместное обучение модальностей создаёт более качественное представление о мире: пространственную структуру из изображений, движение и физические изменения из видео, а также причинно-следственные признаки из звука.

В результате получается более широкая платформа, а не прямая замена каждой конечной точке FLUX 2 для работы с изображениями.

Архитектура: модель изображений против мультимодальной модели

FLUX 2 — семейство моделей изображений на основе flow matching. Она принимает текст, а в рабочих процессах редактирования также референсы изображений, чтобы создавать или изменять статичные изображения.

FLUX 3 основана на исследованиях BFL Self-Flow и мультимодальном трансформере. Отдельные энкодеры и декодеры связывают изображения, видео, аудио и потенциально сигналы действий с общей моделью.

Эта архитектура предназначена для поддержки как генерации, так и понимания. Она также позволяет знаниям, полученным в одной модальности, улучшать другую. Например, видео может научить модель тому, как движется объект, а аудио может дать информацию о контакте, ударе и свойствах материала.

Генерация и редактирование изображений

Оба поколения моделей поддерживают синтез и редактирование изображений, но их доступность различается.

FLUX 2

FLUX 2 — практичный выбор, когда production workflow требуется:

• Генерация изображений из текста уже сейчас
• Управление с помощью нескольких референсов изображений
• Редактирование изображений на основе промпта
• Определённые варианты моделей и разрешения
• Известные форматы API-запросов и цены

В настоящее время PoYo поддерживает варианты FLUX 2 Pro, Pro Edit, Flex и Flex Edit на странице API FLUX 2.

FLUX 3

Black Forest Labs сообщает, что FLUX 3 Image улучшает:

• Обработку сложных промптов
• Генерацию текста на разных языках
• Разнообразие стилей
• Поддержку различных соотношений сторон и разрешений
• Редактирование изображений

Однако BFL не опубликовала стандартизированное публичное сравнение готовых конечных точек FLUX 3 Image с полным семейством FLUX 2. Поэтому было бы преждевременно утверждать, что FLUX 3 выигрывает в каждой задаче обработки изображений.

Видео — главное обновление FLUX 3

FLUX 2 не генерирует видео. FLUX 3 Video добавляет:

• Генерацию видео из текста
• Генерацию видео из изображения
• Преобразование видео в видео
• Продолжение видео и аудио
• Преобразование ключевых кадров в видео
• Управление персонажами и стилем на основе референсов
• Клипы длительностью до 20 секунд
• Агентное объединение в многокадровые последовательности

Это делает FLUX 3 актуальной для другого набора production workflow, включая рекламу, короткие повествовательные видео, анимированный дизайн и предварительную аудиовизуализацию.

Встроенное аудио меняет рабочий процесс

Обычный конвейер создания видео с помощью ИИ может сначала генерировать немое видео, а затем использовать отдельные инструменты для речи, звуковых эффектов, окружающих звуков и музыки.

FLUX 3 совместно генерирует видео и аудио. BFL выделяет следующие возможности:

• Физические звуки, синхронизированные с видимыми событиями
• Многоязычный диалог
• Мимика и речь
• Продолжение видео и аудио
• Согласованность аудио во время генерируемого движения

Встроенное аудио не устраняет необходимость в проверке или звуковом дизайне. Оно меняет исходную точку, создавая аудиовизуальную сцену вместо немого клипа.

Управление референсами

FLUX 2 использует текст и референсы изображений для генерации и редактирования. Она подходит для изображений продуктов, концептов персонажей, композитинга и контролируемых визуальных изменений.

FLUX 3 расширяет управление референсами на видео:

• Использование изображения в качестве стартового кадра
• Использование изображений в качестве референсов идентичности или стиля
• Перенос ключевых элементов из одного видео в другое
• Продолжение аудиовизуального клипа
• Определение начальных и конечных моментов с помощью ключевых кадров

Поддерживаются одно изображение, два кадра начала/конца, десять ключевых кадров и MP4 для продолжения.

Доступ к моделям и открытые веса

FLUX 2 уже включает выпущенные API и варианты с открытыми весами. Например, FLUX.2 Klein предназначена для быстрой локальной или размещённой генерации в соответствии с опубликованными лицензиями и требованиями.

Для FLUX 3 BFL анонсировала:

• FLUX 3 Image через API и закрытые веса
• FLUX 3 Video через API и закрытые веса
• FLUX 3 Dev как мультимодальную основу с открытыми весами
• FLUX 3 Action через отдельных партнёров

Веса FLUX 3 Dev, лицензия, место загрузки и системные требования пока неизвестны.

Доступность и цены

API изображений доступен; Доступны пять видеопроцессов.

Поддерживаются 5–20 секунд, 720p/1080p, восемь соотношений сторон и нативное аудио. Стандарт: 34/58 кредитов в секунду; продолжение: 82/106. API.

Текущий выпуск относится к FLUX 3 Video. Image, Action и Dev остаются отдельными пунктами roadmap.

Какую модель выбрать?

Выбирайте FLUX 2, если:

• Вам нужно production API для изображений уже сейчас.
• Ваш результат — статичное изображение.
• Вам требуется редактирование изображений на основе референсов.
• Вам нужны известные цены и параметры запросов.
• Вы хотите протестировать несколько вариантов, ориентированных на изображения.

Следите за FLUX 3, если:

• Вам нужно видео со встроенным аудио.
• Ваш рабочий процесс объединяет текст, изображения и референсы видео.
• Вы хотите продолжать видео или создавать переходы между ключевыми кадрами.
• Для вас важен многоязычный диалог.
• Вы исследуете мультимодальные модели мира или прогнозирование действий.

Используйте обе модели, если:

FLUX 2 может оставаться стабильным production-слоем для изображений, пока команда оценивает FLUX 3 для новых аудиовизуальных рабочих процессов. FLUX 3 не обязательно должна сразу заменять работающий конвейер обработки изображений.

Часто задаваемые вопросы

FLUX 3 лучше FLUX 2?

FLUX 3 обладает гораздо более широким набором возможностей, но пока недостаточно публичного независимого тестирования, чтобы утверждать, что она лучше для каждой задачи генерации или редактирования изображений.

Поддерживает ли FLUX 2 видео?

Нет. FLUX 2 — семейство моделей для генерации и редактирования изображений.

По-прежнему ли FLUX 3 генерирует изображения?

Да. FLUX 3 Image поддерживает синтез и редактирование изображений наряду с новыми направлениями работы с видео, аудио и действиями.

Заменит ли FLUX 3 модель FLUX 2?

API изображений доступен; Доступны пять видеопроцессов.

Является ли FLUX 3 открытым исходным кодом?

Мультимодальная основа FLUX 3 Dev с открытыми весами была анонсирована, но ещё не выпущена.

Какая модель доступна на PoYo?

Доступно сейчас.

Заключение

FLUX 2 и FLUX 3 не следует воспринимать только как старую и новую модели изображений. Они представляют два разных масштаба продукта:

• FLUX 2: ориентированная на production генерация и редактирование изображений
• FLUX 3: мультимодальная основа для изображений, видео, встроенного аудио и действий

Доступны пять видеопроцессов.

FLUX 3

Источники: анонс FLUX 3 от Black Forest Labs, анонс FLUX.2 от Black Forest Labs