FLUX 3 Video: natywne audio, 20-sekundowe klipy i kluczowe funkcje

FLUX 3 Video to pierwszy model FLUX od Black Forest Labs do pełnego generowania audiowizualnego. Tworzy wideo i natywne audio jednocześnie, przyjmuje tekst, obrazy i referencje wideo oraz generuje klipy do 20 sekund w jednym przebiegu.

FLUX 3 Video jest już dostępny w PoYo w pięciu produkcyjnych workflows z opublikowanymi ID modeli, opcjami żądań i cenami za sekundę. Strona API FLUX 3 w PoYo udostępnia działający generator dla tekstu, obrazów, pierwszej i ostatniej klatki, przedłużania wideo źródłowego oraz klatek kluczowych z określoną pozycją.

FLUX 3 Video w skrócie

Czym jest FLUX 3 Video?

FLUX 3 Video to jedno z zastosowań szerszego multimodalnego modelu bazowego FLUX 3. W odróżnieniu od modelu obrazów dostosowanego do generowania klatek, FLUX 3 trenowano na obrazach, wideo i audio we wspólnej architekturze.

Celem jest odwzorowanie czegoś więcej niż wygląd. Wideo uczy ruchu i zależności czasowych. Audio dostarcza informacji o uderzeniach, materiałach, mowie i zdarzeniach w otoczeniu. Wspólny trening pozwala powiązać wygenerowany dźwięk z tym, co dzieje się na ekranie.

Dlatego właśnie FLUX 3 wychodzi poza tworzenie treści i sięga po przewidywanie działań w wyspecjalizowanych wariantach badawczych.

Oficjalny materiał z premiery FLUX 3 od Black Forest Labs.

Tekst na wideo

Generowanie wideo z tekstu tworzy klip bezpośrednio na podstawie opisu sceny. Dobry prompt może określać:

• obiekt i akcję
• miejsce i porę
• pozycję i ruch kamery
• styl wizualny
• wypowiadane dialogi
• dźwięki otoczenia
• czasowanie i kolejność zdarzeń
• proporcje obrazu

FLUX 3 potrafi wygenerować warstwę wizualną i dźwiękową w jednym przebiegu. Żądania PoYo udostępniają prompt, czas trwania, rozdzielczość, proporcje obrazu, przełącznik audio oraz dane wejściowe, czyli obrazy, wideo źródłowe lub klatki kluczowe, których wymaga wybrany workflow.

Obraz na wideo

FLUX 3 obsługuje dwa podejścia oparte na obrazach.

Animacja od klatki początkowej

Obraz może wyznaczać pierwszą klatkę, po czym model tworzy ruch i dźwięk. To przydatne do ożywiania zdjęć produktów, ilustracji, portretów lub zaprojektowanych scen.

Wizualna referencja

Obrazy mogą też pełnić rolę referencji tożsamości, obiektu lub stylu, bez stawania się dosłowną pierwszą klatką. Pomaga to zachować postać, przedmiot lub kierunek wizualny w nowej scenie.

W PoYo tryb obraz na wideo przyjmuje jeden obraz źródłowy, generowanie z pierwszej i ostatniej klatki przyjmuje dwa uporządkowane obrazy, a generowanie z klatek kluczowych przyjmuje do dziesięciu obrazów z określoną pozycją. Wymagania dotyczące przesyłania i formatów plików sprawdź w aktualnej dokumentacji API.

Wideo na wideo

Tryb wideo na wideo używa klipu źródłowego jako referencji i przenosi kluczowe elementy do innej sceny lub kontekstu.

Możliwe zastosowania:

• przeniesienie tej samej postaci do nowego otoczenia
• reinterpretacja materiału w innym stylu wizualnym
• zachowanie ruchu przy zmianie sceny
• tworzenie wariantów istniejącego ujęcia
• wykorzystanie występu jako referencji czasowej

Wideo na wideo nie gwarantuje idealnego zachowania tożsamości ani ruchu. PoYo udostępnia obecnie kontynuację wideo źródłowego przez flux-3/extend-video; nie należy jej mylić z osobnym, ogólnym endpointem do zmiany stylu wideo.

Kontynuacja wideo i audio

FLUX 3 potrafi kontynuować wideo wejściowe razem z jego audio. Model kontynuacji musi jednocześnie przedłużyć kilka rzeczy:

• wygląd obiektu
• ruch kamery
• trajektorie obiektów
• oświetlenie i otoczenie
• dialog lub dźwięki tła
• rytm i czasowanie zdarzeń

Ten workflow może wydłużać krótkie ujęcia albo tworzyć kolejne punkty fabuły bez zaczynania każdego klipu od niepowiązanego prompta.

Klatki kluczowe na wideo

Generowanie z klatek kluczowych tworzy przejście między zdefiniowanymi momentami wizualnymi. Klatki początkowa i końcowa mogą przekazać kompozycję dokładniej niż sam tekst.

Możliwe zastosowania:

• przekształcenia produktów
• przejścia kamery
• ruch postaci między pozami
• sekwencje przed i po
• animacja logo lub typografii
• previsualizacja storyboardu w ruchu

PoYo obsługuje do dziesięciu klatek kluczowych z określoną pozycją. Każda z nich zawiera adres URL obrazu i indeks klatki, dzięki czemu czasowanie przejścia możesz kontrolować bezpośrednio.

Natywne generowanie audio

Natywne audio to cecha wyróżniająca FLUX 3 Video. Model generuje dźwięk jako część tej samej sceny, zamiast polegać wyłącznie na osobnym pipeline audio.

Dźwięk zsynchronizowany ze zdarzeniami

Akcje takie jak uderzenia, ruch i mechaniczne interakcje mogą wywoływać dźwięk zgrany w czasie z widocznym zdarzeniem. BFL twierdzi, że model szczególnie dobrze łączy dźwięki ze zdarzeniami fizycznymi.

Audio otoczenia

Scena może zawierać dźwięki tła pasujące do miejsca, pogody i aktywności. To może dać pełniejszą pierwszą wersję niż generowanie niemego wideo.

Wielojęzyczne dialogi

Black Forest Labs wymienia wielojęzyczne dialogi jako jedną z kluczowych możliwości. Ogłoszenie premiery nie zawiera pełnej listy języków ani zmierzonej dokładności mowy dla poszczególnych języków.

Kontynuacja wideo i audio

Model potrafi przedłużyć materiał audiowizualny, potencjalnie przenosząc dźwięki tła, kontekst mowy i czasowanie zdarzeń do nowego fragmentu.

Natywne generowanie nie eliminuje postprodukcji. Dokładność dialogów, wymowa, synchronizacja ust, poziomy głośności i niechciane artefakty nadal wymagają sprawdzenia.

Czas trwania i rozdzielczość

PoYo przyjmuje czas trwania jako liczbę całkowitą od 5 do 20 sekund i obsługuje wyjście w 720p oraz 1080p w ośmiu proporcjach obrazu. Natywne audio możesz włączyć w tym samym żądaniu.

Standardowe workflows dla tekstu, obrazu, pierwszej i ostatniej klatki oraz klatek kluczowych kosztują 34 kredyty za sekundę w 720p lub 58 kredytów za sekundę w 1080p. Przedłużanie wideo kosztuje 82 kredyty za sekundę w 720p lub 106 kredytów za sekundę w 1080p. Liczbę klatek na sekundę, kodek, czas generowania i inne szczegóły operacyjne sprawdź w aktualnej dokumentacji API FLUX 3.

Spójność postaci i stylu

FLUX 3 wykorzystuje referencje wizualne, aby zachować kluczowe elementy w kolejnych scenach. BFL podaje, że referencje potrafią utrzymać spójność postaci w wieloscenowych sekwencjach trwających kilka minut.

Takie dłuższe materiały powstają przez łączenie pojedynczych klipów, a nie przez wygenerowanie kilku minut jednym wywołaniem. Każde ujęcie może nadal wymagać:

• wyboru referencji
• ciągłości promptów
• zaplanowania przejść
• kontroli tożsamości
• sprawdzenia ciągłości audio
• montażu i złożenia całości

Agentic chaining może zautomatyzować część planowania, ale nie zamienia 20-sekundowego limitu pojedynczego generowania w nieograniczone ujęcie ciągłe.

Typografia i animowany projekt

BFL podkreśla mocną typografię i animowany projekt graficzny jako możliwości FLUX 3 Video. Mogą się przydać do:

• ruchomych plakatów
• sekwencji tytułowych
• ogłoszeń o produktach
• typografii kinetycznej
• reklam w mediach społecznościowych
• animacji interfejsów i grafik

Wygenerowany tekst nadal warto sprawdzać klatka po klatce. Tytuł może wyglądać poprawnie w jednej chwili, a w ruchu się zdeformować.

Wstępne wyniki oceny

W wstępnych testach preferencji ludzi przeprowadzonych przez BFL porównano FLUX 3 z kilkoma modelami wideo. Firma podaje wskaźniki preferencji od 52% wobec Seedance 2.0 i Gemini Omni Flash do 93% wobec Luma Ray 3.2.

Te wyniki wymagają kontekstu:

• Opublikował je twórca modelu.
• Użyto 10-sekundowych klipów 720p z tekstu, z audio.
• Kandydat FLUX 3 i środowisko oceny były jeszcze w trakcie prac.
• Wyniki typu „do” mogą podsumowywać podzbiory, a nie każdą kategorię promptów.
• Niezależne odtworzenie wyników nie jest jeszcze dostępne.

Te liczby to przydatny wstępny dowód, a nie potwierdzenie, że FLUX 3 jest uniwersalnie lepszy.

Praktyczne zastosowania

Krótkie sceny oparte na dialogu

Natywna mowa i mimika sprawiają, że FLUX 3 nadaje się do krótkich scen fabularnych i wielojęzycznych konceptów postaci.

Filmy produktowe i marki

Obrazy referencyjne mogą ustalić produkt lub tożsamość wizualną, a natywny dźwięk tworzy pełniejszą wersję roboczą kampanii.

Wideo do mediów społecznościowych

Wiele proporcji obrazu, animowany tekst i krótki czas trwania pasują do reklam, ogłoszeń i pionowych formatów social media.

Previsualizacja

Obrazy, wideo referencyjne i klatki kluczowe mogą zamienić storyboardy w ruchome podglądy, które pomagają podejmować decyzje o kamerze, czasie i przejściach.

Warianty i kontynuacja wideo

Zespoły mogą testować alternatywne sceny, przedłużać ujęcie lub przenosić główną postać w inny kontekst.

Opowiadanie historii w wielu ujęciach

Połączone klipy mogą tworzyć dłuższe sekwencje, a referencje wizualne pomagają zachować spójność.

Dostępność API FLUX 3 Video

FLUX 3 Video jest już dostępny w PoYo pod pięcioma produkcyjnymi ID modeli:

• flux-3/text-to-video
• flux-3/image-to-video
• flux-3/first-last-frame-to-video
• flux-3/extend-video
• flux-3/keyframes-to-video

Wszystkie pięć korzysta z asynchronicznego przepływu generowania PoYo do wysyłania zadań i pobierania statusu. Użyj strony modelu FLUX 3 do generowania interaktywnego albo dokumentacji API, aby poznać szczegóły integracji.

Najczęstsze pytania

Czy FLUX 3 Video jest już dostępny?

Tak. PoYo udostępnia pięć produkcyjnych workflows dla tekstu, obrazów, pierwszej i ostatniej klatki, przedłużania wideo źródłowego oraz klatek kluczowych z określoną pozycją.

Czy FLUX 3 Video generuje dźwięk?

Tak. Generuje natywne audio razem z wideo, w tym dźwięki otoczenia i wielojęzyczne dialogi.

Jak długie może być wideo z FLUX 3?

BFL podaje, że jedno generowanie może trwać do 20 sekund. Dłuższe sekwencje można złożyć, łącząc klipy.

Czy FLUX 3 obsługuje wideo z obrazu?

Tak. Może animować klatkę początkową lub używać obrazów jako referencji wizualnych.

Czy obsługuje wideo na wideo?

Tak. BFL podaje, że wideo źródłowe może kierować kluczowymi elementami, takimi jak postać w nowej scenie lub kontekście.

Czy FLUX 3 potrafi kontynuować istniejące wideo?

Tak. Kontynuacja wideo i audio to jeden z zapowiedzianych workflows.

Jakie języki obsługuje FLUX 3?

BFL zapowiedziało wielojęzyczne dialogi, ale nie opublikowało pełnej listy obsługiwanych języków.

Ile kosztuje API FLUX 3 Video?

Standardowe workflows kosztują 34 kredyty za sekundę w 720p lub 58 w 1080p. Przedłużanie wideo kosztuje 82 kredyty za sekundę w 720p lub 106 w 1080p.

Podsumowanie

FLUX 3 Video łączy kilka workflows, które wcześniej wymagały osobnych modeli: wideo z tekstu, animację obrazu, przekształcanie wideo, kontynuację, przejścia między klatkami kluczowymi i generowanie audio.

Jego najważniejsza różnica to nie tylko 20-sekundowy czas trwania. To próba generowania ruchu i dźwięku z jednej wspólnej reprezentacji przy jednoczesnej obsłudze referencji z wielu mediów.

Przeczytaj wszystko, co obecnie wiadomo o FLUX 3, porównaj FLUX 3 i FLUX 2 albo skorzystaj z FLUX 3 w PoYo.

Źródło: Ogłoszenie FLUX 3 od Black Forest Labs