FLUX 3 Video: indbygget lyd, klip på 20 sekunder og vigtigste funktioner

FLUX 3 Video er Black Forest Labs' første FLUX-model til fuld audiovisuel generering. Den skaber video og indbygget lyd samtidig, accepterer tekst, billeder og videoreferencer og producerer klip på op til 20 sekunder i én generering.

FLUX 3 Video er nu tilgængelig på PoYo gennem fem produktionsworkflows med offentliggjorte model-ID'er, anmodningsindstillinger og priser pr. sekund. API-siden for FLUX 3 på PoYo har en levende generator til tekst, billeder, første og sidste ramme, forlængelse af kildevideo og placerede keyframes.

FLUX 3 Video i overblik

Hvad er FLUX 3 Video?

FLUX 3 Video er én anvendelse af den bredere multimodale fundamentmodel FLUX 3. I modsætning til en billedmodel, der er tilpasset til at generere billedrammer, blev FLUX 3 trænet på tværs af billeder, video og lyd i en fælles arkitektur.

Målet er at modellere mere end det visuelle udseende. Video lærer bevægelse og tidslige sammenhænge. Lyd giver information om stød, materialer, tale og hændelser i omgivelserne. Fælles træning gør det muligt at koble den genererede lyd til det, der sker på skærmen.

Det er også grunden til, at FLUX 3 rækker ud over indholdsproduktion og ind i handlingsforudsigelse via specialiserede forskningsvarianter.

Officielt lanceringsmateriale til FLUX 3 fra Black Forest Labs.

Tekst til video

Tekst til video skaber et klip direkte ud fra en skrevet scenebeskrivelse. En brugbar prompt kan definere:

• Motiv og handling
• Sted og tidspunkt
• Kameraets position og bevægelse
• Visuel stil
• Talt dialog
• Omgivelseslyd
• Timing og rækkefølge af begivenheder
• Billedformat

FLUX 3 kan generere de visuelle og lydmæssige dele i ét gennemløb. PoYo-anmodninger har felter til prompt, varighed, opløsning, billedformat, lydkontakt og de billed-, kildevideo- eller keyframe-input, som det valgte workflow kræver.

Billede til video

FLUX 3 understøtter to billeddrevne tilgange.

Animation fra startramme

Et billede kan definere den første ramme, hvorefter modellen skaber bevægelse og lyd. Det er nyttigt til at animere produktbilleder, illustrationer, portrætter eller designede scener.

Visuelt referenceinput

Billeder kan også fungere som reference for identitet, motiv eller stil uden at blive den bogstavelige første ramme. Det kan hjælpe med at bevare en figur, en genstand eller en visuel retning i en ny scene.

På PoYo accepterer billede til video ét kildebillede, generering med første og sidste ramme to ordnede billeder, og keyframe-generering op til ti placerede billeder. Tjek den aktuelle API-dokumentation for krav til upload og filformat.

Video til video

Video til video bruger et kildeklip som reference og fører centrale elementer over i en anden scene eller kontekst.

Mulige anvendelser:

• Flytte den samme figur til et nyt miljø
• Fortolke optagelser i en anden visuel stil
• Bevare bevægelsen, mens scenen skiftes ud
• Lave varianter af en eksisterende optagelse
• Bruge en præstation som tidslig reference

Video til video garanterer ikke perfekt bevarelse af identitet eller bevægelse. PoYo tilbyder i øjeblikket fortsættelse af kildevideo via flux-3/extend-video. Den skal ikke forveksles med et separat, almindeligt endpoint til omstilling af video.

Fortsættelse af video og lyd

FLUX 3 kan fortsætte en inputvideo og dens lyd. En fortsættelsesmodel skal forlænge flere ting på én gang:

• Motivets udseende
• Kamerabevægelse
• Objekters baner
• Lys og omgivelser
• Dialog eller stemning
• Rytme og timing af begivenheder

Det workflow kan forlænge korte optagelser eller skabe på hinanden følgende handlingsforløb uden at starte hvert klip fra en urelateret prompt.

Keyframes til video

Keyframes til video genererer en overgang mellem definerede visuelle øjeblikke. Start- og slutramme kan formidle komposition mere præcist end tekst alene.

Mulige anvendelser:

• Produkttransformationer
• Kameraovergange
• Figurers bevægelse mellem positurer
• Før og efter-sekvenser
• Animation af logo eller typografi
• Previsualisering fra storyboard til bevægelse

PoYo understøtter op til ti placerede keyframes. Hver keyframe angiver en billed-URL og et rammeindeks, så du direkte kan styre overgangens timing.

Generering af indbygget lyd

Indbygget lyd er FLUX 3 Videos mest karakteristiske funktion. Modellen genererer lyden som en del af den samme scene i stedet for udelukkende at læne sig op ad en separat lydpipeline.

Lyd synkroniseret med begivenheder

Handlinger som stød, bevægelse og mekanisk samspil kan give lyd, der er timet til den synlige begivenhed. BFL siger, at modellen er særlig god til at knytte lyde til fysiske begivenheder.

Omgivelseslyd

En scene kan have stemning, der passer til sted, vejr og aktivitet. Det kan give et mere komplet første udkast end generering af lydløs video.

Flersproget dialog

Black Forest Labs nævner flersproget dialog som en kerneevne. Lanceringsannonceringen indeholder hverken en komplet sprogliste eller målt talenøjagtighed for hvert sprog.

Fortsættelse af video og lyd

Modellen kan forlænge et audiovisuelt input og potentielt bevare stemning, talesammenhæng og timing af begivenheder ind i den nye sektion.

Indbygget generering fjerner ikke behovet for efterbehandling. Dialogens nøjagtighed, udtale, læbesynkronisering, lydniveauer og uønskede artefakter skal stadig gennemgås.

Varighed og opløsning

PoYo accepterer heltalsvarigheder fra 5 til 20 sekunder og understøtter output i 720p og 1080p på tværs af otte billedformater. Indbygget lyd kan aktiveres i samme anmodning.

Standardworkflows til tekst, billede, første og sidste ramme og keyframes koster 34 kreditter pr. sekund i 720p eller 58 kreditter pr. sekund i 1080p. Videoforlængelse koster 82 kreditter pr. sekund i 720p eller 106 kreditter pr. sekund i 1080p. Billedfrekvens, codec, genereringstid og andre driftsdetaljer bør du tjekke i den aktuelle dokumentation til FLUX 3 API.

Ensartethed i figurer og stil

FLUX 3 bruger visuelle referencer til at bevare centrale elementer på tværs af scener. BFL siger, at referencer kan holde figurer ensartede i sekvenser med flere scener, der varer flere minutter.

Det længere output skabes ved at kæde enkelte klip sammen, ikke ved at generere flere minutter i ét kald. Hver optagelse kan stadig kræve:

• Valg af reference
• Kontinuitet i prompten
• Planlægning af overgange
• Gennemgang af identitet
• Kontrol af lydens kontinuitet
• Redigering og samling

Agentisk kædning kan automatisere en del af planlægningen, men gør ikke grænsen på 20 sekunder i én generering til en ubegrænset sammenhængende optagelse.

Typografi og animeret design

BFL fremhæver stærk typografi og animeret design som evner i FLUX 3 Video. Det kan bruges til:

• Bevægelsesplakater
• Titelsekvenser
• Produktannonceringer
• Kinetisk typografi
• Sociale annoncer
• Animation af grænseflader og grafik

Genereret tekst bør stadig tjekkes ramme for ramme. En titel kan se rigtig ud i ét øjeblik og deformeres i bevægelse.

Tidlige evalueringsresultater

I BFL's foreløbige tests af menneskelig præference blev FLUX 3 sammenlignet med flere videomodeller. Selskabet oplyser præferencerater fra 52 % mod Seedance 2.0 og Gemini Omni Flash op til 93 % mod Luma Ray 3.2.

Resultaterne kræver kontekst:

• De blev offentliggjort af modeludvikleren.
• De brugte tekst til video-klip på 10 sekunder i 720p med lyd.
• FLUX 3-kandidaten og evalueringsopsætningen var stadig under udvikling.
• Resultater med "op til" kan opsummere delmængder frem for hver eneste promptkategori.
• Uafhængig gengivelse af resultaterne er endnu ikke tilgængelig.

Tallene er nyttig tidlig dokumentation, ikke bevis for, at FLUX 3 er bedre på alle områder.

Praktiske anvendelser

Korte scener drevet af dialog

Indbygget tale og ansigtsudtryk gør FLUX 3 relevant til korte fortællende øjeblikke og flersprogede figurkoncepter.

Produkt- og brandvideoer

Referencebilleder kan fastlægge et produkt eller en visuel identitet, mens indbygget lyd giver et mere komplet kampagneudkast.

Sociale videoer

Flere billedformater, animeret tekst og kort varighed passer til annoncer, bekendtgørelser og lodrette formater til sociale medier.

Previsualisering

Billeder, referencevideo og keyframes kan forvandle storyboards til bevægelige forhåndsvisninger, der hjælper med beslutninger om kamera, timing og overgange.

Videovarianter og fortsættelse

Teams kan udforske alternative scener, forlænge en optagelse eller føre en central figur ind i en anden kontekst.

Fortællinger med flere optagelser

Kædede klip kan skabe længere sekvenser, mens visuelle referencer hjælper med at bevare ensartetheden.

Tilgængelighed af FLUX 3 Video API

FLUX 3 Video er tilgængelig nu på PoYo gennem fem produktionsmodel-ID'er:

• flux-3/text-to-video
• flux-3/image-to-video
• flux-3/first-last-frame-to-video
• flux-3/extend-video
• flux-3/keyframes-to-video

Alle fem bruger PoYos asynkrone genereringsflow til indsendelse af opgaver og hentning af status. Brug modelsiden for FLUX 3 til interaktiv generering eller API-dokumentationen til integrationsdetaljer.

Ofte stillede spørgsmål

Er FLUX 3 Video tilgængelig nu?

Ja. PoYo tilbyder fem produktionsworkflows til tekst, billeder, første og sidste ramme, forlængelse af kildevideo og placerede keyframes.

Genererer FLUX 3 Video lyd?

Ja. Den genererer indbygget lyd sammen med videoen, herunder omgivelseslyd og flersproget dialog.

Hvor lang kan en FLUX 3-video være?

BFL siger, at én generering kan vare op til 20 sekunder. Længere sekvenser kan samles ved at kæde klip sammen.

Understøtter FLUX 3 billede til video?

Ja. Den kan animere en startramme eller bruge billeder som visuelle referencer.

Understøtter den video til video?

Ja. BFL siger, at en kildevideo kan styre centrale elementer, for eksempel en figur i en ny scene eller kontekst.

Kan FLUX 3 fortsætte en eksisterende video?

Ja. Fortsættelse af video og lyd er et af de annoncerede workflows.

Hvilke sprog understøtter FLUX 3?

BFL har annonceret flersproget dialog, men har ikke offentliggjort en komplet liste over understøttede sprog.

Hvad koster FLUX 3 Video API?

Standardworkflows koster 34 kreditter pr. sekund i 720p eller 58 i 1080p. Videoforlængelse koster 82 kreditter pr. sekund i 720p eller 106 i 1080p.

Konklusion

FLUX 3 Video samler flere workflows, som tidligere krævede separate modeller: tekst til video, billedanimation, videotransformation, fortsættelse, keyframe-overgange og lydgenerering.

Den vigtigste forskel er ikke kun varigheden på 20 sekunder. Det er forsøget på at generere bevægelse og lyd ud fra én fælles repræsentation og samtidig acceptere referencer på tværs af flere medier.

Læs alt, hvad vi ved om FLUX 3 lige nu, sammenlign FLUX 3 og FLUX 2, eller brug FLUX 3 på PoYo.

Kilde: Black Forest Labs' annoncering af FLUX 3