guides

FLUX 3 Video: innebygd lyd, klipp på 20 sekunder og viktige funksjoner

Poyo.ai Team
Updated
9 min read
Share:

FLUX 3 Video med innebygd lyd og multimodale referanser

FLUX 3 Video er den første FLUX-modellen fra Black Forest Labs for fullverdig generering av lyd og bilde. Den lager video og innebygd lyd samtidig, tar imot tekst, bilder og videoreferanser, og produserer klipp på opptil 20 sekunder i én generering.

FLUX 3 Video er nå tilgjengelig på PoYo gjennom fem produksjonsklare arbeidsflyter med publiserte modell-ID-er, innstillinger for forespørsler og pris per sekund. FLUX 3 API-siden på PoYo har en live generator for tekst, bilder, første og siste ramme, forlengelse av kildevideo og plasserte keyframes.

FLUX 3 Video i korte trekk

FunksjonAnnonsert støtte
Tekst til videoJa
Bilde til videoJa
BildereferanserJa
Video til videoJa
Videreføring av video og lydJa
Keyframe til videoJa
Innebygd lydJa
Flerspråklig dialogJa
Maksimal varighet per genereringOpptil 20 sekunder
SideforholdFlere formater annonsert
Animert typografiAnnonsert
Sekvenser med flere opptakAgentisk kjeding annonsert
Generelt PoYo-APITilgjengelig nå

Hva er FLUX 3 Video?

FLUX 3 Video er én anvendelse av den bredere multimodale grunnmodellen FLUX 3. I motsetning til en bildemodell som er tilpasset for å generere bilderammer, ble FLUX 3 trent på bilder, video og lyd i en felles arkitektur.

Målet er å modellere mer enn det visuelle. Video lærer modellen bevegelse og sammenhenger over tid. Lyd gir informasjon om sammenstøt, materialer, tale og hendelser i omgivelsene. Felles trening gjør at den genererte lyden kan knyttes til det som skjer på skjermen.

Det er også derfor FLUX 3 strekker seg utover innholdsproduksjon og inn i prediksjon av handlinger gjennom spesialiserte forskningsvarianter.

Offisielt lanseringsmateriale for FLUX 3 fra Black Forest Labs.

Tekst til video

Tekst til video lager et klipp direkte fra en skriftlig scenebeskrivelse. En nyttig prompt kan angi:

  • Motiv og handling
  • Sted og tidspunkt
  • Kameraplassering og bevegelse
  • Visuell stil
  • Muntlig dialog
  • Lyd fra omgivelsene
  • Timing og rekkefølge på hendelser
  • Sideforhold

FLUX 3 kan generere bilde og lyd i én omgang. Forespørsler til PoYo eksponerer prompt, varighet, oppløsning, sideforhold, lydbryter og de bilde-, kildevideo- eller keyframe-inndataene som den valgte arbeidsflyten krever.

Bilde til video

FLUX 3 støtter to bildedrevne tilnærminger.

Animasjon fra startramme

Et bilde kan definere den første rammen, og deretter skaper modellen bevegelse og lyd. Det er nyttig for å animere produktbilder, illustrasjoner, portretter eller designede scener.

Visuelle referanser

Bilder kan også fungere som referanser for identitet, motiv eller stil uten å bli selve første ramme. Det kan hjelpe med å bevare en karakter, et objekt eller en visuell retning i en ny scene.

På PoYo tar bilde til video imot ett kildebilde, generering med første og siste ramme tar imot to bilder i rekkefølge, og keyframe-generering tar imot opptil ti plasserte bilder. Sjekk den gjeldende API-dokumentasjonen for krav til opplasting og filformat.

Video til video

Video til video bruker et kildeklipp som referanse og tar med sentrale elementer inn i en annen scene eller kontekst.

Mulige bruksområder:

  • Flytte samme karakter til nye omgivelser
  • Tolke opptak på nytt i en annen visuell stil
  • Bevare bevegelsen mens scenen endres
  • Lage varianter av et eksisterende opptak
  • Bruke en fremføring som tidsreferanse

Video til video garanterer ikke at identitet eller bevegelse bevares perfekt. PoYo eksponerer for øyeblikket videreføring av kildevideo via flux-3/extend-video; dette må ikke forveksles med et eget generelt endepunkt for restyling av video.

Videreføring av video og lyd

FLUX 3 kan videreføre en inndatavideo og lyden i den. En modell for videreføring må forlenge flere ting samtidig:

  • Utseendet til motivet
  • Kamerabevegelse
  • Banene til objekter
  • Lys og omgivelser
  • Dialog eller stemningslyd
  • Rytme og timing av hendelser

Denne arbeidsflyten kan forlenge korte opptak eller lage påfølgende scener i en historie uten å starte hvert klipp fra en urelatert prompt.

Keyframe til video

Keyframe til video genererer en overgang mellom definerte visuelle øyeblikk. Start- og sluttrammer kan formidle komposisjon mer presist enn tekst alene.

Mulige bruksområder:

  • Produkttransformasjoner
  • Kameraoverganger
  • Karakterbevegelse mellom positurer
  • Før-og-etter-sekvenser
  • Animasjon av logo eller typografi
  • Previsualisering fra storyboard til bevegelse

PoYo støtter opptil ti plasserte keyframes. Hver keyframe har en bilde-URL og en rammeindeks, slik at du kan styre timingen av overgangen direkte.

Innebygd lydgenerering

Innebygd lyd er det som kjennetegner FLUX 3 Video. Modellen genererer lyd som en del av samme scene i stedet for å lene seg helt på en separat lydprosess.

Lyd i takt med hendelser

Handlinger som sammenstøt, bevegelse og mekaniske interaksjoner kan gi lyd som er timet til den synlige hendelsen. BFL sier at modellen er spesielt god til å knytte lyd til fysiske hendelser.

Lyd fra omgivelsene

En scene kan få stemningslyd som passer til sted, vær og aktivitet. Det kan gi et mer komplett førsteutkast enn stille videogenerering.

Flerspråklig dialog

Black Forest Labs oppgir flerspråklig dialog som en kjernefunksjon. Lanseringsmeldingen inneholder ingen fullstendig språkliste eller målt talenøyaktighet per språk.

Videreføring av video og lyd

Modellen kan forlenge et klipp med lyd og bilde og potensielt beholde stemningslyd, talekontekst og timing av hendelser inn i den nye delen.

Innebygd generering fjerner ikke behovet for etterarbeid. Nøyaktighet i dialog, uttale, leppesynkronisering, lydnivåer og uønskede artefakter må fortsatt kontrolleres.

Varighet og oppløsning

PoYo godtar varigheter i hele sekunder fra 5 til 20 sekunder og støtter 720p og 1080p i åtte sideforhold. Innebygd lyd kan slås på i samme forespørsel.

Standardarbeidsflytene for tekst, bilde, første og siste ramme og keyframes koster 34 kreditter per sekund i 720p eller 58 kreditter per sekund i 1080p. Videoforlengelse koster 82 kreditter per sekund i 720p eller 106 kreditter per sekund i 1080p. Bildefrekvens, kodek, genereringstid og andre driftsdetaljer bør sjekkes i den gjeldende API-dokumentasjonen for FLUX 3.

Konsistens i karakter og stil

FLUX 3 bruker visuelle referanser for å holde sentrale elementer konsistente på tvers av scener. BFL sier at referanser kan holde karakterer konsistente i sekvenser med flere scener som varer i flere minutter.

Slike lengre resultater lages ved å kjede sammen enkeltklipp, ikke ved å generere flere minutter i ett kall. Hvert opptak kan fortsatt kreve:

  • Valg av referanser
  • Kontinuitet i promptene
  • Planlegging av overganger
  • Kontroll av identitet
  • Sjekk av lydkontinuitet
  • Redigering og sammensetting

Agentisk kjeding kan automatisere deler av planleggingen, men den gjør ikke grensen på 20 sekunder per generering om til et ubegrenset sammenhengende opptak.

Typografi og animert design

BFL fremhever sterk typografi og animert design som egenskaper ved FLUX 3 Video. Dette kan passe til:

  • Animerte plakater
  • Tittelsekvenser
  • Produktlanseringer
  • Kinetisk typografi
  • Annonser i sosiale medier
  • Animasjon av grensesnitt og grafikk

Generert tekst bør fortsatt sjekkes bilde for bilde. En tittel kan se riktig ut i ett øyeblikk og bli forvrengt under bevegelse.

Tidlige evalueringsresultater

I BFLs foreløpige tester av menneskelige preferanser ble FLUX 3 sammenlignet med flere videomodeller. Selskapet oppgir preferanseandeler fra 52 % mot Seedance 2.0 og Gemini Omni Flash til 93 % mot Luma Ray 3.2.

Resultatene trenger kontekst:

  • De ble publisert av modellutvikleren selv.
  • De brukte klipp på 10 sekunder i 720p med tekst til video og lyd.
  • FLUX 3-kandidaten og testoppsettet var fortsatt under utvikling.
  • Resultater merket «opptil» kan oppsummere delmengder og ikke alle promptkategorier.
  • Uavhengig etterprøving finnes ennå ikke.

Tallene er nyttige tidlige indikasjoner, ikke bevis på at FLUX 3 er bedre i alle sammenhenger.

Praktiske bruksområder

Korte scener drevet av dialog

Innebygd tale og ansiktsuttrykk gjør FLUX 3 relevant for korte fortellende øyeblikk og flerspråklige karakterkonsepter.

Produkt- og merkevarevideoer

Referansebilder kan etablere et produkt eller en visuell identitet, mens innebygd lyd gir et mer komplett kampanjeutkast.

Video for sosiale medier

Flere sideforhold, animert tekst og kort varighet passer til annonser, kunngjøringer og vertikale formater i sosiale medier.

Previsualisering

Bilder, referansevideo og keyframes kan gjøre storyboards om til levende forhåndsvisninger for beslutninger om kamera, timing og overganger.

Varianter og videreføring av video

Team kan utforske alternative scener, forlenge et opptak eller ta med en sentral karakter inn i en annen kontekst.

Historiefortelling med flere opptak

Kjedede klipp kan gi lengre sekvenser, mens visuelle referanser bidrar til konsistens.

Tilgjengelighet for FLUX 3 Video-API-et

FLUX 3 Video er tilgjengelig nå på PoYo gjennom fem produksjonsklare modell-ID-er:

  • flux-3/text-to-video
  • flux-3/image-to-video
  • flux-3/first-last-frame-to-video
  • flux-3/extend-video
  • flux-3/keyframes-to-video

Alle fem bruker PoYos asynkrone genereringsflyt for innsending av oppgaver og henting av status. Bruk FLUX 3-modellsiden for interaktiv generering eller API-dokumentasjonen for detaljer om integrasjon.

Vanlige spørsmål

Er FLUX 3 Video tilgjengelig nå?

Ja. PoYo tilbyr fem produksjonsklare arbeidsflyter for tekst, bilder, første og siste ramme, forlengelse av kildevideo og plasserte keyframes.

Genererer FLUX 3 Video lyd?

Ja. Den genererer innebygd lyd sammen med videoen, inkludert lyd fra omgivelsene og flerspråklig dialog.

Hvor lang kan en FLUX 3-video være?

BFL sier at én generering kan vare opptil 20 sekunder. Lengre sekvenser kan settes sammen ved å kjede klipp.

Støtter FLUX 3 bilde til video?

Ja. Den kan animere en startramme eller bruke bilder som visuelle referanser.

Støtter den video til video?

Ja. BFL sier at en kildevideo kan styre sentrale elementer, for eksempel en karakter, i en ny scene eller kontekst.

Kan FLUX 3 videreføre en eksisterende video?

Ja. Videreføring av video og lyd er en av de annonserte arbeidsflytene.

Hvilke språk støtter FLUX 3?

BFL har annonsert flerspråklig dialog, men har ikke publisert en fullstendig liste over støttede språk.

Hva koster FLUX 3 Video-API-et?

Standardarbeidsflytene koster 34 kreditter per sekund i 720p eller 58 i 1080p. Videoforlengelse koster 82 kreditter per sekund i 720p eller 106 i 1080p.

Konklusjon

FLUX 3 Video samler flere arbeidsflyter som tidligere krevde separate modeller: tekst til video, bildeanimasjon, videotransformasjon, videreføring, overganger mellom keyframes og lydgenerering.

Den viktigste forskjellen er ikke bare varigheten på 20 sekunder. Det er forsøket på å generere bevegelse og lyd fra én felles representasjon, samtidig som modellen tar imot referanser fra flere medietyper.

Les alt vi vet om FLUX 3 så langt, sammenlign FLUX 3 og FLUX 2, eller bruk FLUX 3 på PoYo.

Kilde: Black Forest Labs' kunngjøring av FLUX 3

Share: