API AI typu referencje na wideo

Generuje nowe wideo na podstawie promptu tekstowego i materiałów referencyjnych, takich jak obrazy, a w niektórych modelach także wideo lub audio. Referencje określają obiekty, wygląd lub styl, a prompt opisuje, co się dzieje. Wynikiem jest nowo wygenerowana scena, a nie edycja istniejącego klipu.

Obraz na wideo animuje konkretny obraz, zwykle jako pierwszą klatkę (a czasem ostatnią), więc klip zaczyna się od tego zdjęcia. Referencje na wideo używają obrazów jako wskazówek dotyczących tożsamości, obiektów lub stylu i pozwalają modelowi zbudować nową kompozycję. Wybierz obraz na wideo, gdy klatka otwierająca musi dokładnie pasować.

Wideo na wideo bierze istniejące nagranie jako źródło do edycji, wydłużenia lub przekształcenia. W referencjach na wideo wideo referencyjne tylko kieruje elementami takimi jak ruch, kamera lub styl w nowo wygenerowanym klipie. Jeśli chcesz zmienić istniejący klip, zachowując jego treść, porównaj raczej endpointy wideo na wideo.

Limity zależą od modelu, od kilku obrazów po kilkadziesiąt w endpointach multimodalnych, a niektóre modele obniżają limit obrazów, gdy dołączono wideo referencyjne. Zanim zbudujesz proces przesyłania, sprawdź w dokumentacji endpointu liczbę, formaty, rozmiar plików i wymagania dotyczące proporcji obrazu.

Niektóre modele przyjmują referencje multimodalne: obrazy dla wyglądu, wideo dla ruchu lub kamery i audio dla dźwięku lub rytmu. Inne przyjmują tylko obrazy referencyjne. Niektóre endpointy wymagają co najmniej jednej referencji wizualnej, gdy podano audio, i ograniczają czas trwania oraz rozdzielczość wideo referencyjnego.

Zwykle nie w tym samym żądaniu. W wielu modelach pola obrazów klatek i pola referencji wykluczają się wzajemnie, a żądanie jest odrzucane, jeśli wyślesz oba. Przed wysłaniem zdecyduj, czy zadanie jest sterowane klatkami (obraz na wideo), czy referencjami.

Używaj wyraźnych, dobrze oświetlonych referencji pokazujących obiekt bez silnych zasłonięć i skup zestaw na tym, co ma pozostać niezmienne. Odwołuj się do obiektów wprost w prompcie, unikaj sprzecznych referencji i najpierw przetestuj krótki klip. Spójność nadal zależy od modelu, więc porównuj wyniki na własnych materiałach.

Mogą. Niektóre modele ograniczają maksymalną rozdzielczość, domyślnie stosują adaptacyjne proporcje obrazu lub ustalają czas trwania, gdy używane są referencje. Przeczytaj zasady parametrów dla wybranego endpointu, aby żądanie nie zostało odrzucone na etapie walidacji.

Główne czynniki to czas trwania i rozdzielczość wyniku. W zależności od modelu wideo referencyjne mogą być rozliczane według czasu trwania, dodatkowe obrazy referencyjne mogą zwiększać koszt, a tokeny referencji ponad darmowy limit mogą być płatne. Sprawdź aktualny opis cen dla wybranego modelu.

Wyślij model, prompt i adresy URL referencji do udokumentowanego endpointu generowania PoYo, zapisz zwrócony task_id i pobierz wynik przez zapytania o status lub webhook. Upewnij się, że adresy URL referencji są publicznie dostępne, i przechowuj zestaw referencji razem z rekordem zadania do porównań.