API генерации видео по референсам с ИИ

Это API, которое создаёт новое видео из текстового промпта и референсных материалов — изображений, а в некоторых моделях также видео или аудио. Референсы задают объекты, внешний вид или стиль, а промпт описывает происходящее. Результат — заново сгенерированная сцена, а не редактирование существующего клипа.

«Изображение в видео» анимирует конкретное изображение, обычно используя его как первый кадр (иногда и как последний), поэтому клип начинается с этой картинки. Генерация по референсам использует изображения как ориентир для идентичности, объектов или стиля и позволяет модели построить новую композицию. Выбирайте «изображение в видео», если первый кадр должен точно совпадать.

«Видео в видео» берёт существующий ролик как исходник для редактирования, продления или преобразования. При генерации по референсам референсное видео лишь направляет движение, камеру или стиль нового клипа. Если нужно изменить существующий ролик, сохранив его содержание, сравните эндпоинты «видео в видео».

Лимиты зависят от модели — от нескольких изображений до десятков на мультимодальных эндпоинтах, причём некоторые модели снижают лимит изображений при наличии референсного видео. Прежде чем строить процесс загрузки, проверьте в документации количество, форматы, размер файлов и соотношение сторон.

Некоторые модели принимают мультимодальные референсы: изображения для внешнего вида, видео для движения или камеры и аудио для звука или ритма. Другие принимают только изображения. Отдельные эндпоинты требуют хотя бы один визуальный референс при отправке аудио и ограничивают длительность и разрешение референсных видео.

Обычно нет — в одном запросе это не допускается. Во многих моделях поля кадров и поля референсов взаимоисключающие, и запрос отклоняется, если отправлены оба. Перед отправкой определите, строится ли задача на кадрах («изображение в видео») или на референсах.

Используйте чёткие, хорошо освещённые референсы, где объект виден без сильных перекрытий, и оставляйте в наборе только то, что должно остаться неизменным. Явно упоминайте объекты в промпте, избегайте противоречащих друг другу референсов и сначала тестируйте короткий клип. Согласованность различается между моделями, поэтому сравнивайте результаты на собственных материалах.

Могут. Некоторые модели при использовании референсов ограничивают максимальное разрешение, по умолчанию применяют адаптивное соотношение сторон или фиксируют длительность. Изучите правила параметров выбранного эндпоинта, чтобы запрос прошёл валидацию.

Основные факторы — длительность и разрешение результата. В зависимости от модели референсные видео могут тарифицироваться по длительности, дополнительные референсные изображения — увеличивать стоимость, а референсные токены сверх бесплатного лимита — оплачиваться отдельно. Сверьтесь с актуальным описанием цен выбранной модели.

Отправьте модель, промпт и URL референсов на документированный эндпоинт генерации PoYo, сохраните полученный task_id и получайте результат через запросы статуса или webhook. Убедитесь, что URL референсов публично доступны, и храните набор референсов вместе с записью задачи для сравнения.