AI参照から動画生成API

テキストプロンプトと参照素材から新しい動画を生成する API です。参照素材は主に画像で、モデルによっては動画や音声にも対応します。参照は被写体、外見、スタイルを決め、プロンプトは何が起こるかを記述します。出力は既存クリップの編集ではなく、新たに生成されたシーンです。

画像から動画は指定した画像を動かすもので、通常その画像を最初のフレーム（場合によっては最後のフレームも）として使います。参照から動画は画像を人物・物体・スタイルの手がかりとして使い、モデルが新しい構図を作ります。冒頭のフレームを画像と完全に一致させたい場合は画像から動画を選んでください。

動画から動画は既存の映像をソースとして編集・延長・変換します。参照から動画における参照動画は、新しく生成するクリップの動き、カメラワーク、スタイルを導くためだけに使われます。既存クリップの内容を保ったまま変更したい場合は、動画から動画のエンドポイントを比較してください。

上限はモデルによって数枚からマルチモーダル対応エンドポイントの数十枚まで異なり、参照動画を含めると画像の上限が下がるモデルもあります。アップロード処理を作る前に、枚数、形式、ファイルサイズ、アスペクト比の要件をドキュメントで確認してください。

一部のモデルはマルチモーダル参照に対応しており、画像で外見、動画で動きやカメラワーク、音声で音やリズムを指定できます。参照画像のみ対応のモデルもあります。音声を送る場合に視覚的な参照を 1 つ以上必須とするエンドポイントや、参照動画の長さ・解像度を制限するエンドポイントもあります。

通常、同じリクエストでは併用できません。多くのモデルでフレーム画像フィールドと参照フィールドは排他的で、両方を送るとリクエストが拒否されます。送信前に、フレーム主導（画像から動画）か参照主導かを決めてください。

被写体がはっきり写り、照明が十分で、遮るものが少ない参照を使い、変えたくない要素に絞ってください。プロンプトで参照した被写体を明示し、矛盾する参照を避け、まず短いクリップで試します。一貫性はモデルによって異なるため、自社の素材で結果を比較してください。

影響する場合があります。参照を使うと最大解像度が制限される、アスペクト比が自動（adaptive）になる、長さが固定されるといったモデルがあります。検証エラーを避けるため、選んだエンドポイントのパラメータ規則を確認してください。

主に出力の長さと解像度です。モデルによっては、参照動画の長さが課金対象になる、追加の参照画像で費用が増える、無料枠を超えた参照トークンが課金されるといった場合があります。選んだモデルの最新の料金説明を確認してください。

モデル、プロンプト、参照素材の URL を PoYo の生成エンドポイントに送信し、返された task_id を保存して、ステータス照会または webhook で結果を取得します。参照 URL が公開アクセス可能であることを確認し、比較のため参照セットをジョブ記録と一緒に保存してください。