FLUX 3 Video: Audio bản địa, 20-Clip giây và tính năng chính

FLUX 3 Video là mô hình FLUX đầu tiên của Black Forest Labs cho lần tạo khán giả trực quan đầy đủ. Nó tạo ra video và âm thanh bản địa cùng nhau, chấp nhận văn bản, hình ảnh và tham chiếu video, và sản xuất clip dài đến 20 trong một lần tạo.

FLUX 3 Video hiện có trên PoYo thông qua năm dòng công việc sản xuất với các ID mô hình được công bố, kiểm soát yêu cầu và giá cả mỗi giây. FLUX 3 API trang trên PoYo cung cấp một máy phát điện trực tiếp cho văn bản, hình ảnh, khung hình đầu tiên và cuối cùng, mở rộng nguồn video và khung hình phím được định vị.

FLUX 3 Video tại một cái nhìn

Tính năng	Sự hỗ trợ được công bố
Ghiệp tin qua video	Vâng.
Hình ảnh sang video	Vâng.
Các tham chiếu hình ảnh	Vâng.
Video-to-video	Vâng.
Video và âm thanh tiếp tục	Vâng.
Keyframe-to-video	Vâng.
Âm thanh bản địa	Vâng.
Đối thoại đa ngôn ngữ	Vâng.
Thời gian tối đa cho một lần tạo	Tới 20 giây
Tỷ lệ khía cạnh	Nhiều định dạng được công bố
Phép chữ hoạt hình	Được thông báo
Dòng hình nhiều lần	Sợi dây chuyền đại lý được công bố
Tổng thống PoYo API	Có sẵn ngay bây giờ

Video FLUX 3 là gì?

FLUX 3 Video là một ứng dụng của mô hình nền tảng đa phương thức rộng hơn FLUX 3. Không giống như một mô hình hình ảnh được điều chỉnh để tạo ra khung hình, FLUX 3 được đào tạo qua hình ảnh, video và âm thanh trong một kiến trúc chia sẻ.

Mục tiêu là mô hình hóa nhiều hơn là ngoại hình. Video dạy về chuyển động và mối quan hệ thời gian. Âm thanh cung cấp thông tin về tác động, vật liệu, ngôn ngữ và các sự kiện môi trường. Việc tập hợp cho phép âm thanh được tạo ra được kết nối với những gì xảy ra trên màn hình.

Đây cũng là lý do tại sao FLUX 3 mở rộng vượt ra ngoài việc tạo nội dung vào dự đoán hành động thông qua các biến thể nghiên cứu chuyên ngành.

Truyền thông phóng phóng FLUX 3 chính thức từ Black Forest Labs.

Văn bản thành video

Văn bản thành video tạo ra một clip trực tiếp từ mô tả cảnh bằng văn bản.

• Chủ đề và hành động
• Vị trí và thời gian
• Vị trí và chuyển động của máy ảnh
• Thiết kế hình ảnh
• Đối thoại nói
• Âm thanh môi trường
• Thời gian và chuỗi các sự kiện
• Tỷ lệ khía cạnh

FLUX 3 có thể tạo ra các phần hình ảnh và âm thanh trong một lần đi qua. Các yêu cầu PoYo phơi bày prompt, thời gian, độ phân giải, tỷ lệ hình ảnh, chuyển đổi âm thanh, và các đầu vào hình ảnh, nguồn video hoặc khung khóa cần thiết cho dòng công việc được chọn.

Hình ảnh sang video

FLUX 3 hỗ trợ hai cách tiếp cận dựa trên hình ảnh.

Animation khung khởi động

Một hình ảnh có thể xác định khung hình đầu tiên, sau đó mô hình tạo ra chuyển động và âm thanh. Điều này hữu ích cho việc tạo hình ảnh sản phẩm, minh họa, chân dung hoặc cảnh thiết kế.

Nhập tham chiếu trực quan

Hình ảnh cũng có thể hoạt động như một tham chiếu về danh tính, chủ đề hoặc phong cách mà không trở thành khung hình đầu tiên theo nghĩa đen. Điều này có thể giúp bảo tồn một nhân vật, đối tượng hoặc hướng trực quan trong một cảnh mới.

Trên PoYo, hình ảnh sang video chấp nhận một hình ảnh nguồn, lần tạo khung hình đầu tiên và cuối cùng chấp nhận hai hình ảnh được sắp xếp, và lần tạo khung chìa khóa chấp nhận lên đến mười hình ảnh được định vị. Kiểm tra tài liệu API hiện tại để xem yêu cầu tải lên và định dạng tệp.

Video-to-Video

Video-to-video sử dụng clip nguồn như một tham chiếu và mang các yếu tố trung tâm vào một cảnh hoặc bối cảnh khác.

Các ứng dụng tiềm năng bao gồm:

• Chuyển cùng một nhân vật vào một môi trường mới
• Đổi giải cảnh quay theo phong cách hình ảnh khác
• Giữ chuyển động trong khi thay đổi cảnh
• Tạo các biến thể của một bức ảnh hiện có
• Sử dụng một hiệu suất như một tham chiếu thời gian

Video-to-video không đảm bảo sự xác định hoàn hảo hoặc bảo tồn chuyển động. PoYo hiện đang phơi bày nguồn video tiếp tục thông qua flux-3/extend-video; nó không nên nhầm lẫn với một điểm cuối video phục hồi chức năng chung riêng biệt.

Video và âm thanh tiếp tục

FLUX 3 có thể tiếp tục một video nhập và âm thanh của nó.

• Nhìn hình của đối tượng
• Hành động của máy ảnh
• Các quỹ đạo của vật thể
• Ánh sáng và môi trường
• Đối thoại hoặc môi trường
• Tỷ lệ và thời gian sự kiện

Phòng làm việc này có thể mở rộng các ảnh ngắn hoặc tạo ra nhịp câu chuyện liên tiếp mà không bắt đầu mỗi clip từ một prompt không liên quan.

Keyframe-to-Video

Keyframe-to-video tạo ra một chuyển đổi giữa các khoảnh khắc trực quan được xác định. Các khung bắt đầu và kết thúc có thể truyền đạt thành phần chính xác hơn văn bản một mình.

Các ứng dụng có thể bao gồm:

• Chuyển đổi sản phẩm
• Chuyển đổi máy ảnh
• Hành động nhân vật giữa các tư thế
• Các chuỗi trước và sau
• Hình ảnh hình ảnh logo hoặc kiểu chữ
• Tiếp thị trước từ storyboard đến chuyển động

PoYo hỗ trợ tối đa mười khung khóa được đặt. Mỗi khung phím cung cấp một hình ảnh URL và một chỉ số khung, cho phép điều khiển thời gian chuyển đổi trực tiếp.

Tạo ra âm thanh bản địa

Âm thanh bản địa là tính năng xác định của Video FLUX 3. Mô hình tạo ra âm thanh như một phần của cùng một cảnh chứ không phải dựa hoàn toàn vào một đường ống âm thanh riêng biệt.

Âm thanh phù hợp với sự kiện

Các hành động như tác động, chuyển động và tương tác cơ học có thể tạo ra âm thanh được định thời cho sự kiện có thể nhìn thấy. BFL nói mô hình đặc biệt mạnh mẽ trong việc liên kết âm thanh với các sự kiện vật lý.

Âm thanh môi trường

Một cảnh có thể bao gồm môi trường phù hợp với vị trí, thời tiết và hoạt động của nó. Điều đó có thể cung cấp một bản thảo đầu tiên hoàn chỉnh hơn so với việc tạo ra video im lặng.

Đối thoại đa ngôn ngữ

Black Forest Labs liệt kê các đối thoại đa ngôn ngữ như một khả năng cốt lõi. Thông báo ra mắt không cung cấp danh sách ngôn ngữ đầy đủ hoặc đo độ chính xác phát biểu cho mỗi ngôn ngữ.

Video và âm thanh tiếp tục

Mô hình có thể mở rộng đầu vào thị giác, có thể duy trì bầu không khí, bối cảnh nói chuyện và thời gian sự kiện vào phần mới.

lần tạo bản địa không loại bỏ hậu sản xuất. Sự chính xác của đối thoại, phát âm, đồng bộ hóa môi, mức độ âm thanh và các đồ tạo không mong muốn vẫn cần được xem xét.

Thời gian và độ phân giải

PoYo chấp nhận thời gian dài toàn số từ 5 qua 20 giây và hỗ trợ 720p và 1080p sản lượng trên tám tỷ lệ khía cạnh. Âm thanh bản địa có thể được bật trong cùng một yêu cầu.

Các dòng công việc văn bản tiêu chuẩn, hình ảnh, khung hình đầu tiên và cuối cùng và khung khóa chi phí 34 tín dụng mỗi giây tại 720p hoặc 58 tín dụng mỗi giây tại 1080p. Chi phí mở rộng video là 82 tín dụng mỗi giây tại 720p hoặc 106 tín dụng mỗi giây tại 1080p. Tốc độ khung, codec, thời gian tạo và các chi tiết hoạt động khác nên được kiểm tra trong các Tài liệu FLUX 3 API.

Charakter và phong cách phù hợp

FLUX 3 sử dụng tham chiếu trực quan để giúp duy trì các yếu tố trung tâm trên các cảnh. BFL nói rằng tham chiếu có thể giữ cho các nhân vật phù hợp trong các chuỗi nhiều cảnh kéo dài vài phút.

Khả năng phát ra dài hơn được tạo ra bằng cách nối các clip riêng lẻ, chứ không phải bằng cách tạo ra nhiều phút trong một cuộc gọi.

• Chọn tham chiếu
• Tiếp tục prompt
• Quá trình quy hoạch chuyển tiếp
• Kiểm tra danh tính
• Kiểm tra liên tục âm thanh
• Việc chỉnh sửa và lắp ráp

Các chuỗi đại lý có thể tự động hóa một phần của kế hoạch, nhưng nó không biến giới hạn một lần tạo giây 20 thành một lần chụp liên tục không giới hạn.

Tiêu tả và thiết kế hoạt hình

BFL nhấn mạnh kiểu chữ mạnh mẽ và thiết kế hoạt hình như khả năng Video FLUX 3. Điều này có thể hỗ trợ:

• Các tấm hình động thái
• Dòng tiêu đề
• Thông báo sản phẩm
• Phân loại động học
• Các quảng cáo xã hội
• Đáp diện và hoạt hình đồ họa

Các văn bản được tạo nên vẫn được kiểm tra khung theo khung. Một tiêu đề có thể trông đúng trong một khoảnh khắc và biến dạng trong chuyển động.

Kết quả đánh giá sớm

Trong các thử nghiệm ưu tiên con người sơ bộ của BFL, FLUX 3 đã được so sánh với một số mô hình video. Công ty báo cáo tỷ lệ ưu đãi từ 52% so với Seedance 2.0 và Gemini Omni Flash đến 93% so với Luma Ray 3.2.

Những kết quả này đòi hỏi bối cảnh:

• Chúng được xuất bản bởi nhà phát triển mô hình.
• Họ sử dụng các clip văn bản-video 10-II, 720p với âm thanh.
• Các ứng cử viên và vòng đánh giá FLUX 3 vẫn đang được phát triển.
• Kết quả đến có thể tóm tắt các bộ phụ thay vì mỗi loại prompt.
• Việc sinh sản độc lập vẫn chưa có.

Các con số là bằng chứng sớm hữu ích, không phải bằng chứng rằng FLUX 3 là tốt hơn phổ biến.

Các trường hợp sử dụng thực tế

Các cảnh ngắn được thúc đẩy bởi cuộc đối thoại

Phát biểu bản địa và biểu hiện khuôn mặt làm cho FLUX 3 có liên quan đến những khoảnh khắc kể chuyện ngắn và các khái niệm nhân vật đa ngôn ngữ.

Video sản phẩm và thương hiệu

Hình ảnh tham chiếu có thể thiết lập một sản phẩm hoặc danh tính trực quan, trong khi âm thanh bản địa tạo ra một bản thảo chiến dịch hoàn chỉnh hơn.

Video xã hội

Tỷ lệ hình ảnh đa dạng, văn bản hoạt hình và thời gian ngắn phù hợp với quảng cáo, thông báo và các định dạng xã hội dọc.

Pre-visualization

Hình ảnh, video tham chiếu và khung khóa có thể biến các storyboard thành cảnh xem trước chuyển động cho máy ảnh, thời gian và quyết định chuyển đổi.

Sự thay đổi và tiếp tục video

Các nhóm có thể khám phá các cảnh thay thế, mở rộng một bức ảnh hoặc mang một nhân vật trung tâm vào một bối cảnh khác.

Nói chuyện nhiều lần

Các clip chuỗi có thể tạo ra các chuỗi dài hơn trong khi các tham chiếu trực quan giúp duy trì sự nhất quán.

FLUX 3 Video API

FLUX 3 Video hiện có trên PoYo thông qua năm ID mô hình sản xuất:

• flux-3/text-to-video
• flux-3/image-to-video
• flux-3/first-last-frame-to-video
• flux-3/extend-video
• flux-3/keyframes-to-video

Tất cả năm sử dụng dòng phát sinh không đồng bộ của PoYo để gửi nhiệm vụ và lấy lại trạng thái. Trang mô hình FLUX 3 cho việc tạo tương tác hoặc Tài liệu API cho các chi tiết tích hợp.

Những câu hỏi thường được hỏi

Video FLUX 3 có sẵn không?

Có. PoYo cung cấp năm dòng công việc sản xuất cho văn bản, hình ảnh, khung hình đầu tiên và cuối cùng, mở rộng nguồn video và khung hình phím định vị.

Video FLUX 3 tạo âm thanh?

Có. Nó tạo ra âm thanh bản địa cùng với video, bao gồm âm thanh môi trường và đối thoại đa ngôn ngữ.

Một video FLUX 3 có thể dài bao lâu?

BFL nói một lần tạo có thể kéo dài tới 20 giây. Các chuỗi dài hơn có thể được lắp ráp bằng cách sợi dây dây.

FLUX 3 hỗ trợ hình ảnh sang video?

Có. Nó có thể tạo ra một khung khởi đầu hoặc sử dụng hình ảnh như tham chiếu trực quan.

Nó hỗ trợ video-to-video?

Có. BFL nói rằng một video nguồn có thể hướng dẫn các yếu tố trung tâm như một nhân vật trong một cảnh hoặc bối cảnh mới.

FLUX 3 có thể tiếp tục một video hiện có không?

Có. Video và âm thanh tiếp tục là một trong những dòng công việc được công bố.

FLUX 3 hỗ trợ ngôn ngữ nào?

BFL đã công bố đối thoại đa ngôn ngữ nhưng chưa công bố danh sách đầy đủ các ngôn ngữ được hỗ trợ.

Chi phí FLUX 3 Video API là bao nhiêu?

Các dòng công việc tiêu chuẩn có giá 34 tín dụng mỗi giây tại 720p hoặc 58 tại 1080p. Chi phí mở rộng video là 82 tín dụng mỗi giây tại 720p hoặc 106 tại 1080p.

Kết luận

FLUX 3 Video kết hợp một số dòng công việc trước đây yêu cầu các mô hình riêng biệt: văn bản-video, hoạt hình hình ảnh, chuyển đổi video, tiếp tục, chuyển đổi khung phím và tạo âm thanh.

Sự khác biệt quan trọng nhất của nó không chỉ là thời gian 20-tứ. Đó là nỗ lực tạo ra chuyển động và âm thanh từ một đại diện chung, trong khi chấp nhận tham chiếu trên nhiều phương tiện truyền thông.

Đọc tất cả mọi thứ hiện nay được biết về FLUX 3, so sánh FLUX 3 và FLUX 2, hoặc sử dụng FLUX 3 trên PoYo.

Nguồn: Black Forest Labs FLUX 3 thông báo