API kiểm duyệt hình ảnh miễn phí của Poyo giúp bạn đánh giá ảnh hồ sơ, ảnh cộng đồng và hình ảnh sản phẩm trước khi quyết định cách xuất bản chúng. Với Omni Moderation, bạn có thể đánh giá riêng một hình ảnh hoặc đưa chú thích của hình ảnh vào cùng một yêu cầu.
Bắt đầu trong Playground để xem các cờ danh mục và điểm số cho những ví dụ của riêng bạn. Sau đó, sử dụng tính năng theo dõi tác vụ của Poyo và callback hoàn tất tùy chọn để kết nối các kết quả đó với quy tắc xuất bản và công cụ đánh giá của ứng dụng.
Hướng dẫn này giải thích các danh mục hình ảnh được hỗ trợ, cách chuẩn bị nội dung tải lên và cách xây dựng một quy trình rõ ràng từ lúc gửi đến khi xuất bản hoặc chuyển sang đánh giá thêm. Bạn có thể áp dụng quy trình này trước cho một nơi tải lên, sau đó mở rộng khi đội ngũ có thêm kinh nghiệm.
Kiểm duyệt hình ảnh nên làm gì cho sản phẩm của bạn
Hãy bắt đầu bằng việc xác định nơi hình ảnh xuất hiện và ai sẽ nhìn thấy chúng.
Ảnh đại diện có thể hiển thị bên cạnh mọi bình luận. Ảnh cộng đồng có thể xuất hiện trong bảng tin công khai. Hình ảnh sản phẩm có thể nằm cạnh một tin đăng cần các bước kiểm tra vượt ra ngoài an toàn trực quan. Mỗi vị trí có thể yêu cầu các quy tắc khác nhau và mức độ thận trọng khác nhau trước khi xuất bản.
Ví dụ, một sản phẩm có thể chấp nhận một hình ảnh lịch sử không mang tính đồ họa trong một cuộc thảo luận nhưng từ chối hình ảnh đó khi dùng làm ảnh hồ sơ. Hình ảnh không thay đổi; vị trí hiển thị và các quy tắc của sản phẩm mới là thứ thay đổi.
Hãy ghi rõ điều gì sẽ xảy ra với ba kết quả: hình ảnh đáp ứng các quy tắc, ý nghĩa của hình ảnh không rõ ràng hoặc hình ảnh rõ ràng vi phạm một quy tắc. Đồng thời xác định kết quả thứ tư cho trường hợp không thể thực hiện đánh giá. Không nên âm thầm coi lỗi xử lý là sự chấp thuận.
Omni Moderation kiểm tra gì trong hình ảnh
Poyo cung cấp quyền truy cập không tốn tín dụng vào sáu danh mục rủi ro hình ảnh, bao gồm nội dung tình dục, bạo lực và tự gây hại. Mỗi yêu cầu chấp nhận một URL hình ảnh HTTPS; hãy thêm chú thích để đánh giá văn bản được cung cấp cùng với hình ảnh.
| Danh mục | Tín hiệu liên quan đến |
|---|---|
sexual | Nội dung tình dục |
violence | Bạo lực |
violence/graphic | Bạo lực mang tính đồ họa |
self-harm | Nội dung tự gây hại |
self-harm/intent | Dấu hiệu về ý định tự gây hại |
self-harm/instructions | Hướng dẫn tự gây hại |
Sử dụng category_applied_input_types để xem kết quả áp dụng cho hình ảnh, văn bản được cung cấp hay cả hai. Đầu vào văn bản hỗ trợ 13 danh mục, bao gồm nội dung thù ghét, quấy rối, hướng dẫn bất hợp pháp và sexual/minors. Các danh mục chỉ dành cho văn bản này đánh giá văn bản được cung cấp; chúng không phải là kiểm tra hình ảnh. Đối với yêu cầu chỉ có hình ảnh, điểm số bằng không và danh sách loại đầu vào trống đối với một danh mục không được hỗ trợ có nghĩa là danh mục đó không được đánh giá.
Đối với các quy tắc phụ thuộc vào từ ngữ được chèn trong hình ảnh, hãy thêm một bước trích xuất văn bản phù hợp và đánh giá văn bản được trích xuất. Chất lượng sản phẩm, hình mờ, thông tin cá nhân và các quy tắc về vật phẩm bị cấm cũng cần những bước kiểm tra riêng. Nội dung tải lên dạng video và hoạt ảnh cần một quy trình chọn khung hình riêng, còn âm thanh cần được xử lý riêng; việc đánh giá các khung hình đã chọn không đánh giá toàn bộ video hoặc phần âm thanh của video.
Omni Moderation không phải là công cụ phát hiện CSAM chuyên dụng và sexual/minors chỉ hỗ trợ văn bản. Không gửi CSAM đã biết hoặc bị nghi ngờ tới API Moderation của OpenAI; hãy tuân theo hướng dẫn chính thức về an toàn trẻ em.
Tài liệu API Poyo mô tả các đầu vào và trường phản hồi được hỗ trợ. Hãy sử dụng phạm vi hỗ trợ này để lựa chọn các bước kiểm tra cho từng vị trí tải lên.
Chuẩn bị nội dung tải lên trước khi yêu cầu đánh giá
Ứng dụng của bạn cần một tài nguyên hình ảnh mà dịch vụ kiểm duyệt có thể truy xuất. Một tên tệp như photo.jpg trên thiết bị của người dùng là chưa đủ, và một trang web hiển thị hình ảnh không nhất thiết là URL của chính hình ảnh đó.
Giữ các nội dung tải lên mới bên ngoài bảng tin công khai trong khi chờ đánh giá. Khu vực tạm lưu này có thể nằm trong hệ thống lưu trữ hiện có của bạn. Áp dụng các biện pháp kiểm soát quyền truy cập và chọn một phương thức phân phối được hỗ trợ cho phép dịch vụ truy xuất tệp cụ thể mà không làm lộ toàn bộ tài khoản lưu trữ của bạn.
Nếu phương thức đó sử dụng URL HTTPS tạm thời, hãy cho phép đủ thời gian cho việc xử lý trong hàng đợi và các lần thử lại. Không đưa thông tin xác thực phiên vào URL và tránh ghi các liên kết hình ảnh riêng tư vào nhật ký có phạm vi truy cập rộng.
Xác thực nội dung tải lên trước khi gửi để đánh giá nội dung. Kiểm tra xem đó có phải là loại tệp dự kiến và có thể giải mã được hay không, đồng thời áp dụng giới hạn kích thước tệp và kích thước hình ảnh phù hợp với ứng dụng và nhà cung cấp của bạn. Đây là các bước kiểm tra nội dung tải lên; điểm kiểm duyệt không xác thực mức độ an toàn kỹ thuật của tệp.
Ghi lại ID nội dung và phiên bản ổn định. Liên kết ID tác vụ với phiên bản đó để kết quả không vô tình phê duyệt một hình ảnh mà người dùng đã thay thế trong khi quá trình đánh giá đang diễn ra.
Quy trình thực tế từ tải lên đến xuất bản
Một quy trình đơn giản có thể hoạt động mà không cần một đội ngũ kiểm duyệt lớn, miễn là các trạng thái và trách nhiệm được xác định rõ ràng.
| Giai đoạn | Điều gì xảy ra | Người dùng nhìn thấy gì |
|---|---|---|
| Đã tải lên | Lưu tệp và chỉ định phiên bản nội dung | Đã nhận nội dung tải lên |
| Chờ đánh giá | Gửi hình ảnh và ghi lại ID tác vụ | Đang chờ đánh giá |
| Đánh giá hoàn tất | Đọc trạng thái tác vụ, các danh mục được hỗ trợ và điểm số | Đánh giá tiếp tục cho đến khi sản phẩm đưa ra quyết định |
| Đã phê duyệt | Áp dụng các quy tắc của sản phẩm và hiển thị hình ảnh | Đã xuất bản |
| Đánh giá bởi con người | Giữ hình ảnh lại và phân công người đánh giá | Đang chờ quyết định |
| Từ chối hoặc không thể xử lý | Giải thích quy tắc hoặc vấn đề kỹ thuật và đưa ra bước tiếp theo phù hợp | Lý do để chỉnh sửa, thử lại hoặc khiếu nại |
Poyo cung cấp đánh giá theo danh mục và kết quả tác vụ kết nối các giai đoạn này. Sử dụng ID tác vụ hoặc callback hoàn tất để cập nhật nội dung tải lên tương ứng trong ứng dụng của bạn, sau đó áp dụng các quy tắc để xuất bản, giữ lại cho người đánh giá hoặc yêu cầu thay đổi. Hệ thống xuất bản và công cụ đánh giá hiện có của bạn sẽ thực hiện các hành động đó.
Hãy giữ cho thông báo hướng tới người dùng cụ thể. “Ảnh của bạn đang chờ được đánh giá” hữu ích khi quá trình xử lý chưa hoàn tất. “Chúng tôi không thể xử lý nội dung tải lên này; vui lòng thử lại” mô tả một vấn đề kỹ thuật. Không nên thay thế hai thông báo này bằng “Hình ảnh của bạn vi phạm quy tắc của chúng tôi” trừ khi có quyết định về nội dung thực sự hỗ trợ thông báo đó.
Gửi hình ảnh qua Poyo
Bạn có thể kiểm tra một hình ảnh trong Omni Moderation Playground mà không cần viết mã hoặc tự tạo API key. Đăng nhập, xóa văn bản nếu bạn muốn chỉ kiểm tra hình ảnh, thêm một hình ảnh và chọn Run. Ban đầu, hãy sử dụng kết quả tác vụ mới thay vì ví dụ đã được ghi lại đang hiển thị.
Đối với tích hợp, hãy gửi từ máy chủ của bạn bằng API key Poyo:
curl -X POST https://api.poyo.ai/api/generate/submit \
-H "Authorization: Bearer YOUR_POYO_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "omni-moderation-latest",
"input": {
"image_urls": ["https://your-image-host.example/upload.jpg"]
}
}'
Thay miền ví dụ bằng một URL HTTPS có thể truy cập trỏ tới tệp hình ảnh. Để thử nghiệm không cần mã với một tệp cục bộ, hãy tải hình ảnh lên qua Playground; đối với các yêu cầu API, cung cấp URL được lưu trữ của hình ảnh trong input.image_urls.
Để bao gồm chú thích, hãy thêm "prompt": "The caption being reviewed" bên trong input. Đối với nhiều hình ảnh trong một bài đăng, hãy gửi các tác vụ riêng biệt và ghi lại kết quả nào thuộc về từng hình ảnh. Việc phê duyệt một hình ảnh không nên tự động phê duyệt các hình ảnh còn lại.
Phản hồi gửi lên trả về một task_id. Truy xuất trạng thái bằng:
curl https://api.poyo.ai/api/generate/status/YOUR_TASK_ID \
-H "Authorization: Bearer YOUR_POYO_API_KEY"
Một tác vụ bắt đầu với not_started, chạy không đồng bộ và kết thúc với finished hoặc failed. Đối với các tác vụ đã hoàn tất, hãy đọc kết quả trong data.output.results.
Bạn cũng có thể cung cấp callback_url ở cấp cao nhất trong yêu cầu gửi. Phần thân callback là đối tượng dữ liệu trạng thái không có lớp bao ngoài, vì vậy kết quả nằm trong output.results. Xác minh callback bằng hướng dẫn webhook của Poyo và đảm bảo trình xử lý của bạn có thể chịu được việc nhận cùng một lần gửi nhiều lần.
Chuyển kết quả đánh giá thành quyết định
Bắt đầu bằng một quy tắc bằng ngôn ngữ đơn giản cho từng danh mục quan trọng đối với vị trí hiển thị. Sau đó đánh giá xem tín hiệu của mô hình có giúp áp dụng quy tắc đó hay không.
Một hình ảnh rõ ràng vi phạm chính sách của bạn có thể bị từ chối sau khi thực hiện các bước kiểm tra phù hợp. Một hình ảnh chấp nhận được có thể được xuất bản sau khi tất cả các bước kiểm tra bắt buộc hoàn tất. Các trường hợp không rõ ràng nên tiếp tục được đánh giá thay vì bị buộc phải đưa ra quyết định chỉ vì bộ hẹn giờ đã hết hạn.
Điểm số cao là lý do để xem xét danh mục tương ứng. Đó không phải là sự bảo đảm theo phần trăm rằng có vi phạm chính sách. Cách diễn giải có thể phụ thuộc vào việc hình ảnh là tác phẩm nghệ thuật, minh họa y khoa, ảnh tin tức hay ảnh người dùng thông thường.
Sử dụng các ví dụ đã được gắn nhãn của riêng bạn để lựa chọn ngưỡng định tuyến. Kiểm tra cả những hình ảnh được chấp nhận nhưng bị giữ lại không cần thiết và những hình ảnh bị cấm nhưng bị quy trình bỏ sót. Nếu thay đổi một ngưỡng, hãy so sánh kết quả với chính sách trước đó trước khi mở rộng các hành động tự động.
Ghi lại đủ thông tin để giải thích các quyết định: phiên bản nội dung, ID tác vụ, tín hiệu danh mục, quy tắc được áp dụng, kết quả đánh giá của con người nếu có và thời điểm quyết định. Thiết lập chính sách lưu giữ và kiểm soát quyền truy cập cho bản ghi này thay vì lưu trữ mọi hình ảnh gốc vô thời hạn.
Xử lý lỗi, chỉnh sửa và khiếu nại
Không thể truy xuất hình ảnh. Kiểm tra để đảm bảo URL trỏ trực tiếp đến hình ảnh, vẫn còn hiệu lực và có thể truy cập mà không cần phiên người dùng. Giữ nội dung tải lên ở trạng thái chờ trong khi bạn xử lý vấn đề kỹ thuật.
Yêu cầu vẫn đang chạy khi trang ngừng chờ. Giữ lại ID tác vụ và kiểm tra trạng thái của nó. Việc gửi bản sao ngay lập tức có thể khiến hai tác vụ cùng đánh giá một phiên bản. Sử dụng số lần thử lại có giới hạn và một phương án dự phòng được xác định rõ khi quá trình xử lý vẫn không khả dụng.
Người dùng thay thế tệp hoặc thay đổi chú thích. Coi thay đổi đó là một phiên bản mới cần được đánh giá. Một phê duyệt cũ không nên cho phép nội dung mới. Kiểm tra lại các đầu vào liên quan và đảm bảo callback đến muộn cho phiên bản cũ không thể xuất bản phiên bản mới.
Người dùng phản đối quyết định. Cung cấp một quy trình khiếu nại với đủ ngữ cảnh để một người có thể đánh giá nội dung và quy tắc đã áp dụng. Khiếu nại thành công nên cập nhật trạng thái xuất bản và để lại một bản sửa đổi có thể kiểm tra.
Một bài đăng chứa nhiều hình ảnh. Hãy xác định rõ quy tắc xuất bản: chẳng hạn, chờ cho đến khi mọi tác vụ hình ảnh bắt buộc hoàn tất hoặc cho phép người dùng xóa hình ảnh cần được đánh giá. Không coi một kết quả thành công là việc đánh giá toàn bộ bài đăng.
Câu hỏi thường gặp
Kiểm duyệt hình ảnh là gì?
Kiểm duyệt hình ảnh là quá trình đánh giá hình ảnh theo các quy tắc nội dung của một nền tảng. Quy trình này có thể kết hợp kiểm tra tự động với phán đoán của con người để quyết định liệu nội dung tải lên có nên được xuất bản, giữ lại để đánh giá hay từ chối.
Kiểm duyệt hình ảnh trên Poyo có miễn phí không?
Các lượt gọi hình ảnh Omni Moderation của Poyo không tốn tín dụng. Bạn có thể kiểm tra một đánh giá hình ảnh được hỗ trợ trong Playground và sau đó sử dụng nó trong ứng dụng của mình mà không phải trả phí kiểm duyệt cho mỗi lượt gọi. Hãy lập kế hoạch riêng cho việc lưu trữ hình ảnh, phân phối và mọi hoạt động đánh giá của con người; hướng dẫn truy cập miễn phí giải thích sự khác biệt này.
Tôi có thể đánh giá hình ảnh và chú thích cùng nhau không?
Có. Thêm cả input.image_urls với một URL hình ảnh HTTPS và input.prompt với chú thích vào cùng một yêu cầu. Trong Playground, cung cấp hình ảnh và văn bản cùng nhau. Đọc category_applied_input_types để xem tín hiệu nào áp dụng cho văn bản được cung cấp, hình ảnh hoặc cả hai.
Tôi có thể kiểm tra những rủi ro hình ảnh nào?
Omni Moderation hỗ trợ sáu danh mục hình ảnh bao gồm nội dung tình dục, bạo lực, bạo lực mang tính đồ họa, tự gây hại, ý định tự gây hại và hướng dẫn tự gây hại. Poyo trả về các cờ và điểm số theo danh mục mà bạn có thể sử dụng để định tuyến nội dung tải lên theo các quy tắc của mình. Phần khả năng hỗ trợ ở trên giải thích phạm vi đầu vào và việc xử lý bổ sung cho các yêu cầu khác.
Làm thế nào để tôi nhận kết quả hình ảnh đã hoàn tất?
Lưu ID tác vụ Poyo được trả về và truy vấn trạng thái của nó, hoặc cung cấp callback_url để nhận thông báo hoàn tất. Đọc data.output.results trong phản hồi trạng thái hoặc output.results trong callback. Đối chiếu kết quả với phiên bản hình ảnh đã tải lên, sau đó để ứng dụng của bạn xuất bản hình ảnh hoặc gửi hình ảnh đến công cụ đánh giá hiện có.
Làm thế nào để kiểm tra kiểm duyệt hình ảnh mà không cần mã?
Đăng nhập vào Poyo Playground, thêm một hình ảnh, tùy chọn nhập chú thích và chọn Run. Để kiểm tra chỉ hình ảnh, hãy xóa trường văn bản. Kiểm tra tác vụ mới hoàn tất và thử các ví dụ được phép mang tính đại diện trước khi cấu hình quy tắc xuất bản tự động.
Hãy thử một hình ảnh trong Poyo Playground, sau đó kết nối kết quả với một quy tắc xuất bản mà đội ngũ của bạn có thể giải thích. Giới thiệu về kiểm duyệt AI giải thích các trường phản hồi, còn hướng dẫn kiểm duyệt UGC trình bày quy trình rộng hơn của đội ngũ.