Poyo cung cấp cho các nhóm quyền truy cập miễn phí vào tính năng kiểm duyệt nội dung bằng AI dành cho văn bản, hình ảnh và văn bản kèm hình ảnh. Bạn có thể dùng thử omni-moderation-latest của OpenAI trong Playground, kiểm tra các cờ danh mục và điểm số, rồi sử dụng cùng một tài khoản Poyo để đưa tính năng kiểm duyệt vào quy trình làm việc với mô hình của mình.
Đối với một cộng đồng, điều đó có thể là kiểm tra bài đăng trước khi xuất bản. Đối với một sản phẩm hình ảnh, đó có thể là đánh giá nội dung tải lên cùng với chú thích. Đối với một trợ lý AI, đó có thể là xem xét tin nhắn hoặc câu trả lời được tạo ra trước khi quyết định cách hiển thị.
Hãy bắt đầu với một vài ví dụ tiêu biểu trong Playground. Khi sẵn sàng tích hợp, Poyo cung cấp ID tác vụ, tính năng theo dõi trạng thái và callback hoàn tất tùy chọn để ứng dụng của bạn có thể kết nối kết quả với các quy tắc xuất bản và xem xét.
Kiểm duyệt nội dung bằng AI là gì
Kiểm duyệt nội dung bằng AI sử dụng phân loại tự động để giúp các nhóm đánh giá nội dung người dùng gửi dựa trên các quy tắc của nền tảng. Tính năng này có thể xác định các rủi ro tiềm ẩn trong văn bản và hình ảnh, cung cấp cho người đánh giá và ứng dụng một tập hợp tín hiệu nhất quán để xử lý.
Với Poyo, các tín hiệu đó bao gồm cờ rủi ro tổng thể, cờ của từng danh mục, điểm độ tin cậy và các loại đầu vào được sử dụng cho từng danh mục. Một trang thảo luận có thể dùng chúng để xác định các bình luận cần chú ý, trong khi một sản phẩm ảnh có thể xem xét hình ảnh trước khi đưa chúng vào thư viện công khai.
Sản phẩm của bạn có thể ánh xạ kết quả tới các hành động như xuất bản, yêu cầu chỉnh sửa hoặc chuyển cho người đánh giá. Điều này cung cấp một điểm bắt đầu rõ ràng cho nhóm, đồng thời vẫn giữ quyền kiểm soát các quy tắc riêng của sản phẩm.
Mục đích ở đây là đánh giá nội dung về khả năng gây hại. Việc xác định một bài viết hoặc hình ảnh có được tạo bởi AI hay không là một nhiệm vụ riêng.
Omni Moderation có thể phát hiện gì
Tích hợp Omni Moderation của Poyo hỗ trợ văn bản đa ngôn ngữ, một hình ảnh hoặc văn bản đi kèm một hình ảnh. Văn bản bao gồm 13 danh mục và sáu danh mục cũng hỗ trợ hình ảnh. Điều này cung cấp cho các nhóm một tập trường dùng chung để xem xét bình luận, chú thích và hình ảnh tải lên.
| Nhóm rủi ro | Danh mục phản hồi | Văn bản | Hình ảnh |
|---|---|---|---|
| Quấy rối | harassment, harassment/threatening | Được hỗ trợ | Chỉ văn bản |
| Thù ghét | hate, hate/threatening | Được hỗ trợ | Chỉ văn bản |
| Hướng dẫn bất hợp pháp | illicit, illicit/violent | Được hỗ trợ | Chỉ văn bản |
| Tự gây hại | self-harm, self-harm/intent, self-harm/instructions | Được hỗ trợ | Được hỗ trợ |
| Nội dung tình dục | sexual | Được hỗ trợ | Được hỗ trợ |
| Nội dung tình dục liên quan đến trẻ vị thành niên | sexual/minors | Được hỗ trợ | Chỉ văn bản |
| Bạo lực | violence, violence/graphic | Được hỗ trợ | Được hỗ trợ |
Sử dụng category_applied_input_types để xem mỗi kết quả bao phủ những đầu vào nào. Các danh mục được đánh dấu Chỉ văn bản chỉ áp dụng cho văn bản đã cung cấp; điểm bằng 0 trong một danh mục hình ảnh không được hỗ trợ có nghĩa là danh mục đó không được đánh giá cho hình ảnh ấy.
Bạn có thể mở rộng việc xem xét này bằng các quy tắc riêng của thị trường hoặc cộng đồng, chẳng hạn như hạn chế quảng cáo và kiểm tra chất lượng. Khi một quy trình phụ thuộc vào văn bản được chèn trong hình ảnh, bản chép lời âm thanh hoặc các khung hình video được chọn, hãy chuẩn bị riêng tài liệu đó và gửi văn bản hoặc hình ảnh được hỗ trợ để đánh giá. Kết quả chỉ bao phủ các đầu vào đã cung cấp.
Danh mục sexual/minors chỉ dành cho văn bản. Không được gửi tài liệu lạm dụng tình dục trẻ em đã biết hoặc bị nghi ngờ tới Moderation API của OpenAI; hãy làm theo hướng dẫn chính thức về an toàn trẻ em trong trường hợp đó.
Xem tài liệu Omni Moderation của Poyo để biết định dạng yêu cầu và các trường được hỗ trợ.
Kiểm duyệt AI phù hợp ở đâu trong sản phẩm của bạn
Nơi tốt nhất để đưa tính năng kiểm duyệt vào là một thời điểm cụ thể khi nội dung người dùng thay đổi khả năng hiển thị hoặc được chuyển đến người khác.
Đối với một cộng đồng, thời điểm đó có thể là khi đăng một bình luận. Đối với dịch vụ chia sẻ hình ảnh, đó có thể là khi thêm ảnh vào thư viện công khai. Đối với chatbot, đó có thể là khi hiển thị câu trả lời của trợ lý. Trong mỗi trường hợp, hãy quyết định liệu người dùng phải chờ kết quả hay nội dung có thể xuất hiện trong khi quá trình xem xét tiếp tục.
| Tình huống sản phẩm | Nội dung cần đánh giá | Quyết định cần xác định |
|---|---|---|
| Diễn đàn thảo luận | Một bài đăng hoặc bình luận | Xuất bản, yêu cầu chỉnh sửa hoặc giữ lại để xem xét |
| Thư viện hình ảnh công khai | Một hình ảnh và chú thích | Hiển thị công khai, hạn chế khả năng hiển thị hoặc giữ lại |
| Trợ lý AI | Tin nhắn người dùng hoặc câu trả lời được tạo ra | Tiếp tục tương tác, xem xét hoặc áp dụng chính sách phản hồi của sản phẩm |
| Thị trường trực tuyến | Mô tả và một hình ảnh sản phẩm | Cho phép đăng sản phẩm hoặc yêu cầu kiểm tra thêm |
Tin nhắn riêng tư cũng đòi hỏi một quyết định có cân nhắc về quyền riêng tư. Hãy xác định sản phẩm của bạn xem xét những gì, ai có thể thấy nội dung và người dùng được thông báo điều gì trước khi đưa quy trình kiểm duyệt vào sử dụng.
Poyo đưa hoạt động đánh giá và theo dõi tác vụ vào cùng một quy trình API. Kết nối kết quả với các quy tắc xuất bản và công cụ đánh giá hiện có để mỗi nội dung gửi lên tuân theo quy trình bạn xác định.
Thử kiểm duyệt văn bản và hình ảnh miễn phí với Poyo
Bạn có thể bắt đầu tại trang mô hình Omni Moderation. Playground cung cấp biểu mẫu, các yêu cầu mẫu và kết quả có cấu trúc. Hãy đăng nhập để chạy thử; bạn không cần tự tạo hoặc dán khóa API vào Playground. Cần có khóa API khi ứng dụng của bạn gọi API.
Bắt đầu với nội dung văn bản
Đăng nhập, mở Playground và nhập văn bản bạn muốn xem xét vào trường Prompt. Ở đây, Prompt có nghĩa là nội dung được đánh giá. Đây không phải là chỉ dẫn yêu cầu mô hình hoạt động như một công cụ kiểm duyệt.
Trước tiên, hãy sử dụng một ví dụ ngắn và thông thường, chẳng hạn như:
Cuối tuần này tôi dự định đi bộ đường dài trong công viên với bạn bè. Có ai muốn giới thiệu một tuyến đường phù hợp cho người mới bắt đầu không?
Chọn Run để yêu cầu một lần đánh giá mới. Ban đầu, trang hiển thị các ví dụ đã ghi nhận; việc thay đổi đầu vào không tự động thay thế kết quả của ví dụ. Hãy chờ yêu cầu mới hoàn tất trước khi diễn giải đầu ra.
Đọc cờ rủi ro tổng thể, từng danh mục, các điểm số và các loại đầu vào đã áp dụng. Sau đó, hãy thử một vài ví dụ được phép từ nội dung thực tế của bạn, bao gồm các ngôn ngữ và tình huống mà sản phẩm thường xuyên gặp.
Thêm hình ảnh
Để chỉ đánh giá hình ảnh, hãy xóa văn bản và thêm một hình ảnh trong Image Urls, sử dụng đầu vào hình ảnh có sẵn. Bạn cũng có thể giữ chú thích trong Prompt để xem xét văn bản và hình ảnh cùng nhau.
Ở cấp API, Poyo chấp nhận một URL hình ảnh HTTPS. Trước tiên, nút tải lên của Playground tải tệp cục bộ đã chọn lên, sau đó cung cấp URL của tệp cho yêu cầu xem xét. Với nhiều hình ảnh, hãy gửi một tác vụ riêng cho từng hình ảnh và liên kết kết quả với bài đăng gốc.
Nếu sử dụng URL riêng, URL đó phải có thể truy cập được bởi dịch vụ kiểm duyệt. Một liên kết chỉ mở sau khi bạn đăng nhập vào bảng điều khiển riêng tư sẽ không cung cấp chính hình ảnh đó.
Chuyển từ thử nghiệm sang tích hợp
Khi các ví dụ đã hữu ích, hãy tạo khóa API Poyo và tích hợp từ máy chủ của bạn. Không để khóa trong mã trình duyệt công khai.
Một yêu cầu văn bản và hình ảnh có dạng như sau:
{
"model": "omni-moderation-latest",
"input": {
"prompt": "A view from this morning's hike.",
"image_urls": [
"https://your-image-host.example/photo.jpg"
]
}
}
Thay URL mẫu bằng một URL hình ảnh HTTPS thực tế có thể truy cập. Yêu cầu được gửi tới POST https://api.poyo.ai/api/generate/submit cùng với khóa API Poyo của bạn. Yêu cầu này trả về một ID tác vụ; hãy lấy kết quả đã hoàn tất thông qua endpoint trạng thái hoặc cấu hình callback hoàn tất. Đây là quy trình không đồng bộ, vì vậy việc nhận được ID tác vụ không đồng nghĩa với việc đã nhận được kết quả đánh giá hoàn tất.
Cách đọc kết quả
Có hai câu hỏi riêng biệt: quá trình xử lý đã hoàn tất chưa và mô hình đã phát hiện điều gì?
| Trường | Ý nghĩa | Cách sử dụng |
|---|---|---|
status | Cho biết tác vụ đang chờ, đang chạy, đã hoàn tất hay thất bại | Quyết định liệu đã có kết quả đánh giá hay chưa |
flagged | Cho biết mô hình có gắn cờ rủi ro tiềm ẩn hay không | Bắt đầu quyết định xem xét hoặc định tuyến |
categories | Cờ đúng hoặc sai cho từng danh mục | Xác định loại rủi ro tiềm ẩn |
category_scores | Tín hiệu độ tin cậy cho từng danh mục, trong khoảng từ 0 đến 1 | So sánh các trường hợp và đánh giá quy tắc trên các ví dụ của riêng bạn |
category_applied_input_types | Các loại đầu vào mà kết quả của một danh mục áp dụng | Kiểm tra liệu văn bản, hình ảnh hay cả hai đã đóng góp |
Đối với endpoint trạng thái, kết quả danh mục nằm trong data.output.results. Một tác vụ có status: "finished" và flagged: true đã hoàn tất thành công và xác định được rủi ro tiềm ẩn. Tác vụ thất bại chưa cung cấp một kết quả đánh giá hoàn tất có thể sử dụng.
Không nên trình bày điểm số 0.8 như một sự đảm bảo 80% rằng nội dung vi phạm chính sách của bạn. Điểm số cao có thể cho thấy mô hình có độ tin cậy cao trong một danh mục, nhưng người đánh giá vẫn cần xem xét ngữ cảnh và các quy tắc của bạn.
Ví dụ, một tài khoản mô tả một sự việc bạo lực có thể kích hoạt danh mục bạo lực ngay cả khi tài khoản đó phù hợp với một cuộc thảo luận tin tức. Một bài đăng quảng bá có vẻ bình thường có thể không nhận cờ nội dung gây hại nhưng vẫn vi phạm quy tắc không quảng cáo của cộng đồng. Cả hai ví dụ cho thấy việc phát hiện danh mục và thực thi chính sách cần những quyết định riêng biệt.
Xây dựng quy tắc xem xét từ các ví dụ của riêng bạn
Sử dụng Playground để xây dựng một tập đánh giá nhỏ gồm các nội dung gửi thông thường, các vi phạm rõ ràng và những trường hợp cần ngữ cảnh. Bao gồm các ngôn ngữ, kiểu hình ảnh, chú thích và nội dung trích dẫn thường gặp. Các ví dụ tổng hợp hoặc được cho phép phù hợp là điểm khởi đầu hữu ích.
Ghi lại quyết định mà nhóm của bạn mong muốn cho từng mục, sau đó so sánh quyết định đó với các tín hiệu danh mục. Điều này giúp bạn chọn những nội dung gửi có thể đi theo quy trình thông thường và những nội dung nên chuyển đến người đánh giá.
Hãy kiểm tra cả quy trình hoàn chỉnh: tác vụ đang chờ nên có trạng thái chờ hiển thị rõ ràng, sự cố xử lý nên có đường dẫn thử lại và người đánh giá nên có thể sửa quyết định. ID tác vụ và các trường trạng thái của Poyo cung cấp cách để bạn theo dõi quy trình đó.
Chọn ngưỡng riêng cho từng danh mục bằng các ví dụ này và đánh giá lại chúng khi các mẫu nội dung hoặc mô hình nền tảng thay đổi.
Câu hỏi thường gặp
Kiểm duyệt nội dung bằng AI là gì?
Kiểm duyệt nội dung bằng AI sử dụng máy học để đánh giá văn bản và hình ảnh về nội dung có khả năng gây hại. Tính năng này trả về các tín hiệu giúp nền tảng áp dụng quy tắc, quyết định nội dung nào có thể được xuất bản và xác định những nội dung gửi cần người đánh giá xem xét.
Kiểm duyệt nội dung bằng AI trên Poyo có miễn phí không?
Các lệnh gọi Omni Moderation của Poyo không tốn tín dụng đối với văn bản và hình ảnh được hỗ trợ. Bạn có thể thử nghiệm việc phân loại mà không phát sinh phí kiểm duyệt theo từng lệnh gọi, sau đó sử dụng cùng mô hình trong ứng dụng của mình. Các mô hình khác, bộ nhớ lưu trữ và hoạt động xem xét của con người có chi phí riêng; hướng dẫn kiểm duyệt miễn phí giải thích cách lập kế hoạch cho các chi phí này.
Làm thế nào để thử mà không cần viết mã?
Đăng nhập vào Poyo Playground, nhập văn bản, thêm một hình ảnh hoặc kết hợp cả hai, rồi chọn Run. Kiểm tra kết quả danh mục của tác vụ mới sau khi tác vụ hoàn tất. Playground xử lý xác thực, vì vậy bạn không cần tự tạo hoặc nhập khóa API để thử các ví dụ.
Poyo trả về những kết quả nào?
Các lượt đánh giá đã hoàn tất bao gồm giá trị flagged tổng thể, cờ của từng danh mục, điểm số danh mục và category_applied_input_types. Các trường này cùng nhau cho biết những rủi ro tiềm ẩn đã được phát hiện và những loại đầu vào nào đã cung cấp được đánh giá. Hãy sử dụng chúng để cấu hình quy tắc xem xét và diễn giải điểm số như các tín hiệu của mô hình thay vì các quyết định chính sách được đảm bảo.
Làm thế nào để kết nối tính năng kiểm duyệt với sản phẩm hiện có?
Gửi nội dung được hỗ trợ bằng khóa API Poyo, lưu ID tác vụ cùng với phiên bản nội dung, rồi truy vấn trạng thái hoặc cấu hình callback hoàn tất. Sau đó, ứng dụng của bạn có thể kết nối kết quả với việc xuất bản, yêu cầu thay đổi hoặc công cụ xem xét của con người hiện có. Hãy bắt đầu với một bề mặt nội dung và kiểm tra việc định tuyến trước khi bổ sung thêm.
Hãy bắt đầu với Poyo Omni Moderation Playground và so sánh kết quả với quyết định của nhóm bạn. Để tìm hiểu quy trình chuyên sâu hơn, hãy đọc hướng dẫn kiểm duyệt hình ảnh, giải thích về quyền truy cập miễn phí và chi phí hoặc hướng dẫn kiểm duyệt UGC cho nhóm nhỏ.