Poyo giúp các nhóm nhỏ bổ sung kiểm tra AI miễn phí vào quy trình kiểm duyệt nội dung do người dùng tạo. Bạn có thể đánh giá bài đăng, bình luận, đánh giá sản phẩm và hình ảnh tĩnh bằng Omni Moderation, sau đó kết nối kết quả phân loại với các quy tắc và công cụ đánh giá mà nhóm của bạn đang sử dụng.
Lợi ích thực tiễn là có một bước đánh giá ban đầu có thể lặp lại: gửi nội dung được hỗ trợ, theo dõi tác vụ và lấy kết quả hoặc nhận callback hoàn tất. Nhóm của bạn có thể sử dụng các tín hiệu đó để phân luồng những nội dung gửi thông thường và tập trung sự chú ý của con người vào các trường hợp cần thêm ngữ cảnh.
Hãy bắt đầu với một bề mặt nội dung và một vài ví dụ đại diện trong Playground. Hướng dẫn này cho thấy cách kết nối các lượt kiểm tra miễn phí với quy tắc xuất bản, quyền sở hữu việc đánh giá và cơ chế khiếu nại của người dùng để quy trình vẫn dễ quản lý khi số lượng nội dung gửi tăng lên.
Xác định nội dung và các quyết định mà bạn thực sự chịu trách nhiệm
Nội dung do người dùng tạo, hay UGC, bao gồm tài liệu mà mọi người gửi đến sản phẩm của bạn: bài đăng cộng đồng, bình luận, ảnh hồ sơ, đánh giá sản phẩm, mô tả tin đăng và hình ảnh tải lên.
Hãy lập danh mục trước khi chọn công cụ. Ghi lại nơi mỗi loại nội dung xuất hiện, ai có thể xem, người dùng có thể chỉnh sửa hay không và thời gian cần đưa ra quyết định. Một ảnh hồ sơ được hiển thị công khai có hệ quả khác với bản nháp chỉ hiển thị cho tác giả.
Chọn một bề mặt được kết nối với các công cụ xuất bản hiện có của bạn, chẳng hạn như bình luận trong ứng dụng hoặc ảnh sản phẩm trong cửa hàng. Đánh giá của Poyo có thể cung cấp dữ liệu cho các công cụ đó thông qua kết quả tác vụ và callback. Nếu bạn cũng quản lý nội dung trên một nền tảng xã hội bên ngoài, hãy sử dụng tích hợp được nền tảng đó ủy quyền để thực hiện các hành động xuất bản hoặc gỡ bỏ.
Trust & Safety Professional Association mô tả việc kiểm duyệt là thực thi chính sách được hỗ trợ bởi các hoạt động vận hành, sản phẩm và kỹ thuật. Trong một công ty nhỏ, một người có thể đảm nhiệm nhiều chức năng trong số đó. Tuy nhiên, trách nhiệm vẫn cần được xác định rõ ràng.
Bắt đầu với các quy tắc mà mọi người có thể áp dụng
Một quy tắc hữu ích nêu rõ hành vi, giải thích phạm vi áp dụng và chỉ ra hành động có thể thực hiện. “Giữ cho cộng đồng an toàn” thể hiện một ý định nhưng không giải quyết được một nội dung gửi khó xử lý.
Ví dụ, một sản phẩm có thể viết: “Các lời đe dọa trực tiếp đối với thành viên khác bị cấm. Đưa các trường hợp nghi ngờ là đe dọa vào diện đánh giá và sử dụng quy trình chuyển cấp khi trường hợp đó cần được xử lý khẩn cấp.” Điều này cung cấp cho người đánh giá một danh mục cụ thể và hành động tiếp theo.
Hãy giữ các quy tắc của bạn tách biệt với tên danh mục của mô hình. Một cộng đồng có thể cấm quảng cáo lặp đi lặp lại dù mô hình nội dung có hại không trả về cờ liên quan. Một cộng đồng tin tức có thể cho phép thảo luận phù hợp về bạo lực nhưng vẫn cấm các lời đe dọa đối với thành viên.
| Lĩnh vực chính sách | Điều nhóm cần xác định |
|---|---|
| Đe dọa và quấy rối | Hành vi nào vi phạm quy tắc và cách chuyển cấp |
| Nội dung tình dục hoặc đồ họa | Nội dung nào được phép trên từng bề mặt và nội dung nào cần đánh giá |
| Spam và quảng cáo | Giới hạn về việc lặp lại, liên kết hoặc quảng bá |
| Thông tin cá nhân | Nội dung nào có thể được chia sẻ và cách xử lý việc lộ thông tin |
| Bài đăng lạc đề hoặc chất lượng thấp | Có nên chuyển, chỉnh sửa, từ chối hay yêu cầu thay đổi hay không |
| Quyết định bị tranh chấp | Ai đánh giá khiếu nại và nội dung nào có thể được sửa |
Kết hợp các danh mục nội dung có hại được Omni Moderation hỗ trợ với những kiểm tra mà sản phẩm của bạn đã sử dụng. Spam, thông tin cá nhân, chất lượng bài đăng và khiếu nại cần có các quy tắc, công cụ hoặc người đánh giá riêng. Việc gán từng yêu cầu vào một bước cụ thể giúp toàn bộ quy trình dễ vận hành hơn.
Hãy kiểm thử cách diễn đạt bằng một vài ví dụ. Nếu hai người đánh giá áp dụng cùng một quy tắc theo những cách khác nhau, hãy làm rõ quy tắc trước khi kỳ vọng tự động hóa đưa ra quyết định nhất quán.
Chọn thời điểm kiểm duyệt diễn ra
Thời điểm ảnh hưởng đến cả mức độ phơi nhiễm và trải nghiệm người dùng. Hãy xác định thời điểm cho từng bề mặt nội dung.
Trước khi xuất bản. Nội dung vẫn ở trạng thái chờ cho đến khi các bước kiểm tra và quyết định bắt buộc hoàn tất. Điều này phù hợp với việc tải ảnh công khai hoặc các nội dung gửi mà nhóm của bạn đã chọn kiểm tra trước. Điều đó cũng có nghĩa là người dùng cần được giải thích rõ về thời gian chờ.
Sau khi xuất bản. Nội dung được hiển thị và đánh giá sau đó. Điều này giảm trở ngại ban đầu, nhưng tài liệu bị cấm có thể hiển thị cho đến khi có hành động xử lý. Nhóm cần một quy trình phản hồi phù hợp với mức độ phơi nhiễm đó.
Sau khi có báo cáo. Người dùng đánh dấu một vấn đề và nhóm tiến hành đánh giá. Báo cáo giúp phát hiện ngữ cảnh và các trường hợp bị bỏ sót, nhưng nội dung không được ai báo cáo có thể vẫn chưa được kiểm tra.
Một quy trình kết hợp có thể mang tính thực tiễn. Ví dụ, một nhóm có thể giữ ảnh hồ sơ mới ở trạng thái chờ trước khi xuất bản, thực hiện kiểm tra văn bản thông thường đối với bình luận và tiếp tục tiếp nhận báo cáo cho cả hai loại. Đây là ví dụ về thiết kế, không phải chính sách áp dụng chung.
Để xem tổng quan về các phương pháp này, hãy xem hướng dẫn kiểm duyệt nội dung của Stream. Hãy lựa chọn dựa trên đối tượng người dùng, mức độ phơi nhiễm và năng lực đánh giá hiện có.
Thêm các lượt kiểm tra AI miễn phí vào quy trình kiểm duyệt
Poyo đưa văn bản đa ngôn ngữ, một hình ảnh HTTPS duy nhất hoặc văn bản kèm hình ảnh vào một luồng tác vụ. Văn bản hỗ trợ 13 danh mục rủi ro; hình ảnh hỗ trợ sáu danh mục bao gồm nội dung tình dục, bạo lực và tự gây hại. Cờ và điểm số của các danh mục cung cấp cho ứng dụng của bạn các tín hiệu để quyết định nội dung nào có thể tuân theo các quy tắc thông thường và nội dung nào cần được xem xét kỹ hơn.
Sử dụng tổng quan danh mục để ánh xạ từng lượt kiểm tra với đầu vào được hỗ trợ. Các danh mục chỉ dành cho văn bản không đánh giá các điểm ảnh trong hình ảnh. Nếu chính sách của bạn phụ thuộc vào văn bản được nhúng, âm thanh, video hoặc tính năng phát hiện chuyên biệt, hãy thêm một bước xử lý riêng phù hợp. Để biết phạm vi hỗ trợ hình ảnh và cách xử lý an toàn cho trẻ em, hãy xem hướng dẫn kiểm duyệt hình ảnh.
Một trình tự thực tiễn là:
- Tiếp nhận nội dung gửi và ghi lại ID nội dung cùng phiên bản.
- Xác thực văn bản hoặc tệp được tải lên cho ứng dụng của bạn.
- Gửi văn bản hoặc hình ảnh được hỗ trợ đến Poyo và lưu ID tác vụ.
- Lấy kết quả đã hoàn tất hoặc nhận callback hoàn tất.
- Áp dụng các quy tắc của bạn để xuất bản, yêu cầu thay đổi, từ chối hoặc chỉ định người đánh giá.
- Ghi lại quyết định và duy trì các tuyến xử lý cho báo cáo và khiếu nại.
ID tác vụ của Poyo giúp liên kết một lượt đánh giá với đúng nội dung gửi. Callback hoàn tất có thể kích hoạt bước tiếp theo trong ứng dụng hoặc công cụ đánh giá hiện có của bạn. Cấu hình cách mỗi tín hiệu được hỗ trợ ánh xạ tới một hành động kinh doanh, với việc đánh giá của con người dành cho các trường hợp cần ngữ cảnh hoặc chuyển cấp.
Thiết kế hàng đợi đánh giá mà một nhóm nhỏ có thể quản lý
Đối với một thử nghiệm ban đầu, công cụ hỗ trợ hoặc quản trị hiện có của bạn có thể đã đủ dùng. Mỗi mục đánh giá nên chứa đủ thông tin để đưa ra quyết định mà không buộc người đánh giá phải tái dựng toàn bộ lịch sử.
Hãy bao gồm nội dung hoặc một cách có kiểm soát để kiểm tra nội dung, ngữ cảnh liên quan, quy tắc đang được xem xét, các tín hiệu của mô hình, phiên bản nội dung và bất kỳ quyết định trước đó nào cần thiết cho trường hợp này. Thêm người phụ trách và trạng thái để hai người không vô tình xử lý cùng một mục.
Các trạng thái hữu ích bao gồm chờ đánh giá, chờ người đánh giá, đã phê duyệt, đã từ chối và đã khiếu nại. Hãy theo dõi riêng lỗi kỹ thuật, vì “không thể lấy hình ảnh” không phải là một phát hiện về chính sách nội dung.
Đặt mức độ ưu tiên mà nhóm của bạn thực sự có thể duy trì. Một lời đe dọa có khả năng nghiêm trọng có thể cần được chuyển cấp nhanh hơn một quyết định không chắc chắn về ảnh sản phẩm. Xác định người chịu trách nhiệm và người thay thế, bao gồm cả việc gì xảy ra khi không ai trong số họ có mặt.
Nếu hàng đợi tăng lên, hãy tìm nguyên nhân trước khi nới lỏng các quy tắc. Có thể có quá nhiều cờ sai, chính sách chưa rõ ràng, tác vụ trùng lặp hoặc một kiểu nội dung mới mà nhóm chưa đánh giá. Mỗi vấn đề cần một cách xử lý khác nhau.
Duy trì ngữ cảnh và khiếu nại trong quy trình
Một tín hiệu tự động có thể bỏ sót lý do người dùng đăng nội dung nào đó. Lời quấy rối được trích dẫn trong một khiếu nại, cuộc thảo luận về một sự kiện lịch sử và một hình ảnh mang tính giáo dục có thể cần ngữ cảnh mà lượt đánh giá ban đầu không thể nắm bắt đầy đủ.
Khi người đánh giá đưa ra quyết định, hãy ghi lại quy tắc được áp dụng và lý do. Ngôn ngữ hướng đến người dùng nên giải thích điều gì sẽ xảy ra tiếp theo mà không tái hiện không cần thiết tài liệu có hại.
Ví dụ, “Hình ảnh của bạn đang chờ được đánh giá vì có thể thuộc phạm vi quy tắc về nội dung đồ họa của chúng tôi” mô tả một trường hợp đang chờ xử lý. “Chúng tôi không thể hoàn tất lượt kiểm tra hình ảnh; nội dung tải lên của bạn vẫn ở chế độ riêng tư trong khi chúng tôi thử lại” mô tả một sự chậm trễ kỹ thuật. Những thông báo này tạo ra những kỳ vọng khác nhau và hữu ích cho người dùng.
Hãy cung cấp một tuyến khiếu nại cho các quyết định có thể bị phản đối. Người đánh giá nên thấy phiên bản nội dung ban đầu, ngữ cảnh liên quan, lý do trước đó và bất kỳ lời giải thích mới nào từ người dùng. Khi nhân sự cho phép, hãy sử dụng một người khác để xử lý khiếu nại.
Nếu quyết định thay đổi, hãy cập nhật trạng thái hiển thị thực tế của nội dung và mọi hành động liên quan đến tài khoản. Gửi lời xin lỗi mà không khôi phục trạng thái dự kiến sẽ khiến lỗi nền tảng vẫn chưa được giải quyết.
Tránh coi lời chỉ trích là vi phạm chính sách chỉ vì nó mang tính tiêu cực. Đối với các sản phẩm dựa trên đánh giá, bài thảo luận về kiểm duyệt UGC của Bazaarvoice nhấn mạnh tầm quan trọng của việc giữ lại phản hồi tiêu cực chân thực. Các quy tắc của bạn nên phân biệt trải nghiệm khách hàng mang tính phê bình với hành vi lạm dụng hoặc việc tiết lộ thông tin bị cấm.
Đo lường chất lượng quyết định và khối lượng công việc
Hãy bắt đầu với những chỉ số giúp nhóm tìm ra một vấn đề cụ thể. Khối lượng nội dung gửi, số lượt đánh giá đã hoàn tất, lỗi xử lý và lượt đánh giá đang chờ mô tả khối lượng công việc. Thời gian xử lý đánh giá và kết quả khiếu nại mô tả trải nghiệm của người dùng.
Để đánh giá việc phân loại và phân luồng, hãy gắn nhãn một mẫu được phép với các quyết định mà chính sách của bạn kỳ vọng. Bao gồm cả nội dung bị quy trình đánh dấu và nội dung được cho phép đi qua; chỉ xem hàng đợi đánh giá không thể cho thấy mọi thứ mà hệ thống đã bỏ sót.
Ví dụ sau hoàn toàn mang tính minh họa và không mô tả hiệu suất chuẩn của Poyo hoặc mô hình:
| Trong một mẫu gồm 100 nội dung gửi | Gửi đi đánh giá | Không gửi đi đánh giá | Tổng |
|---|---|---|---|
| Vi phạm chính sách do con người gắn nhãn | 18 | 2 | 20 |
| Nội dung được chấp nhận do con người gắn nhãn | 8 | 72 | 80 |
| Tổng | 26 | 74 | 100 |
Ba câu hỏi khác nhau có thể được đặt ra từ mẫu này:
- Tỷ lệ mục trong hàng đợi thực sự vi phạm quy tắc là bao nhiêu? Trong 26 mục bị đánh dấu, 18 mục được gắn nhãn là vi phạm: 18 ÷ 26, khoảng 69,2%.
- Có bao nhiêu vi phạm đã được phát hiện? Trong 20 vi phạm được gắn nhãn, 18 mục đã được đánh dấu: 18 ÷ 20, hay 90%.
- Nội dung được chấp nhận bị đánh dấu thường xuyên đến mức nào? Trong 80 mục được chấp nhận, tám mục bị đánh dấu: 8 ÷ 80, hay 10%.
Các chỉ số này có các mẫu số khác nhau và không nên được gộp thành một tuyên bố duy nhất về “độ chính xác”. Hãy xem xét các trường hợp đứng sau chúng. Nhóm có thể cần một quy tắc rõ ràng hơn, một ngưỡng khác, một lượt kiểm tra riêng hoặc thêm ngữ cảnh.
Đối với vận hành thực tế, cũng hãy đếm số khiếu nại chưa được giải quyết và xem xét tuổi của mục đang chờ lâu nhất. Số lượt hoàn tất cao có thể che giấu một nhóm nhỏ các trường hợp đã chờ quá lâu.
Kết nối Poyo với các công cụ đánh giá hiện có
Sử dụng Omni Moderation Playground để kiểm thử các ngôn ngữ và kiểu hình ảnh mà người dùng của bạn gửi. Đăng nhập, chạy các ví dụ đại diện và kiểm tra kết quả danh mục mà không cần viết mã hoặc tự tạo khóa API.
Đối với các yêu cầu từ ứng dụng, hãy sử dụng khóa API Poyo của bạn với POST /api/generate/submit, model: "omni-moderation-latest" và các trường văn bản hoặc hình ảnh được hỗ trợ. Cùng một thông tin xác thực Poyo có thể truy cập các mô hình được hỗ trợ khác, giúp bạn duy trì việc tạo nội dung và kiểm duyệt trong một tích hợp nền tảng chung.
Lưu ID tác vụ được trả về cùng với phiên bản nội dung. Truy vấn trạng thái của nó hoặc cấu hình một callback_url tùy chọn để một lượt đánh giá hoàn tất có thể cập nhật bản ghi trong hệ thống xuất bản, công cụ hỗ trợ hoặc hàng đợi đánh giá của bạn. Ứng dụng của bạn xác định việc phân luồng và thực hiện hành động xuất bản hoặc chỉ định người đánh giá.
Đọc data.output.results từ các phản hồi trạng thái và output.results từ các callback, vốn bỏ qua lớp bao bên ngoài. Một tác vụ finished chứa một lượt đánh giá đã hoàn tất; flagged: true xác định rủi ro nội dung tiềm ẩn. Giữ các tác vụ failed trên một tuyến thử lại kỹ thuật riêng biệt.
Đánh giá lại các bài đăng đã chỉnh sửa và hình ảnh được thay thế dưới dạng các phiên bản mới. Làm cho việc xử lý callback an toàn khi lặp lại để các lần gửi trùng lặp cập nhật cùng một bản ghi đánh giá và đảm bảo kết quả cũ hơn không thể ghi đè quyết định mới hơn.
Thiết lập quyền truy cập và quy tắc lưu giữ cho các bản ghi đánh giá, đồng thời kiểm tra các điều khoản dịch vụ áp dụng trước khi gửi dữ liệu sản xuất. Tài liệu tham khảo Poyo giải thích hợp đồng yêu cầu; hướng dẫn webhook trình bày về tích hợp callback.
Câu hỏi thường gặp
Kiểm duyệt nội dung do người dùng tạo là gì?
Kiểm duyệt nội dung do người dùng tạo là quá trình đánh giá tài liệu do người dùng gửi, chẳng hạn như bài đăng, bình luận, đánh giá và ảnh, dựa trên các quy tắc của một nền tảng. Quy trình này bao gồm phát hiện các vi phạm tiềm ẩn, quyết định cách xử lý chúng và giải quyết các báo cáo hoặc khiếu nại.
Poyo giúp một nhóm kiểm duyệt nhỏ như thế nào?
Poyo cung cấp lượt đánh giá ban đầu miễn phí đối với văn bản và hình ảnh được hỗ trợ, cùng với các tín hiệu danh mục, theo dõi tác vụ và callback hoàn tất tùy chọn. Nhóm của bạn có thể sử dụng các kết quả đó để phân luồng nội dung gửi qua các công cụ hiện có và tập trung người đánh giá vào những trường hợp cần ngữ cảnh. Hãy bắt đầu với một bề mặt nội dung và các quy tắc mà nhóm của bạn có thể áp dụng nhất quán.
Những bước kiểm duyệt nào chúng tôi có thể tự động hóa?
Ứng dụng của bạn có thể gửi nội dung, lưu ID tác vụ, lấy các lượt đánh giá, xử lý callback và cập nhật bản ghi đánh giá. Sau khi kiểm thử các quy tắc trên những ví dụ của chính bạn, bạn cũng có thể tự động hóa các hành động xuất bản hoặc phân luồng đã được xác định. Poyo cung cấp kết quả đánh giá và xử lý tác vụ; nhóm của bạn cấu hình các quy tắc kinh doanh, chuyển cấp và khiếu nại.
Làm thế nào để giảm việc đánh giá thủ công lặp đi lặp lại?
Duy trì một bản ghi cho mỗi phiên bản nội dung, liên kết bản ghi đó với ID tác vụ Poyo và làm cho việc xử lý callback an toàn khi lặp lại. Điều này giúp ứng dụng của bạn tránh tạo các mục đánh giá trùng lặp. Sử dụng các ví dụ đã gắn nhãn để điều chỉnh việc phân luồng danh mục và xem xét lý do nội dung được chấp nhận lại vào hàng đợi, đồng thời tiếp tục kiểm tra các vi phạm bị bỏ sót. Đo lường tác động trước khi mở rộng tự động hóa.
Poyo có thể kết nối với các công cụ đánh giá hiện có của chúng tôi không?
Sử dụng truy vấn trạng thái hoặc callback hoàn tất để gửi các kết quả phân loại đến hệ thống xuất bản, công cụ hỗ trợ hoặc hàng đợi đánh giá của ứng dụng. Bao gồm ID nội dung, phiên bản, các tín hiệu danh mục và quy tắc cần áp dụng trong bản ghi. Tích hợp của bạn xử lý việc chỉ định người đánh giá và các hành động xuất bản, để nhóm có thể tiếp tục sử dụng các công cụ đã thiết lập.
Làm thế nào để bắt đầu miễn phí?
Chọn một bề mặt, xác định các quy tắc liên quan và kiểm thử văn bản hoặc hình ảnh đại diện trong Poyo Playground. Không cần mã hoặc tự tạo khóa API cho thử nghiệm này. Các lượt gọi Omni Moderation không tốn tín dụng; khi việc phân luồng đã sẵn sàng, hãy kết nối API với quy trình hiện có và lập kế hoạch riêng cho việc lưu trữ cũng như thời gian của người đánh giá.
Sử dụng phần giới thiệu về kiểm duyệt nội dung bằng AI để diễn giải các tín hiệu và hướng dẫn chi phí để lập kế hoạch công việc dựa trên các lượt gọi miễn phí.