Poyo membantu tim kecil menambahkan pemeriksaan AI gratis ke moderasi konten buatan pengguna. Anda dapat menilai postingan, komentar, ulasan, dan gambar statis dengan Omni Moderation, lalu menghubungkan hasil kategori dengan aturan dan alat peninjauan yang sudah digunakan tim Anda.
Manfaat praktisnya adalah penilaian awal yang dapat diulang: kirim konten yang didukung, lacak tugas, lalu ambil hasilnya atau terima callback penyelesaian. Tim Anda dapat menggunakan sinyal tersebut untuk mengarahkan kiriman rutin dan memusatkan perhatian manusia pada kasus yang membutuhkan konteks.
Mulailah dengan satu permukaan konten dan beberapa contoh yang representatif di Playground. Panduan ini menunjukkan cara menghubungkan pemeriksaan gratis dengan aturan publikasi, penanggung jawab peninjauan, dan banding pengguna agar proses tetap mudah dikelola seiring bertambahnya jumlah kiriman.
Identifikasi konten dan keputusan yang benar-benar menjadi tanggung jawab Anda
Konten buatan pengguna, atau UGC, mencakup materi yang dikirim orang ke produk Anda: postingan komunitas, komentar, foto profil, ulasan produk, deskripsi listing, dan gambar yang diunggah.
Buat inventaris sebelum memilih alat. Catat di mana setiap jenis muncul, siapa yang dapat melihatnya, apakah pengguna dapat mengeditnya, dan seberapa cepat keputusan perlu dibuat. Gambar profil yang ditampilkan secara publik memiliki konsekuensi yang berbeda dari draf yang hanya dapat dilihat oleh penulisnya.
Pilih permukaan yang terhubung dengan alat publikasi yang sudah Anda gunakan, seperti komentar di aplikasi Anda atau foto produk di toko Anda. Penilaian Poyo dapat memasok alat tersebut melalui hasil tugas dan callback. Jika Anda juga mengelola konten di platform sosial eksternal, gunakan integrasi yang diotorisasi oleh platform tersebut untuk melakukan tindakan publikasi atau penghapusan.
Asosiasi Profesional Trust & Safety Professional Association menjelaskan moderasi sebagai penegakan kebijakan yang didukung oleh operasional, produk, dan engineering. Di perusahaan kecil, satu orang mungkin menangani beberapa fungsi tersebut. Tanggung jawabnya tetap perlu dibuat secara eksplisit.
Mulai dengan aturan yang dapat diterapkan orang
Aturan yang berguna menyebutkan perilakunya, menjelaskan cakupannya, dan menyatakan tindakan yang tersedia. “Jaga keamanan komunitas” menyampaikan maksud, tetapi tidak menyelesaikan kiriman yang sulit.
Sebagai contoh, sebuah produk dapat menulis: “Ancaman langsung terhadap anggota lain dilarang. Tahan ancaman yang dicurigai untuk ditinjau, dan gunakan proses eskalasi ketika kasus memerlukan perhatian segera.” Hal ini memberikan kategori spesifik dan tindakan berikutnya kepada peninjau.
Pisahkan aturan Anda dari nama kategori model. Sebuah komunitas dapat melarang iklan berulang meskipun model konten berbahaya tidak mengembalikan flag yang relevan. Komunitas berita dapat mengizinkan diskusi kekerasan yang sesuai, tetapi tetap melarang ancaman terhadap anggota.
| Area kebijakan | Apa yang harus ditentukan oleh tim |
|---|---|
| Ancaman dan pelecehan | Perilaku apa yang melanggar aturan dan bagaimana eskalasinya |
| Konten seksual atau grafis | Apa yang diizinkan di setiap permukaan dan apa yang memerlukan peninjauan |
| Spam dan iklan | Batasan pengulangan, tautan, atau promosi |
| Informasi pribadi | Apa yang boleh dibagikan dan bagaimana paparan ditangani |
| Postingan di luar topik atau berkualitas rendah | Apakah akan dipindahkan, diedit, ditolak, atau diminta untuk diubah |
| Keputusan yang disengketakan | Siapa yang meninjau banding dan apa yang dapat diperbaiki |
Gabungkan kategori konten berbahaya yang didukung Omni Moderation dengan pemeriksaan yang sudah digunakan produk Anda. Spam, informasi pribadi, kualitas postingan, dan banding memerlukan aturan, alat, atau peninjau khusus. Menetapkan setiap persyaratan ke langkah tertentu membuat keseluruhan proses lebih mudah dioperasikan.
Uji susunan kata dengan beberapa contoh. Jika dua peninjau menerapkan aturan yang sama secara berbeda, perjelas aturan tersebut sebelum mengharapkan otomatisasi membuat keputusan menjadi konsisten.
Pilih kapan moderasi dilakukan
Waktu memengaruhi paparan dan pengalaman pengguna. Tentukan waktunya untuk setiap permukaan konten.
Sebelum publikasi. Konten tetap tertunda hingga pemeriksaan dan keputusan yang diperlukan selesai. Ini dapat sesuai untuk unggahan gambar publik atau kiriman yang dipilih tim Anda untuk diperiksa terlebih dahulu. Ini juga berarti pengguna memerlukan penjelasan yang jelas tentang waktu tunggu.
Setelah publikasi. Konten ditampilkan dan dinilai setelahnya. Ini mengurangi hambatan awal, tetapi materi yang dilarang dapat terlihat hingga tindakan diambil. Tim memerlukan proses respons yang sesuai dengan tingkat paparan tersebut.
Setelah laporan. Pengguna menandai masalah dan tim meninjaunya. Laporan membantu mengungkap konteks dan kasus yang terlewat, tetapi konten yang tidak dilaporkan siapa pun mungkin tetap tidak diperiksa.
Proses campuran dapat menjadi pilihan praktis. Misalnya, tim dapat menahan foto profil baru sebelum publikasi, menjalankan pemeriksaan teks rutin pada komentar, dan tetap menerima laporan untuk keduanya. Ini adalah contoh desain, bukan kebijakan universal.
Untuk gambaran umum pendekatan ini, lihat panduan moderasi konten Stream. Pilih berdasarkan audiens, tingkat paparan, dan kapasitas peninjauan yang tersedia.
Tambahkan pemeriksaan AI gratis ke alur kerja moderasi Anda
Poyo menggabungkan teks multibahasa, satu gambar HTTPS, atau teks dengan gambar ke dalam satu alur tugas. Teks mendukung 13 kategori risiko; gambar mendukung enam kategori yang mencakup konten seksual, kekerasan, dan menyakiti diri sendiri. Flag dan skor kategori memberikan sinyal kepada aplikasi Anda untuk menentukan kiriman mana yang dapat mengikuti aturan rutin dan mana yang memerlukan pemeriksaan lebih dekat.
Gunakan gambaran umum kategori untuk memetakan setiap pemeriksaan ke input yang didukung. Kategori khusus teks tidak menilai piksel gambar. Jika kebijakan Anda bergantung pada teks yang tertanam, audio, video, atau deteksi khusus, tambahkan langkah pemrosesan terpisah yang sesuai. Untuk cakupan gambar dan penanganan keselamatan anak, lihat panduan moderasi gambar.
Urutan praktisnya adalah:
- Terima kiriman dan catat ID konten serta versinya.
- Validasi teks atau file yang diunggah sesuai kebutuhan aplikasi Anda.
- Kirim teks atau gambar yang didukung ke Poyo dan simpan ID tugasnya.
- Ambil hasil yang telah selesai atau terima callback penyelesaian.
- Terapkan aturan Anda untuk memublikasikan, meminta perubahan, menolak, atau menetapkan peninjau.
- Catat keputusan dan pertahankan jalur untuk laporan serta banding.
ID tugas Poyo membantu mengaitkan penilaian dengan kiriman yang tepat. Callback penyelesaian dapat memicu langkah berikutnya dalam aplikasi atau alat peninjauan yang sudah ada. Konfigurasikan bagaimana setiap sinyal yang didukung dipetakan ke tindakan bisnis, dengan peninjauan manusia untuk kasus yang membutuhkan konteks atau eskalasi.
Rancang antrean peninjauan yang dapat dikelola tim kecil
Untuk uji coba, alat dukungan atau admin yang sudah ada mungkin sudah memadai. Setiap item peninjauan harus memuat informasi yang cukup untuk membuat keputusan tanpa memaksa peninjau merekonstruksi seluruh riwayat.
Sertakan konten atau cara terkontrol untuk memeriksanya, konteks yang relevan, aturan yang sedang dipertimbangkan, sinyal model, versi konten, dan keputusan sebelumnya yang diperlukan untuk kasus tersebut. Tambahkan pemilik dan status agar dua orang tidak tanpa sadar mengerjakan item yang sama.
Status yang berguna mencakup menunggu penilaian, menunggu peninjauan manusia, disetujui, ditolak, dan diajukan banding. Pisahkan kegagalan teknis, karena “tidak dapat mengambil gambar” bukan temuan kebijakan konten.
Tetapkan prioritas yang benar-benar dapat dipertahankan oleh tim Anda. Ancaman yang berpotensi serius mungkin memerlukan eskalasi lebih cepat daripada keputusan foto produk yang tidak pasti. Tentukan orang yang bertanggung jawab dan cadangannya, termasuk apa yang terjadi ketika keduanya tidak tersedia.
Jika antrean bertambah, periksa penyebabnya sebelum melonggarkan aturan. Mungkin ada terlalu banyak flag palsu, kebijakan yang tidak jelas, tugas duplikat, atau pola konten baru yang belum dievaluasi tim. Setiap masalah memerlukan respons yang berbeda.
Pertahankan konteks dan banding dalam proses
Sinyal otomatis mungkin tidak menangkap alasan pengguna memposting sesuatu. Pelecehan yang dikutip dalam keluhan, diskusi tentang peristiwa sejarah, dan gambar edukatif dapat memerlukan konteks yang tidak sepenuhnya ditangkap oleh penilaian awal.
Ketika peninjau membuat keputusan, catat aturan yang diterapkan dan alasannya. Bahasa yang ditampilkan kepada pengguna harus menjelaskan apa yang terjadi selanjutnya tanpa perlu menampilkan ulang materi berbahaya secara tidak perlu.
Sebagai contoh, “Gambar Anda sedang menunggu peninjauan karena mungkin termasuk dalam aturan konten grafis kami” menjelaskan kasus yang tertunda. “Kami tidak dapat menyelesaikan pemeriksaan gambar; unggahan Anda tetap pribadi sementara kami mencoba lagi” menjelaskan penundaan teknis. Pesan-pesan ini memberikan ekspektasi yang berbeda dan berguna kepada pengguna.
Sediakan jalur banding untuk keputusan yang dapat ditentang. Peninjau harus dapat melihat versi konten asli, konteks yang relevan, alasan sebelumnya, dan penjelasan baru dari pengguna. Jika jumlah staf memungkinkan, gunakan orang lain untuk menangani banding.
Jika keputusan berubah, perbarui visibilitas aktual konten dan tindakan akun terkait. Mengirim permintaan maaf tanpa memulihkan keadaan yang dimaksudkan membuat kesalahan yang mendasarinya tetap belum terselesaikan.
Jangan menganggap kritik sebagai pelanggaran kebijakan hanya karena bersifat negatif. Untuk produk berbasis ulasan, pembahasan moderasi UGC dari Bazaarvoice menyoroti pentingnya mempertahankan umpan balik negatif yang autentik. Aturan Anda harus membedakan pengalaman pelanggan yang kritis dari pelecehan atau pengungkapan yang dilarang.
Ukur kualitas keputusan dan beban kerja
Mulailah dengan metrik yang membantu tim menemukan masalah tertentu. Volume kiriman, penilaian yang selesai, kegagalan pemrosesan, dan peninjauan yang tertunda menggambarkan beban kerja. Waktu penyelesaian peninjauan dan hasil banding menggambarkan apa yang dialami pengguna.
Untuk mengevaluasi klasifikasi dan pengalihan, beri label pada sampel yang diizinkan menggunakan keputusan yang diharapkan oleh kebijakan Anda. Sertakan konten yang ditandai oleh alur kerja dan konten yang diizinkan melewatinya; hanya melihat antrean peninjauan tidak dapat mengungkap semua hal yang terlewat oleh sistem.
Contoh berikut sepenuhnya ilustratif dan tidak menggambarkan performa Poyo atau benchmark model:
| Dalam sampel 100 kiriman | Dikirim untuk ditinjau | Tidak dikirim untuk ditinjau | Total |
|---|---|---|---|
| Pelanggaran kebijakan yang diberi label manusia | 18 | 2 | 20 |
| Konten yang dapat diterima menurut label manusia | 8 | 72 | 80 |
| Total | 26 | 74 | 100 |
Tiga pertanyaan berbeda muncul dari sampel ini:
- Seberapa banyak antrean yang relevan? Dari 26 item yang ditandai, 18 diberi label sebagai pelanggaran: 18 ÷ 26, sekitar 69.2%.
- Berapa banyak pelanggaran yang tertangkap? Dari 20 pelanggaran yang diberi label, 18 ditandai: 18 ÷ 20, atau 90%.
- Seberapa sering konten yang dapat diterima ditandai? Dari 80 item yang dapat diterima, delapan ditandai: 8 ÷ 80, atau 10%.
Metrik-metrik ini memiliki penyebut yang berbeda dan tidak boleh digabungkan menjadi satu klaim tentang “akurasi.” Tinjau kasus yang mendasarinya. Tim mungkin memerlukan aturan yang lebih jelas, ambang batas yang berbeda, pemeriksaan terpisah, atau lebih banyak konteks.
Untuk operasional langsung, hitung juga banding yang belum terselesaikan dan lihat usia item tertua yang masih menunggu. Jumlah penyelesaian yang tinggi dapat menyembunyikan sekumpulan kecil kasus yang telah menunggu terlalu lama.
Hubungkan Poyo dengan alat peninjauan yang sudah ada
Gunakan Omni Moderation Playground untuk menguji bahasa dan gaya gambar yang dikirim pengguna Anda. Masuk, jalankan contoh yang representatif, dan periksa hasil kategori tanpa menulis kode atau membuat kunci API secara manual.
Untuk permintaan aplikasi, gunakan kunci API Poyo Anda dengan POST /api/generate/submit, model: "omni-moderation-latest", dan bidang teks atau gambar yang didukung. Kredensial Poyo yang sama dapat mengakses model lain yang didukung, sehingga membantu Anda mempertahankan generasi dan moderasi dalam satu integrasi platform bersama.
Simpan ID tugas yang dikembalikan bersama versi konten. Tanyakan statusnya, atau konfigurasikan callback_url opsional agar penilaian yang selesai dapat memperbarui catatan dalam sistem publikasi, alat dukungan, atau antrean peninjauan Anda. Aplikasi Anda menentukan pengalihan dan melakukan tindakan publikasi atau penetapan peninjau.
Baca data.output.results dari respons status dan output.results dari callback, yang tidak menyertakan wrapper luar. Tugas finished berisi penilaian yang telah selesai; flagged: true mengidentifikasi potensi risiko konten. Pertahankan tugas failed pada jalur percobaan ulang teknis yang terpisah.
Nilai kembali postingan yang diedit dan gambar yang diganti sebagai versi baru. Buat penanganan callback aman untuk diulang agar pengiriman duplikat memperbarui catatan peninjauan yang sama, dan pastikan hasil yang lebih lama tidak dapat menimpa keputusan yang lebih baru.
Tetapkan izin akses dan aturan retensi untuk catatan peninjauan, serta periksa ketentuan layanan yang berlaku sebelum mengirim data produksi. Referensi Poyo menjelaskan kontrak permintaan; panduan webhook mencakup integrasi callback.
Pertanyaan yang sering diajukan
Apa itu moderasi konten buatan pengguna?
Moderasi konten buatan pengguna adalah proses meninjau materi yang dikirim oleh pengguna, seperti postingan, komentar, ulasan, dan foto, berdasarkan aturan platform. Proses ini mencakup mendeteksi potensi pelanggaran, memutuskan cara menanganinya, serta menyelesaikan laporan atau banding.
Bagaimana Poyo membantu tim moderasi kecil?
Poyo menyediakan penilaian awal gratis untuk teks dan gambar yang didukung, dengan sinyal kategori, pelacakan tugas, dan callback penyelesaian opsional. Tim Anda dapat menggunakan hasil tersebut untuk mengarahkan kiriman melalui alat yang sudah ada dan memusatkan perhatian peninjau pada kasus yang membutuhkan konteks. Mulailah dengan satu permukaan konten dan aturan yang dapat diterapkan tim Anda secara konsisten.
Langkah moderasi apa yang dapat kami otomatisasi?
Aplikasi Anda dapat mengirim konten, menyimpan ID tugas, mengambil penilaian, menangani callback, dan memperbarui catatan peninjauan. Setelah menguji aturan pada contoh Anda sendiri, Anda juga dapat mengotomatiskan tindakan publikasi atau pengalihan yang telah ditentukan. Poyo menyediakan hasil penilaian dan penanganan tugas; tim Anda mengonfigurasi aturan bisnis, eskalasi, dan banding.
Bagaimana kami dapat mengurangi peninjauan manual yang berulang?
Pertahankan satu catatan untuk setiap versi konten, kaitkan dengan ID tugas Poyo, dan buat pemrosesan callback aman untuk diulang. Ini membantu aplikasi Anda menghindari entri peninjauan duplikat. Gunakan contoh berlabel untuk menyempurnakan pengalihan kategori dan periksa mengapa kiriman yang dapat diterima masuk ke antrean, sambil terus memeriksa pelanggaran yang terlewat. Ukur dampaknya sebelum memperluas otomatisasi.
Apakah Poyo dapat terhubung ke alat peninjauan yang sudah kami gunakan?
Gunakan kueri status atau callback penyelesaian untuk mengirim klasifikasi ke sistem publikasi, alat dukungan, atau antrean peninjauan aplikasi Anda. Sertakan ID konten, versi, sinyal kategori, dan aturan yang akan diterapkan dalam catatan. Integrasi Anda menangani penetapan peninjau dan tindakan publikasi, sehingga tim dapat terus menggunakan alat yang sudah mereka gunakan.
Bagaimana kami memulai secara gratis?
Pilih satu permukaan, tentukan aturan yang relevan, dan uji teks atau gambar yang representatif di Poyo Playground. Tidak diperlukan kode atau kunci API yang dibuat secara manual untuk uji coba ini. Panggilan Omni Moderation memerlukan nol kredit; ketika pengalihan sudah siap, hubungkan API ke alur kerja yang sudah ada dan rencanakan penyimpanan serta waktu peninjau secara terpisah.
Gunakan pengantar moderasi konten AI untuk menafsirkan sinyal dan panduan biaya untuk merencanakan pekerjaan seputar panggilan gratis.