Poyo memberi tim akses gratis ke moderasi konten AI untuk teks, gambar, dan teks dengan gambar. Anda dapat mencoba omni-moderation-latest milik OpenAI di Playground, memeriksa tanda kategori dan skor, serta menggunakan akun Poyo yang sama untuk menghadirkan moderasi ke dalam alur kerja model Anda.
Untuk komunitas, ini dapat berarti memeriksa sebuah postingan sebelum dipublikasikan. Untuk produk gambar, ini dapat berarti menilai sebuah unggahan beserta keterangannya. Untuk asisten AI, ini dapat berarti meninjau pesan atau balasan yang dihasilkan sebelum memutuskan cara menampilkannya.
Mulailah dengan beberapa contoh yang representatif di Playground. Saat Anda siap melakukan integrasi, Poyo menyediakan ID tugas, pelacakan status, dan callback penyelesaian opsional sehingga aplikasi Anda dapat menghubungkan hasilnya dengan aturan publikasi dan peninjauan.
Apa itu moderasi konten AI
Moderasi konten AI menggunakan klasifikasi otomatis untuk membantu tim menilai kiriman pengguna berdasarkan aturan platform mereka. Moderasi ini dapat mengidentifikasi potensi risiko dalam teks dan gambar, sehingga memberikan serangkaian sinyal yang konsisten bagi peninjau dan aplikasi.
Dengan Poyo, sinyal tersebut mencakup tanda risiko keseluruhan, tanda untuk setiap kategori, skor keyakinan, dan jenis input yang digunakan untuk setiap kategori. Situs diskusi dapat menggunakannya untuk mengidentifikasi komentar yang memerlukan perhatian, sementara produk foto dapat meninjau gambar sebelum gambar tersebut masuk ke galeri publik.
Produk Anda dapat memetakan hasil ke tindakan seperti memublikasikan, meminta pengeditan, atau menugaskan peninjauan oleh manusia. Ini memberikan titik awal yang jelas bagi tim sekaligus mempertahankan kendali atas aturan mereka sendiri.
Tujuannya di sini adalah menilai konten untuk mengetahui potensi bahaya. Menentukan apakah tulisan atau gambar dibuat oleh AI merupakan tugas yang terpisah.
Apa yang dapat dideteksi Omni Moderation
Integrasi Omni Moderation Poyo mendukung teks multibahasa, satu gambar, atau teks bersama satu gambar. Teks mencakup 13 kategori, dan enam kategori juga mendukung gambar. Ini memberi tim sekumpulan bidang bersama untuk meninjau komentar, keterangan, dan gambar yang diunggah.
| Kelompok risiko | Kategori respons | Teks | Gambar |
|---|---|---|---|
| Pelecehan | harassment, harassment/threatening | Didukung | Teks saja |
| Kebencian | hate, hate/threatening | Didukung | Teks saja |
| Instruksi ilegal | illicit, illicit/violent | Didukung | Teks saja |
| Menyakiti diri sendiri | self-harm, self-harm/intent, self-harm/instructions | Didukung | Didukung |
| Konten seksual | sexual | Didukung | Didukung |
| Konten seksual yang melibatkan anak di bawah umur | sexual/minors | Didukung | Teks saja |
| Kekerasan | violence, violence/graphic | Didukung | Didukung |
Gunakan category_applied_input_types untuk melihat input mana yang dicakup oleh setiap hasil. Kategori yang ditandai Teks saja berlaku pada teks yang diberikan; skor nol pada kategori gambar yang tidak didukung berarti kategori tersebut tidak dinilai untuk gambar tersebut.
Anda dapat memperluas peninjauan ini dengan aturan marketplace atau komunitas Anda sendiri, seperti pembatasan iklan dan pemeriksaan kualitas. Jika alur kerja bergantung pada teks yang disematkan dalam gambar, transkrip audio, atau frame video tertentu, siapkan materi tersebut secara terpisah dan kirimkan teks atau gambar yang didukung untuk dinilai. Hasilnya mencakup input yang diberikan.
Kategori sexual/minors hanya mendukung teks. Materi yang diketahui atau diduga merupakan materi pelecehan seksual terhadap anak tidak boleh dikirimkan ke Moderation API milik OpenAI; ikuti panduan resmi keselamatan anak untuk situasi tersebut.
Lihat dokumentasi Poyo Omni Moderation untuk format permintaan dan bidang yang didukung.
Di mana moderasi AI diterapkan dalam produk Anda
Tempat terbaik untuk memperkenalkan moderasi adalah pada momen tertentu ketika konten pengguna berubah visibilitasnya atau diterima oleh orang lain.
Untuk komunitas, momen tersebut mungkin terjadi saat memposting komentar. Untuk layanan berbagi gambar, mungkin saat menambahkan foto ke galeri publik. Untuk chatbot, mungkin saat menampilkan respons asisten. Dalam setiap kasus, tentukan apakah pengguna harus menunggu hasil atau apakah konten dapat ditampilkan sementara peninjauan berlangsung.
| Situasi produk | Konten yang dinilai | Keputusan yang perlu ditentukan |
|---|---|---|
| Forum diskusi | Postingan atau komentar | Publikasikan, minta pengeditan, atau tahan untuk ditinjau |
| Galeri gambar publik | Gambar dan keterangannya | Tampilkan secara publik, batasi visibilitas, atau tahan |
| Asisten AI | Pesan pengguna atau balasan yang dihasilkan | Lanjutkan interaksi, tinjau, atau terapkan kebijakan respons produk |
| Marketplace | Deskripsi dan satu gambar produk | Izinkan listing atau minta pemeriksaan lebih lanjut |
Pesan pribadi juga memerlukan keputusan privasi yang disengaja. Tentukan apa yang ditinjau produk Anda, siapa yang dapat melihat konten tersebut, dan apa yang diberitahukan kepada pengguna sebelum memperkenalkan alur kerja moderasi.
Poyo menyatukan penilaian dan pelacakan tugas dalam satu alur kerja API. Hubungkan hasilnya ke aturan publikasi dan alat peninjau yang sudah ada, sehingga setiap kiriman mengikuti proses yang Anda tentukan.
Coba moderasi teks dan gambar gratis dengan Poyo
Anda dapat memulai di halaman model Omni Moderation. Playground menyediakan formulir, contoh permintaan, dan hasil terstruktur. Masuk untuk menjalankan pengujian; Anda tidak perlu membuat atau menempelkan kunci API secara manual di Playground. Kunci API diperlukan ketika aplikasi Anda sendiri memanggil API.
Mulai dengan kiriman teks
Masuk, buka Playground, lalu masukkan teks yang ingin ditinjau ke dalam bidang Prompt. Di sini, Prompt berarti konten yang sedang dinilai. Ini bukan instruksi yang meminta model untuk bertindak sebagai moderator.
Gunakan contoh singkat dan biasa terlebih dahulu, seperti:
Saya berencana mendaki di taman bersama teman-teman akhir pekan ini. Apakah ada yang bisa merekomendasikan rute yang cocok untuk pemula?
Pilih Run untuk meminta penilaian baru. Halaman tersebut awalnya menampilkan contoh yang telah direkam; mengubah input tidak secara otomatis menggantikan hasil contoh. Tunggu hingga permintaan baru selesai sebelum menafsirkan hasilnya.
Baca tanda risiko keseluruhan, kategori individual, skor, dan jenis input yang diterapkan. Kemudian coba beberapa contoh yang diizinkan dari konten aktual Anda, termasuk bahasa dan situasi yang sering dihadapi produk Anda.
Tambahkan gambar
Untuk penilaian khusus gambar, hapus teks dan tambahkan satu gambar di Image Urls, menggunakan input gambar yang tersedia. Anda juga dapat mempertahankan keterangan di Prompt untuk meninjau teks dan gambar secara bersamaan.
Pada tingkat API, Poyo menerima satu URL gambar HTTPS. Kontrol unggah di Playground terlebih dahulu mengunggah file lokal yang dipilih, lalu memberikan URL-nya ke permintaan peninjauan. Untuk beberapa gambar, kirimkan tugas terpisah untuk masing-masing gambar dan kaitkan hasilnya dengan postingan asli.
Jika Anda menggunakan URL sendiri, URL tersebut harus dapat diakses oleh layanan moderasi. Tautan yang hanya terbuka setelah Anda masuk ke dasbor pribadi tidak akan menyediakan gambar itu sendiri.
Beralih dari uji coba ke integrasi
Setelah contoh-contoh tersebut bermanfaat, buat kunci API Poyo dan lakukan integrasi dari server Anda. Simpan kunci tersebut di luar kode browser publik.
Permintaan teks dan gambar memiliki bentuk berikut:
{
"model": "omni-moderation-latest",
"input": {
"prompt": "A view from this morning's hike.",
"image_urls": [
"https://your-image-host.example/photo.jpg"
]
}
}
Ganti URL contoh dengan gambar HTTPS aktual yang dapat diakses. Permintaan dikirim ke POST https://api.poyo.ai/api/generate/submit dengan kunci API Poyo Anda. Permintaan tersebut mengembalikan ID tugas; ambil hasil yang telah selesai melalui endpoint status atau konfigurasikan callback penyelesaian. Ini adalah alur kerja asinkron, sehingga menerima ID tugas tidak sama dengan menerima penilaian yang telah selesai.
Cara membaca hasil
Ada dua pertanyaan yang terpisah: apakah pemrosesan selesai, dan apa yang dideteksi model?
| Bidang | Arti | Cara menggunakannya |
|---|---|---|
status | Apakah tugas sedang menunggu, berjalan, selesai, atau gagal | Tentukan apakah penilaian tersedia |
flagged | Apakah model menandai potensi risiko | Mulai keputusan peninjauan atau pengalihan |
categories | Tanda benar atau salah untuk setiap kategori | Identifikasi jenis potensi risiko |
category_scores | Sinyal keyakinan untuk setiap kategori, antara 0 dan 1 | Bandingkan kasus dan evaluasi aturan pada contoh Anda sendiri |
category_applied_input_types | Jenis input yang berlaku untuk hasil suatu kategori | Periksa apakah teks, gambar, atau keduanya berkontribusi |
Untuk endpoint status, hasil kategori berada di bawah data.output.results. Tugas dengan status: "finished" dan flagged: true telah selesai dengan sukses dan mengidentifikasi potensi risiko. Tugas yang gagal belum menghasilkan penilaian selesai yang dapat digunakan.
Skor 0.8 tidak boleh disajikan sebagai jaminan 80% bahwa konten melanggar kebijakan Anda. Skor tinggi dapat menunjukkan keyakinan model yang kuat terhadap suatu kategori, sementara peninjau Anda tetap perlu mempertimbangkan konteks dan aturan Anda.
Misalnya, akun yang menjelaskan insiden kekerasan dapat memicu kategori kekerasan meskipun akun tersebut sesuai untuk diskusi berita. Postingan promosi yang tampak normal mungkin tidak menerima tanda konten berbahaya tetapi tetap melanggar aturan komunitas yang melarang iklan. Kedua contoh tersebut menunjukkan mengapa deteksi kategori dan penegakan kebijakan memerlukan keputusan yang terpisah.
Bangun aturan peninjauan dari contoh Anda sendiri
Gunakan Playground untuk membangun kumpulan evaluasi kecil yang berisi kiriman biasa, pelanggaran yang jelas, dan kasus yang memerlukan konteks. Sertakan bahasa, gaya gambar, keterangan, dan materi kutipan yang umum bagi Anda. Contoh sintetis atau contoh yang diizinkan dengan tepat dapat menjadi titik awal yang berguna.
Catat keputusan yang diharapkan tim Anda untuk setiap item, lalu bandingkan dengan sinyal kategori. Ini membantu Anda menentukan kiriman mana yang dapat mengikuti jalur rutin dan mana yang harus diteruskan kepada peninjau.
Uji juga seluruh alur kerja: tugas yang tertunda harus memiliki status menunggu yang terlihat, masalah pemrosesan harus memiliki jalur percobaan ulang, dan peninjau harus dapat mengoreksi keputusan. ID tugas dan bidang status Poyo memberi Anda cara untuk mengikuti proses tersebut.
Pilih ambang batas khusus kategori menggunakan contoh-contoh tersebut, dan evaluasi ulang ketika pola konten Anda atau model yang mendasarinya berubah.
Pertanyaan yang sering diajukan
Apa itu moderasi konten AI?
Moderasi konten AI menggunakan pembelajaran mesin untuk menilai teks dan gambar guna menemukan konten yang berpotensi berbahaya. Moderasi ini mengembalikan sinyal yang membantu platform menerapkan aturannya, memutuskan apa yang dapat dipublikasikan, dan mengidentifikasi kiriman yang memerlukan peninjauan manusia.
Apakah moderasi konten AI gratis di Poyo?
Panggilan Omni Moderation Poyo tidak menggunakan kredit untuk input teks dan gambar yang didukung. Anda dapat menguji klasifikasi tanpa biaya moderasi per panggilan, lalu menggunakan model yang sama dalam aplikasi Anda. Model lain, penyimpanan, dan peninjauan manusia memiliki biaya masing-masing; panduan moderasi gratis menjelaskan cara merencanakannya.
Bagaimana cara mencobanya tanpa menulis kode?
Masuk ke Poyo Playground, masukkan teks, tambahkan satu gambar, atau gabungkan keduanya, lalu pilih Run. Periksa hasil kategori dari tugas baru setelah tugas tersebut selesai. Playground menangani autentikasi, jadi Anda tidak perlu membuat atau memasukkan kunci API secara manual untuk mencoba contoh.
Hasil apa yang dikembalikan Poyo?
Penilaian yang selesai mencakup nilai flagged, tanda kategori individual, skor kategori, dan category_applied_input_types. Secara bersama-sama, bidang ini menunjukkan potensi risiko yang terdeteksi dan jenis input yang diberikan yang dinilai. Gunakan bidang tersebut untuk mengonfigurasi aturan peninjauan, dan tafsirkan skor sebagai sinyal model, bukan keputusan kebijakan yang dijamin.
Bagaimana cara menghubungkan moderasi ke produk saya yang sudah ada?
Kirimkan konten yang didukung menggunakan kunci API Poyo Anda, simpan ID tugas bersama versi konten, lalu kueri status atau konfigurasikan callback penyelesaian. Aplikasi Anda kemudian dapat menghubungkan hasilnya dengan publikasi, permintaan perubahan, atau alat peninjauan manusia yang sudah ada. Mulailah dengan satu permukaan konten dan uji pengarahannya sebelum menambahkan lebih banyak.
Mulailah dengan Poyo Omni Moderation Playground dan bandingkan hasilnya dengan keputusan tim Anda. Untuk alur kerja yang lebih mendalam, baca panduan moderasi gambar, penjelasan akses gratis dan biaya, atau panduan moderasi UGC untuk tim kecil.