API moderasi gambar gratis dari Poyo membantu Anda menilai foto profil, gambar komunitas, dan unggahan produk sebelum menentukan cara memublikasikannya. Dengan Omni Moderation, Anda dapat meninjau satu gambar secara terpisah atau menyertakan keterangannya dalam permintaan yang sama.
Mulailah di Playground untuk melihat tanda kategori dan skor pada contoh Anda sendiri. Kemudian gunakan pelacakan tugas Poyo dan callback penyelesaian opsional untuk menghubungkan hasil tersebut dengan aturan publikasi dan alat peninjauan aplikasi Anda.
Panduan ini menjelaskan kategori gambar yang didukung, cara menyiapkan unggahan, dan cara membangun alur yang jelas dari pengiriman hingga publikasi atau peninjauan lebih lanjut. Anda dapat menerapkan proses ini pada satu permukaan unggahan terlebih dahulu, lalu memperluasnya seiring tim Anda memperoleh pengalaman.
Apa yang seharusnya dilakukan moderasi gambar untuk produk Anda
Mulailah dari tempat gambar muncul dan siapa yang akan melihatnya.
Avatar dapat terlihat di samping setiap komentar. Foto komunitas mungkin muncul di feed publik. Gambar produk mungkin berada di samping listing yang memerlukan pemeriksaan di luar keamanan visual. Setiap permukaan dapat memerlukan aturan yang berbeda dan tingkat kehati-hatian yang berbeda sebelum publikasi.
Misalnya, sebuah produk mungkin menerima gambar historis non-grafis dalam sebuah diskusi, tetapi menolaknya sebagai foto profil. Gambarnya tidak berubah; penempatan dan aturan produklah yang berubah.
Tuliskan apa yang harus terjadi untuk tiga hasil: gambar memenuhi aturan, maknanya tidak jelas, atau gambar tersebut jelas melanggar aturan. Tetapkan juga hasil keempat untuk penilaian yang tidak tersedia. Kesalahan pemrosesan tidak boleh ditafsirkan secara diam-diam sebagai persetujuan.
Apa yang diperiksa Omni Moderation pada gambar
Poyo memberi Anda akses tanpa kredit untuk enam kategori risiko gambar yang mencakup konten seksual, kekerasan, dan tindakan menyakiti diri sendiri. Setiap permintaan menerima satu URL gambar HTTPS; tambahkan keterangan untuk menilai teks yang diberikan bersama gambar.
| Kategori | Hal yang menjadi perhatian sinyal |
|---|---|
sexual | Konten seksual |
violence | Kekerasan |
violence/graphic | Kekerasan grafis |
self-harm | Konten menyakiti diri sendiri |
self-harm/intent | Indikasi niat menyakiti diri sendiri |
self-harm/instructions | Instruksi untuk menyakiti diri sendiri |
Gunakan category_applied_input_types untuk melihat apakah suatu hasil berlaku untuk gambar, teks yang diberikan, atau keduanya. Input teks mendukung 13 kategori, termasuk kebencian, pelecehan, instruksi ilegal, dan sexual/minors. Kategori yang hanya untuk teks ini menilai teks yang diberikan; kategori tersebut bukan pemeriksaan gambar. Untuk permintaan yang hanya berisi gambar, skor nol dan daftar jenis input yang kosong untuk kategori yang tidak didukung berarti kategori tersebut tidak dinilai.
Untuk aturan yang bergantung pada kata-kata yang tertanam dalam gambar, tambahkan langkah ekstraksi teks yang sesuai dan tinjau teks yang diekstrak. Kualitas produk, watermark, informasi pribadi, dan aturan terkait barang terlarang juga memerlukan pemeriksaan tersendiri. Unggahan video dan animasi memerlukan alur kerja pemilihan frame yang terpisah, dan audio memerlukan pemrosesan terpisah; meninjau frame yang dipilih tidak menilai keseluruhan video atau soundtrack-nya.
Omni Moderation bukan detektor CSAM khusus, dan sexual/minors hanya mendukung teks. Jangan mengirimkan CSAM yang diketahui atau dicurigai ke Moderation API OpenAI; ikuti panduan resmi keselamatan anak.
Dokumentasi Poyo API menjelaskan input dan field respons yang didukung. Gunakan cakupan ini untuk memilih pemeriksaan bagi setiap permukaan unggahan.
Siapkan unggahan sebelum meminta peninjauan
Aplikasi Anda memerlukan sumber daya gambar yang dapat diambil oleh layanan moderasi. Nama file seperti photo.jpg pada perangkat pengguna tidak memadai, dan halaman web yang menampilkan gambar belum tentu merupakan URL gambar tersebut.
Jaga agar unggahan baru berada di luar feed publik selama peninjauan masih berlangsung. Area staging ini dapat menjadi bagian dari sistem penyimpanan yang sudah ada. Terapkan kontrol akses, dan pilih metode pengiriman yang didukung agar layanan dapat mengambil file tertentu tanpa membuka seluruh akun penyimpanan Anda.
Jika metode tersebut menggunakan URL HTTPS sementara, berikan waktu yang cukup untuk pemrosesan dalam antrean dan percobaan ulang. Jangan menyertakan kredensial sesi dalam URL, dan hindari menempatkan tautan gambar pribadi dalam log yang dapat diakses secara luas.
Validasi unggahan sebelum mengirimkannya untuk penilaian konten. Periksa bahwa file merupakan jenis yang diharapkan dan dapat didekode, serta terapkan batas ukuran file dan dimensi gambar yang sesuai untuk aplikasi dan penyedia Anda. Itu adalah pemeriksaan unggahan; skor moderasi tidak memvalidasi keamanan teknis file.
Catat ID konten dan versi yang stabil. Kaitkan ID tugas dengan versi tersebut agar hasil tidak secara tidak sengaja menyetujui gambar yang telah diganti pengguna saat peninjauan berlangsung.
Alur kerja praktis dari unggah hingga publikasi
Proses sederhana dapat berjalan tanpa tim moderasi yang besar, asalkan status dan tanggung jawab ditetapkan secara jelas.
| Tahap | Yang terjadi | Yang dilihat pengguna |
|---|---|---|
| Diunggah | Simpan file dan tetapkan versi kontennya | Unggahan diterima |
| Menunggu peninjauan | Kirim gambar dan catat ID tugas | Menunggu peninjauan |
| Penilaian selesai | Baca status tugas, kategori yang didukung, dan skor | Peninjauan berlanjut hingga keputusan produk dibuat |
| Disetujui | Terapkan aturan produk dan buat gambar terlihat | Dipublikasikan |
| Peninjauan manusia | Tahan gambar dan tetapkan peninjau | Menunggu keputusan |
| Ditolak atau tidak dapat diproses | Jelaskan aturan atau masalah teknis dan tawarkan langkah berikutnya yang sesuai | Alasan untuk mengedit, mencoba lagi, atau mengajukan banding |
Poyo menyediakan penilaian kategori dan hasil tugas yang menghubungkan tahapan-tahapan ini. Gunakan ID tugas atau callback penyelesaian untuk memperbarui unggahan yang sesuai di aplikasi Anda, lalu terapkan aturan Anda untuk memublikasikannya, menahannya untuk peninjau, atau meminta perubahan. Sistem publikasi dan alat peninjauan yang sudah ada akan menjalankan tindakan tersebut.
Jaga agar pesan yang ditampilkan kepada pengguna tetap spesifik. “Foto Anda sedang menunggu peninjauan” berguna saat pemrosesan belum selesai. “Kami tidak dapat memproses unggahan ini; silakan coba lagi” menjelaskan masalah teknis. Keduanya tidak boleh diganti dengan “Gambar Anda melanggar aturan kami” kecuali keputusan terkait konten memang mendukung pesan tersebut.
Kirim gambar melalui Poyo
Anda dapat menguji gambar di Omni Moderation Playground tanpa menulis kode atau membuat kunci API secara manual. Masuk, hapus teks jika Anda menginginkan pemeriksaan gambar saja, tambahkan satu gambar, lalu pilih Run. Gunakan hasil tugas baru, bukan contoh yang awalnya ditampilkan dan telah direkam.
Untuk integrasi, kirim dari server Anda menggunakan kunci API Poyo:
curl -X POST https://api.poyo.ai/api/generate/submit \
-H "Authorization: Bearer YOUR_POYO_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "omni-moderation-latest",
"input": {
"image_urls": ["https://your-image-host.example/upload.jpg"]
}
}'
Ganti domain contoh dengan URL HTTPS yang dapat diakses dan mengarah ke file gambar. Untuk uji coba tanpa kode dengan file lokal, unggah gambar melalui Playground; untuk permintaan API, berikan URL yang di-host di input.image_urls.
Untuk menyertakan keterangan, tambahkan "prompt": "The caption being reviewed" di dalam input. Untuk beberapa gambar dalam sebuah postingan, kirim tugas terpisah dan catat hasil mana yang terkait dengan setiap gambar. Menyetujui satu gambar tidak boleh secara otomatis menyetujui gambar lainnya.
Pengiriman mengembalikan sebuah task_id. Ambil status menggunakan:
curl https://api.poyo.ai/api/generate/status/YOUR_TASK_ID \
-H "Authorization: Bearer YOUR_POYO_API_KEY"
Tugas dimulai dengan not_started, berjalan secara asinkron, dan selesai dengan finished atau failed. Untuk tugas yang telah selesai, baca hasil di bawah data.output.results.
Anda juga dapat memberikan callback_url tingkat teratas dalam pengiriman. Isi callback adalah objek data status tanpa pembungkus luar, sehingga hasil berada di bawah output.results. Verifikasi callback menggunakan panduan webhook Poyo, dan pastikan handler Anda dapat menangani pengiriman berulang.
Ubah penilaian menjadi keputusan
Mulailah dengan aturan bahasa sederhana untuk setiap kategori yang penting bagi permukaan tersebut. Kemudian evaluasi apakah sinyal model membantu menerapkan aturan tersebut.
Gambar yang jelas melanggar kebijakan Anda dapat ditolak setelah pemeriksaan yang sesuai. Gambar yang dapat diterima dapat dipublikasikan setelah semua pemeriksaan yang diperlukan selesai. Kasus yang ambigu harus tetap dalam peninjauan, bukan dipaksakan menjadi keputusan hanya karena pengatur waktu berakhir.
Skor tinggi merupakan alasan untuk memeriksa kategori yang bersangkutan. Skor tersebut bukan jaminan persentase bahwa terjadi pelanggaran kebijakan. Interpretasinya dapat bergantung pada apakah gambar tersebut merupakan karya seni, ilustrasi medis, foto berita, atau foto pengguna biasa.
Gunakan contoh berlabel milik Anda sendiri untuk memilih ambang perutean. Periksa gambar yang dapat diterima tetapi ditahan secara tidak perlu, serta gambar terlarang yang terlewat oleh alur kerja. Jika Anda mengubah ambang, bandingkan hasilnya dengan kebijakan sebelumnya sebelum memperluas tindakan otomatis.
Catat informasi yang cukup untuk menjelaskan keputusan: versi konten, ID tugas, sinyal kategori, aturan yang diterapkan, hasil peninjau jika ada, dan waktu keputusan. Tetapkan kebijakan retensi dan kontrol akses untuk catatan ini, alih-alih menyimpan setiap gambar mentah tanpa batas waktu.
Tangani kegagalan, pengeditan, dan banding
Gambar tidak dapat diambil. Periksa bahwa URL mengarah ke gambar itu sendiri, tetap valid, dan dapat dijangkau tanpa sesi pengguna. Biarkan unggahan tetap tertunda saat Anda menyelesaikan masalah teknis.
Permintaan masih berjalan saat halaman berhenti menunggu. Pertahankan ID tugas dan periksa statusnya. Mengirim duplikat segera dapat menyebabkan dua tugas meninjau versi yang sama. Gunakan percobaan ulang yang dibatasi dan fallback yang ditentukan ketika pemrosesan tetap tidak tersedia.
Pengguna mengganti file atau mengubah keterangannya. Perlakukan perubahan tersebut sebagai versi baru yang perlu ditinjau. Persetujuan lama tidak boleh mengizinkan konten baru. Periksa kembali input yang relevan, dan pastikan callback yang terlambat untuk versi lama tidak dapat memublikasikan versi baru.
Pengguna menggugat keputusan tersebut. Sediakan jalur banding dengan konteks yang cukup agar seseorang dapat menilai konten dan aturan yang diterapkan. Banding yang berhasil harus memperbarui status publikasi dan meninggalkan koreksi yang dapat diaudit.
Sebuah postingan berisi beberapa gambar. Buat aturan publikasi menjadi jelas: misalnya, tunggu hingga setiap tugas gambar yang diperlukan selesai, atau izinkan pengguna menghapus gambar yang memerlukan peninjauan. Jangan menafsirkan satu hasil yang berhasil sebagai peninjauan terhadap seluruh postingan.
Pertanyaan yang sering diajukan
Apa itu moderasi gambar?
Moderasi gambar adalah proses meninjau gambar berdasarkan aturan konten suatu platform. Proses ini dapat menggabungkan pemeriksaan otomatis dengan penilaian manusia untuk menentukan apakah sebuah unggahan harus dipublikasikan, ditahan untuk ditinjau, atau ditolak.
Apakah moderasi gambar gratis di Poyo?
Panggilan gambar Omni Moderation dari Poyo dikenai biaya nol kredit. Anda dapat menguji penilaian gambar yang didukung di Playground lalu menggunakannya dalam aplikasi tanpa biaya moderasi per panggilan. Rencanakan penyimpanan gambar, pengiriman, dan peninjauan manusia secara terpisah; panduan akses gratis menjelaskan perbedaannya.
Bisakah saya meninjau gambar dan keterangannya secara bersamaan?
Ya. Tambahkan input.image_urls dengan satu URL gambar HTTPS dan input.prompt dengan keterangan ke permintaan yang sama. Di Playground, berikan gambar dan teks secara bersamaan. Baca category_applied_input_types untuk melihat sinyal mana yang berlaku pada teks yang diberikan, gambar, atau keduanya.
Risiko gambar apa saja yang dapat saya periksa?
Omni Moderation mendukung enam kategori gambar yang mencakup konten seksual, kekerasan, kekerasan grafis, tindakan menyakiti diri sendiri, niat menyakiti diri sendiri, dan instruksi untuk menyakiti diri sendiri. Poyo mengembalikan tanda kategori dan skor yang dapat Anda gunakan untuk mengarahkan unggahan sesuai aturan Anda. Bagian kemampuan di atas menjelaskan cakupan input dan pemrosesan tambahan untuk persyaratan lainnya.
Bagaimana cara menerima hasil gambar yang telah selesai?
Simpan ID tugas Poyo yang dikembalikan dan kueri statusnya, atau berikan callback_url untuk notifikasi penyelesaian. Baca data.output.results dalam respons status atau output.results dalam callback. Cocokkan hasil dengan versi gambar yang diunggah, lalu biarkan aplikasi Anda memublikasikannya atau mengirimkannya ke alat peninjauan yang sudah ada.
Bagaimana cara menguji moderasi gambar tanpa kode?
Masuk ke Poyo Playground, tambahkan satu gambar, masukkan keterangannya jika diinginkan, lalu pilih Run. Untuk pengujian yang hanya menggunakan gambar, kosongkan kolom teks. Periksa tugas yang baru selesai dan coba contoh yang mewakili konten yang diizinkan sebelum mengonfigurasi aturan publikasi otomatis.
Coba satu gambar di Poyo Playground, lalu hubungkan hasilnya dengan aturan publikasi yang dapat dijelaskan oleh tim Anda. Pengenalan moderasi AI menjelaskan field respons, dan panduan moderasi UGC membahas proses tim yang lebih luas.