L'API gratuita di moderazione delle immagini di Poyo ti aiuta a valutare foto del profilo, immagini della community e caricamenti di prodotti prima di decidere come pubblicarli. Con Omni Moderation, puoi esaminare una singola immagine oppure includere la didascalia nella stessa richiesta.
Inizia nel Playground per visualizzare i flag e i punteggi delle categorie con i tuoi esempi. Poi usa il monitoraggio delle attività di Poyo e il callback opzionale di completamento per collegare questi risultati alle regole di pubblicazione e agli strumenti di revisione della tua applicazione.
Questa guida spiega le categorie di immagini supportate, come preparare un caricamento e come creare un percorso chiaro dalla presentazione alla pubblicazione o a un'ulteriore revisione. Puoi applicare il processo prima a una singola superficie di caricamento e poi ampliarlo man mano che il tuo team acquisisce esperienza.
Cosa dovrebbe fare la moderazione delle immagini per il tuo prodotto
Inizia dal punto in cui vengono visualizzate le immagini e da chi le vedrà.
Un avatar può essere visibile accanto a ogni commento. Una foto della community può comparire in un feed pubblico. Un'immagine di prodotto può essere affiancata a un'inserzione che richiede controlli aggiuntivi oltre alla sicurezza visiva. Ogni superficie può richiedere regole diverse e un diverso livello di cautela prima della pubblicazione.
Ad esempio, un prodotto potrebbe accettare un'immagine storica non grafica all'interno di una discussione, ma rifiutarla come foto del profilo. L'immagine non è cambiata; sono cambiati il suo posizionamento e le regole del prodotto.
Stabilisci cosa dovrebbe accadere in tre casi: l'immagine rispetta le regole, il suo significato non è chiaro oppure viola chiaramente una regola. Definisci anche un quarto esito per una valutazione non disponibile. Un errore di elaborazione non dovrebbe essere interpretato silenziosamente come un'approvazione.
Cosa controlla Omni Moderation nelle immagini
Poyo offre accesso a costo zero a sei categorie di rischio per le immagini, che coprono contenuti sessuali, violenza e autolesionismo. Ogni richiesta accetta un URL HTTPS di un'immagine; aggiungi una didascalia per valutare il testo fornito insieme all'immagine.
| Categoria | A cosa si riferisce il segnale |
|---|---|
sexual | Contenuti sessuali |
violence | Violenza |
violence/graphic | Violenza grafica |
self-harm | Contenuti di autolesionismo |
self-harm/intent | Indicazioni di intenzione autolesiva |
self-harm/instructions | Istruzioni per l'autolesionismo |
Usa category_applied_input_types per verificare se un risultato si applica all'immagine, al testo fornito o a entrambi. L'input testuale supporta 13 categorie, tra cui odio, molestie, istruzioni illecite e sexual/minors. Queste categorie solo testuali valutano il testo fornito; non sono controlli sulle immagini. Per una richiesta contenente solo un'immagine, un punteggio pari a zero e un elenco vuoto dei tipi di input per una categoria non supportata indicano che tale categoria non è stata valutata.
Per le regole che dipendono dalle parole incorporate in un'immagine, aggiungi un passaggio appropriato di estrazione del testo e verifica il testo estratto. Anche la qualità del prodotto, i watermark, le informazioni personali e le regole sugli articoli vietati richiedono controlli propri. I caricamenti video e animati richiedono un flusso separato per la selezione dei fotogrammi, mentre l'audio richiede un'elaborazione separata; la revisione dei fotogrammi selezionati non valuta un intero video né la relativa colonna sonora.
Omni Moderation non è un rilevatore CSAM dedicato e sexual/minors supporta solo il testo. Non inviare CSAM noto o sospetto all'API di moderazione di OpenAI; segui le indicazioni ufficiali sulla sicurezza dei minori.
La documentazione dell'API Poyo descrive gli input supportati e i campi della risposta. Usa questa copertura per scegliere i controlli per ogni superficie di caricamento.
Prepara il caricamento prima di richiedere una revisione
La tua applicazione ha bisogno di una risorsa immagine che il servizio di moderazione possa recuperare. Un nome file come photo.jpg sul dispositivo dell'utente non è sufficiente, e una pagina web che mostra un'immagine non è necessariamente l'URL dell'immagine.
Mantieni i nuovi caricamenti fuori dai feed pubblici mentre la revisione è in corso. Questa area di staging può far parte del tuo sistema di archiviazione esistente. Applica controlli di accesso e scegli un metodo di distribuzione supportato che consenta al servizio di recuperare il file specifico senza esporre l'intero account di archiviazione.
Se tale metodo utilizza un URL HTTPS temporaneo, concedi tempo sufficiente per l'elaborazione in coda e i tentativi successivi. Non includere credenziali di sessione nell'URL ed evita di inserire link a immagini private in log ampiamente accessibili.
Convalida il caricamento prima di inviarlo alla valutazione dei contenuti. Verifica che sia un tipo di file previsto e che possa essere decodificato, quindi applica limiti di dimensione del file e delle immagini adeguati alla tua applicazione e al tuo provider. Questi sono controlli sul caricamento; un punteggio di moderazione non convalida la sicurezza tecnica di un file.
Registra un ID contenuto stabile e una versione. Associa l'ID dell'attività a quella versione affinché un risultato non possa accidentalmente approvare un'immagine che l'utente ha sostituito mentre la revisione era in corso.
Un flusso pratico dal caricamento alla pubblicazione
Un processo semplice può funzionare senza un grande team di moderazione, purché gli stati e le responsabilità siano espliciti.
| Fase | Cosa succede | Cosa vede l'utente |
|---|---|---|
| Caricamento effettuato | Salva il file e assegna la versione del contenuto | Caricamento ricevuto |
| Revisione in attesa | Invia l'immagine e registra l'ID dell'attività | Revisione in attesa |
| Valutazione completata | Leggi lo stato dell'attività, le categorie supportate e i punteggi | La revisione continua fino a quando viene presa una decisione sul prodotto |
| Approvata | Applica le regole del prodotto e rendi visibile l'immagine | Pubblicata |
| Revisione umana | Mantieni l'immagine sospesa e assegnala a un revisore | In attesa di una decisione |
| Rifiutata o impossibile da elaborare | Spiega la regola o il problema tecnico e offri un passaggio successivo appropriato | Un motivo per modificare, riprovare o presentare ricorso |
Poyo fornisce la valutazione delle categorie e il risultato dell'attività che collegano queste fasi. Usa l'ID dell'attività o il callback di completamento per aggiornare il caricamento corrispondente nella tua applicazione, quindi applica le tue regole per pubblicarlo, mantenerlo sospeso per un revisore o richiedere una modifica. Il tuo sistema di pubblicazione e gli strumenti di revisione esistenti eseguono queste azioni.
Mantieni specifici i messaggi rivolti agli utenti. “La tua foto è in attesa di revisione” è utile mentre l'elaborazione non è completa. “Non è stato possibile elaborare questo caricamento; riprova” descrive un problema tecnico. Nessuno dei due dovrebbe essere sostituito da “La tua immagine viola le nostre regole” a meno che una decisione sui contenuti non supporti effettivamente tale messaggio.
Invia un'immagine tramite Poyo
Puoi testare un'immagine nell'Omni Moderation Playground senza scrivere codice o creare manualmente una chiave API. Accedi, cancella il testo se vuoi eseguire un controllo solo sull'immagine, aggiungi un'immagine e seleziona Run. Usa inizialmente il nuovo risultato dell'attività anziché l'esempio registrato mostrato per impostazione predefinita.
Per un'integrazione, invia la richiesta dal tuo server con una chiave API Poyo:
curl -X POST https://api.poyo.ai/api/generate/submit \
-H "Authorization: Bearer YOUR_POYO_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "omni-moderation-latest",
"input": {
"image_urls": ["https://your-image-host.example/upload.jpg"]
}
}'
Sostituisci il dominio di esempio con un URL HTTPS accessibile che punti al file immagine. Per una prova senza codice con un file locale, carica l'immagine tramite il Playground; per le richieste API, fornisci il relativo URL ospitato in input.image_urls.
Per includere una didascalia, aggiungi "prompt": "The caption being reviewed" all'interno di input. Per più immagini in un post, invia attività separate e registra a quale immagine appartiene ciascun risultato. L'approvazione di un'immagine non dovrebbe approvare automaticamente le altre.
L'invio restituisce un task_id. Recupera lo stato utilizzando:
curl https://api.poyo.ai/api/generate/status/YOUR_TASK_ID \
-H "Authorization: Bearer YOUR_POYO_API_KEY"
Un'attività inizia con not_started, viene eseguita in modo asincrono e termina con finished o failed. Per le attività completate, leggi i risultati in data.output.results.
Puoi anche fornire un callback_url di livello superiore nell'invio. Il corpo del callback è l'oggetto dei dati sullo stato senza il wrapper esterno, quindi i risultati si trovano in output.results. Verifica i callback utilizzando le indicazioni Poyo per i webhook e fai in modo che il tuo gestore tolleri consegne ripetute.
Trasforma la valutazione in una decisione
Inizia con una regola in linguaggio semplice per ogni categoria importante per la superficie. Poi valuta se il segnale del modello aiuta ad applicare tale regola.
Un'immagine che viola chiaramente la tua policy può essere rifiutata dopo i controlli appropriati. Un'immagine accettabile può essere pubblicata una volta completati tutti i controlli richiesti. I casi ambigui dovrebbero rimanere in revisione anziché essere costretti a una decisione perché è scaduto un timer.
Un punteggio elevato è un motivo per esaminare la categoria corrispondente. Non rappresenta una garanzia percentuale di una violazione della policy. L'interpretazione può dipendere dal fatto che l'immagine sia un'opera d'arte, un'illustrazione medica, una fotografia giornalistica o una foto casuale di un utente.
Usa i tuoi esempi etichettati per scegliere le soglie di instradamento. Controlla sia le immagini accettabili trattenute inutilmente sia quelle vietate che il flusso non ha rilevato. Se modifichi una soglia, confronta i risultati con la tua policy precedente prima di ampliare le azioni automatiche.
Registra informazioni sufficienti per spiegare le decisioni: versione del contenuto, ID dell'attività, segnali delle categorie, regola applicata, esito della revisione umana se presente e momento della decisione. Imposta criteri di conservazione e controlli di accesso per questo registro anziché archiviare indefinitamente ogni immagine originale.
Gestisci errori, modifiche e ricorsi
Non è possibile recuperare un'immagine. Verifica che l'URL punti direttamente all'immagine, rimanga valido e sia raggiungibile senza una sessione utente. Mantieni il caricamento in sospeso mentre risolvi il problema tecnico.
Una richiesta è ancora in esecuzione quando la pagina smette di attendere. Conserva l'ID dell'attività e controllane lo stato. Inviare immediatamente un duplicato potrebbe lasciare due attività a esaminare la stessa versione. Usa tentativi limitati e un fallback definito quando l'elaborazione rimane non disponibile.
Un utente sostituisce il file o modifica la didascalia. Tratta la modifica come una nuova versione da sottoporre a revisione. Una vecchia approvazione non dovrebbe autorizzare nuovi contenuti. Ricontrolla gli input pertinenti e assicurati che i callback tardivi della vecchia versione non possano pubblicare quella nuova.
Un utente contesta la decisione. Fornisci un percorso di ricorso con contesto sufficiente affinché una persona possa valutare il contenuto e la regola applicata. Un ricorso accolto dovrebbe aggiornare lo stato di pubblicazione e lasciare una correzione verificabile.
Un post contiene più immagini. Rendi esplicita la regola di pubblicazione: ad esempio, attendi il completamento di ogni attività immagine richiesta oppure consenti all'utente di rimuovere l'immagine che necessita di revisione. Non interpretare un singolo risultato positivo come una revisione dell'intero post.
Domande frequenti
Che cos'è la moderazione delle immagini?
La moderazione delle immagini è il processo di revisione delle immagini rispetto alle regole sui contenuti di una piattaforma. Può combinare controlli automatizzati e giudizio umano per decidere se un caricamento debba essere pubblicato, trattenuto per la revisione o rifiutato.
La moderazione delle immagini è gratuita su Poyo?
Le chiamate alle immagini di Omni Moderation di Poyo costano zero crediti. Puoi testare una valutazione delle immagini supportata nel Playground e poi utilizzarla nella tua applicazione senza un costo di moderazione per chiamata. Pianifica separatamente l'archiviazione delle immagini, la distribuzione e qualsiasi revisione umana; la guida all'accesso gratuito spiega la distinzione.
Posso esaminare insieme un'immagine e la sua didascalia?
Sì. Aggiungi sia input.image_urls con un URL HTTPS dell'immagine sia input.prompt con la didascalia alla stessa richiesta. Nel Playground, fornisci insieme immagine e testo. Leggi category_applied_input_types per vedere quali segnali si applicano al testo fornito, all'immagine o a entrambi.
Quali rischi delle immagini posso controllare?
Omni Moderation supporta sei categorie di immagini che coprono contenuti sessuali, violenza, violenza grafica, autolesionismo, intenzione autolesiva e istruzioni per l'autolesionismo. Poyo restituisce flag e punteggi delle categorie che puoi usare per instradare i caricamenti in base alle tue regole. La sezione sulle funzionalità precedente spiega la copertura degli input e l'elaborazione aggiuntiva necessaria per altri requisiti.
Come ricevo il risultato completato della revisione dell'immagine?
Salva l'ID dell'attività Poyo restituito e interroga il suo stato, oppure fornisci un callback_url per ricevere una notifica di completamento. Leggi data.output.results nelle risposte di stato o output.results nei callback. Associa il risultato alla versione dell'immagine caricata, quindi lascia che la tua applicazione la pubblichi o la invii allo strumento di revisione esistente.
Come posso testare la moderazione delle immagini senza codice?
Accedi al Poyo Playground, aggiungi un'immagine, inserisci facoltativamente la relativa didascalia e seleziona Run. Per un test solo dell'immagine, cancella il campo di testo. Esamina l'attività appena completata e prova esempi rappresentativi consentiti prima di configurare le regole di pubblicazione automatica.
Prova un'immagine nel Poyo Playground, quindi collega il risultato a una regola di pubblicazione che il tuo team possa spiegare. L'introduzione alla moderazione con IA spiega i campi della risposta, mentre la guida alla moderazione dei contenuti generati dagli utenti illustra il processo più ampio del team.