Poyo offre ai team accesso gratuito alla moderazione dei contenuti con l'IA per testo, immagini e testo con un'immagine. Puoi provare omni-moderation-latest di OpenAI nel Playground, esaminare i flag delle categorie e i punteggi e utilizzare lo stesso account Poyo per integrare la moderazione nel tuo flusso di lavoro con i modelli.
Per una community, ciò può significare controllare un post prima della pubblicazione. Per un prodotto basato sulle immagini, può significare valutare un'immagine caricata insieme alla relativa didascalia. Per un assistente IA, può significare esaminare un messaggio o una risposta generata prima di decidere come presentarla.
Inizia con alcuni esempi rappresentativi nel Playground. Quando sei pronto per l'integrazione, Poyo fornisce un ID attività, il monitoraggio dello stato e un callback opzionale al completamento, così la tua applicazione può collegare il risultato alle proprie regole di pubblicazione e revisione.
Che cos'è la moderazione dei contenuti con l'IA
La moderazione dei contenuti con l'IA utilizza la classificazione automatizzata per aiutare i team a valutare i contenuti inviati dagli utenti rispetto alle regole della loro piattaforma. Può identificare potenziali rischi nei testi e nelle immagini, fornendo a revisori e applicazioni un insieme coerente di segnali su cui lavorare.
Con Poyo, questi segnali includono un flag di rischio complessivo, flag per le singole categorie, punteggi di affidabilità e i tipi di input utilizzati per ciascuna categoria. Un sito di discussione può usarli per identificare i commenti che richiedono attenzione, mentre un prodotto fotografico può esaminare le immagini prima che entrino in una galleria pubblica.
Il tuo prodotto può associare il risultato ad azioni come pubblicare, richiedere una modifica o assegnare una revisione umana. Ciò fornisce al team un punto di partenza definito, mantenendo al contempo il controllo sulle proprie regole.
Lo scopo qui è valutare i contenuti per individuare potenziali danni. Determinare se un testo o un'immagine è stato generato dall'IA è un'attività distinta.
Cosa può rilevare Omni Moderation
L'integrazione Omni Moderation di Poyo supporta testo multilingue, un'immagine oppure testo insieme a un'immagine. Il testo copre 13 categorie e sei categorie supportano anche le immagini. Ciò offre ai team un insieme condiviso di campi per esaminare commenti, didascalie e immagini caricate.
| Gruppo di rischio | Categorie di risposta | Testo | Immagini |
|---|---|---|---|
| Molestie | harassment, harassment/threatening | Supportato | Solo testo |
| Odio | hate, hate/threatening | Supportato | Solo testo |
| Istruzioni illecite | illicit, illicit/violent | Supportato | Solo testo |
| Autolesionismo | self-harm, self-harm/intent, self-harm/instructions | Supportato | Supportato |
| Contenuti sessuali | sexual | Supportato | Supportato |
| Contenuti sessuali che coinvolgono minori | sexual/minors | Supportato | Solo testo |
| Violenza | violence, violence/graphic | Supportato | Supportato |
Usa category_applied_input_types per vedere quali input copre ciascun risultato. Le categorie contrassegnate come Solo testo si applicano al testo fornito; un punteggio pari a zero in una categoria di immagini non supportata significa che tale categoria non è stata valutata per quell'immagine.
Puoi ampliare questa revisione con le tue regole per marketplace o community, come restrizioni sulla pubblicità e controlli di qualità. Quando un flusso di lavoro dipende dal testo incorporato in un'immagine, dalle trascrizioni audio o da fotogrammi video selezionati, prepara separatamente quel materiale e invia il testo o l'immagine supportati per la valutazione. Il risultato copre gli input forniti.
La categoria sexual/minors è solo testuale. Il materiale noto o sospetto relativo ad abusi sessuali su minori non deve essere inviato all'API di moderazione di OpenAI; per questa situazione, segui le linee guida ufficiali sulla sicurezza dei minori.
Consulta la documentazione Poyo Omni Moderation per i formati delle richieste e i campi supportati.
Dove inserire la moderazione IA nel tuo prodotto
Il momento migliore per introdurre la moderazione è un momento specifico in cui i contenuti degli utenti cambiano visibilità o raggiungono un'altra persona.
Per una community, quel momento potrebbe essere la pubblicazione di un commento. Per un servizio di condivisione di immagini, potrebbe essere l'aggiunta di una foto a una galleria pubblica. Per un chatbot, potrebbe essere la visualizzazione di una risposta dell'assistente. In ogni caso, decidi se gli utenti devono attendere il risultato o se il contenuto può essere visualizzato mentre la revisione continua.
| Situazione del prodotto | Contenuto da valutare | Decisione da definire |
|---|---|---|
| Forum di discussione | Un post o un commento | Pubblicare, richiedere una modifica o mettere in revisione |
| Galleria di immagini pubblica | Un'immagine e la relativa didascalia | Mostrare pubblicamente, limitare la visibilità o mettere in revisione |
| Assistente IA | Un messaggio dell'utente o una risposta generata | Continuare l'interazione, esaminare o applicare la policy di risposta del prodotto |
| Marketplace | Una descrizione e un'immagine del prodotto | Consentire l'inserzione o richiedere ulteriori controlli |
Anche i messaggi privati richiedono una decisione ponderata sulla privacy. Definisci cosa esamina il tuo prodotto, chi può vedere i contenuti e cosa viene comunicato agli utenti prima di introdurre un flusso di lavoro di moderazione.
Poyo riunisce la valutazione e il monitoraggio delle attività in un unico flusso di lavoro API. Collega il risultato alle tue regole di pubblicazione esistenti e agli strumenti dei revisori, in modo che ogni contenuto inviato segua il processo che hai definito.
Prova gratuitamente la moderazione di testo e immagini con Poyo
Puoi iniziare dalla pagina del modello Omni Moderation. Il Playground offre un modulo, richieste di esempio e risultati strutturati. Accedi per eseguire un test; non è necessario creare o incollare manualmente una chiave API nel Playground. Una chiave API è necessaria quando la tua applicazione chiama l'API.
Inizia con un invio di testo
Accedi, apri il Playground e inserisci il testo che vuoi esaminare nel campo Prompt. Qui, Prompt indica il contenuto che viene valutato. Non è un'istruzione che chiede al modello di comportarsi come moderatore.
Per prima cosa, usa un esempio breve e ordinario, come:
Sto organizzando un'escursione al parco con gli amici questo fine settimana. Qualcuno può consigliarmi un percorso adatto ai principianti?
Seleziona Run per richiedere una nuova valutazione. La pagina mostra inizialmente esempi registrati; modificare l'input non sostituisce automaticamente il risultato di un esempio. Attendi il completamento della nuova richiesta prima di interpretarne l'output.
Leggi il flag di rischio complessivo, le singole categorie, i punteggi e i tipi di input applicati. Poi prova alcuni esempi consentiti tratti dai tuoi contenuti effettivi, comprese le lingue e le situazioni che il tuo prodotto incontra regolarmente.
Aggiungi un'immagine
Per una valutazione della sola immagine, cancella il testo e aggiungi un'immagine in Image Urls, utilizzando l'input immagine disponibile. Puoi anche mantenere una didascalia in Prompt per esaminare insieme testo e immagine.
A livello API, Poyo accetta un URL HTTPS di una sola immagine. Il controllo di caricamento del Playground carica prima un file locale selezionato e quindi fornisce il relativo URL alla richiesta di revisione. Per più immagini, invia un'attività separata per ciascuna e associa i risultati al post originale.
Se utilizzi un tuo URL, deve essere accessibile al servizio di moderazione. Un link che si apre solo dopo aver effettuato l'accesso a una dashboard privata non fornirà l'immagine stessa.
Passa dalla prova all'integrazione
Una volta che gli esempi sono utili, crea una chiave API Poyo e integra il servizio dal tuo server. Mantieni la chiave fuori dal codice pubblico del browser.
Una richiesta con testo e immagine ha questa struttura:
{
"model": "omni-moderation-latest",
"input": {
"prompt": "A view from this morning's hike.",
"image_urls": [
"https://your-image-host.example/photo.jpg"
]
}
}
Sostituisci l'URL di esempio con un URL HTTPS di un'immagine effettivamente accessibile. La richiesta viene inviata a POST https://api.poyo.ai/api/generate/submit con la tua chiave API Poyo. Restituisce un ID attività; recupera il risultato completato tramite l'endpoint di stato oppure configura un callback al completamento. Si tratta di un flusso di lavoro asincrono, quindi ricevere un ID attività non equivale a ricevere una valutazione completata.
Come leggere il risultato
Ci sono due domande separate: l'elaborazione è stata completata e cosa ha rilevato il modello?
| Campo | Significato | Come utilizzarlo |
|---|---|---|
status | Indica se l'attività è in attesa, in esecuzione, terminata o non riuscita | Determinare se è disponibile una valutazione |
flagged | Indica se il modello ha segnalato un potenziale rischio | Avviare una revisione o una decisione di instradamento |
categories | Un flag vero o falso per ogni categoria | Identificare il tipo di potenziale rischio |
category_scores | Un segnale di affidabilità per ogni categoria, compreso tra 0 e 1 | Confrontare i casi e valutare le regole sui propri esempi |
category_applied_input_types | I tipi di input a cui si applica il risultato di una categoria | Verificare se hanno contribuito testo, immagini o entrambi |
Per l'endpoint di stato, i risultati delle categorie si trovano in data.output.results. Un'attività con status: "finished" e flagged: true è stata completata correttamente e ha identificato un potenziale rischio. Un'attività non riuscita non ha fornito una valutazione completata utilizzabile.
Un punteggio di 0.8 non deve essere presentato come una garanzia dell'80% che il contenuto violi la tua policy. Un punteggio elevato può indicare una forte affidabilità del modello in una categoria, mentre i tuoi revisori devono comunque considerare il contesto e le tue regole.
Ad esempio, un account che descrive un episodio violento può attivare una categoria relativa alla violenza anche se il contenuto è appropriato per una discussione di attualità. Un post promozionale dall'aspetto normale può non ricevere alcun flag di contenuto dannoso e tuttavia violare la regola di una community che vieta la pubblicità. Entrambi gli esempi mostrano perché il rilevamento delle categorie e l'applicazione delle policy richiedono decisioni separate.
Crea regole di revisione a partire dai tuoi esempi
Usa il Playground per creare un piccolo set di valutazione con contenuti ordinari, violazioni evidenti e casi che richiedono contesto. Includi le lingue, gli stili delle immagini, le didascalie e il materiale citato che utilizzi più spesso. Esempi sintetici o adeguatamente autorizzati costituiscono un utile punto di partenza.
Registra la decisione che il tuo team si aspetta per ogni elemento, quindi confrontala con i segnali delle categorie. Questo ti aiuta a scegliere quali contenuti possono seguire un percorso di routine e quali devono essere sottoposti a un revisore.
Testa anche il flusso di lavoro completo: un'attività in attesa dovrebbe avere uno stato di attesa visibile, un problema di elaborazione dovrebbe avere un percorso di nuovo tentativo e un revisore dovrebbe poter correggere una decisione. L'ID attività e i campi di stato di Poyo ti consentono di seguire questo processo.
Scegli le soglie specifiche per categoria utilizzando questi esempi e rivalutale quando cambiano i tuoi modelli di contenuto o il modello sottostante.
Domande frequenti
Che cos'è la moderazione dei contenuti con l'IA?
La moderazione dei contenuti con l'IA utilizza il machine learning per valutare testi e immagini alla ricerca di contenuti potenzialmente dannosi. Restituisce segnali che aiutano una piattaforma ad applicare le proprie regole, decidere cosa può essere pubblicato e identificare i contenuti che richiedono una revisione umana.
La moderazione dei contenuti con l'IA è gratuita su Poyo?
Le chiamate Omni Moderation di Poyo hanno un costo di zero crediti per gli input di testo e immagini supportati. Puoi testare la classificazione senza aggiungere un costo di moderazione per chiamata, quindi utilizzare lo stesso modello nella tua applicazione. Altri modelli, lo spazio di archiviazione e la revisione umana hanno costi propri; la guida alla moderazione gratuita spiega come pianificarli.
Come posso provarla senza scrivere codice?
Accedi al Poyo Playground, inserisci del testo, aggiungi un'immagine oppure combina entrambi e seleziona Run. Esamina i risultati delle categorie della nuova attività dopo il completamento. Il Playground gestisce l'autenticazione, quindi non è necessario creare o inserire manualmente una chiave API per provare gli esempi.
Quali risultati restituisce Poyo?
Le valutazioni completate includono un valore complessivo flagged, flag delle singole categorie, punteggi delle categorie e category_applied_input_types. Insieme, questi campi mostrano i potenziali rischi rilevati e quali tipi di input forniti sono stati valutati. Usali per configurare le regole di revisione e interpreta i punteggi come segnali del modello, non come decisioni di policy garantite.
Come collego la moderazione al mio prodotto esistente?
Invia contenuti supportati utilizzando la tua chiave API Poyo, salva l'ID attività insieme alla versione del contenuto e interroga lo stato oppure configura un callback al completamento. La tua applicazione può quindi collegare il risultato alla pubblicazione, a una richiesta di modifica o a uno strumento di revisione umana esistente. Inizia con una sola superficie di contenuto e testa l'instradamento prima di aggiungerne altre.
Inizia dal Poyo Omni Moderation Playground e confronta i suoi risultati con le decisioni del tuo team. Per un flusso di lavoro più approfondito, leggi la guida alla moderazione delle immagini, la spiegazione dell'accesso gratuito e dei costi oppure la guida alla moderazione UGC per piccoli team.