Poyo aiuta i piccoli team ad aggiungere controlli AI gratuiti alla moderazione dei contenuti generati dagli utenti. Puoi valutare post, commenti, recensioni e immagini statiche con Omni Moderation, quindi collegare i risultati delle categorie alle regole e agli strumenti di revisione che il tuo team già utilizza.
Il vantaggio pratico è una prima valutazione ripetibile: invia contenuti supportati, monitora l'attività e recupera il risultato oppure ricevi un callback di completamento. Il tuo team può utilizzare questi segnali per indirizzare le richieste di routine e concentrare l'attenzione umana sui casi che richiedono contesto.
Inizia con una sola superficie di contenuti e alcuni esempi rappresentativi nel Playground. Questa guida mostra come collegare i controlli gratuiti alle regole di pubblicazione, all'assegnazione della revisione e ai ricorsi degli utenti, in modo che il processo rimanga gestibile con l'aumento delle richieste.
Identifica i contenuti e le decisioni di cui sei effettivamente responsabile
I contenuti generati dagli utenti, o UGC, comprendono i materiali che le persone inviano al tuo prodotto: post della community, commenti, foto del profilo, recensioni dei prodotti, descrizioni degli annunci e immagini caricate.
Fai un inventario prima di scegliere uno strumento. Registra dove compare ogni tipo, chi può visualizzarlo, se gli utenti possono modificarlo e con quale rapidità deve essere presa una decisione. Un'immagine del profilo mostrata pubblicamente ha conseguenze diverse da una bozza visibile solo al suo autore.
Scegli una superficie collegata agli strumenti di pubblicazione esistenti, come i commenti nella tua applicazione o le foto dei prodotti nel tuo negozio. La valutazione di Poyo può alimentare questi strumenti tramite risultati delle attività e callback. Se gestisci contenuti anche su una piattaforma social esterna, utilizza l'integrazione autorizzata di quella piattaforma per eseguire le azioni di pubblicazione o rimozione.
La Trust & Safety Professional Association descrive la moderazione come applicazione delle policy supportata da attività operative, prodotto e ingegneria. In una piccola azienda, una persona può svolgere diverse di queste funzioni. Le responsabilità devono comunque essere esplicite.
Inizia con regole che le persone possano applicare
Una regola utile identifica il comportamento, ne spiega l'ambito e indica l'azione disponibile. «Mantieni la community al sicuro» esprime un'intenzione, ma non risolve un invio difficile.
Ad esempio, un prodotto potrebbe stabilire: «Le minacce dirette contro un altro membro sono vietate. Metti in attesa per la revisione le minacce sospette e utilizza il processo di escalation quando il caso richiede un'attenzione urgente.» Questo fornisce ai revisori una categoria specifica e un'azione successiva.
Mantieni le tue regole separate dai nomi delle categorie del modello. Una community può vietare la pubblicità ripetitiva anche se un modello per i contenuti dannosi non restituisce alcun flag pertinente. Una community di notizie può consentire discussioni appropriate sulla violenza pur vietando le minacce contro i membri.
| Area della policy | Cosa deve definire il team |
|---|---|
| Minacce e molestie | Quale comportamento viola le regole e come viene sottoposto a escalation |
| Contenuti sessuali o grafici | Cosa è consentito su ciascuna superficie e cosa richiede una revisione |
| Spam e pubblicità | Limiti alla ripetizione, ai link o alla promozione |
| Informazioni personali | Cosa può essere condiviso e come viene gestita l'esposizione |
| Post fuori tema o di bassa qualità | Se spostare, modificare, rifiutare o richiedere modifiche |
| Decisioni contestate | Chi esamina i ricorsi e cosa può essere corretto |
Combina le categorie di contenuti dannosi supportate da Omni Moderation con i controlli che il tuo prodotto già utilizza. Spam, informazioni personali, qualità dei post e ricorsi richiedono regole, strumenti o revisori dedicati. Assegnare ogni requisito a un passaggio specifico rende l'intero processo più facile da gestire.
Verifica la formulazione con alcuni esempi. Se due revisori applicano la stessa regola in modo diverso, chiarisci la regola prima di aspettarti che l'automazione renda coerente la decisione.
Scegli quando avviene la moderazione
La tempistica influisce sia sull'esposizione sia sull'esperienza dell'utente. Definiscila per ogni superficie di contenuti.
Prima della pubblicazione. Il contenuto rimane in attesa finché non vengono completati i controlli e le decisioni richiesti. Questo può essere adatto alle immagini del profilo pubbliche o agli invii che il tuo team ha scelto di controllare prima. Significa anche che gli utenti hanno bisogno di una spiegazione chiara dell'attesa.
Dopo la pubblicazione. Il contenuto viene visualizzato e valutato successivamente. Questo riduce l'attrito iniziale, ma il materiale vietato può rimanere visibile finché non viene intrapresa un'azione. Il team ha bisogno di un processo di risposta adeguato a tale esposizione.
Dopo una segnalazione. Gli utenti segnalano un problema e il team lo esamina. Le segnalazioni aiutano a far emergere il contesto e i casi sfuggiti, ma i contenuti che nessuno segnala possono rimanere non esaminati.
Un processo misto può essere pratico. Ad esempio, un team potrebbe mettere in attesa le nuove foto del profilo prima della pubblicazione, eseguire controlli di routine sul testo dei commenti e continuare ad accettare segnalazioni per entrambi. Questo è un esempio di progettazione, non una policy universale.
Per una panoramica di questi approcci, consulta la guida alla moderazione dei contenuti di Stream. Scegli in base al tuo pubblico, all'esposizione e alla capacità di revisione disponibile.
Aggiungi controlli AI gratuiti al tuo flusso di lavoro di moderazione
Poyo riunisce in un unico flusso di attività testo multilingue, una singola immagine HTTPS o testo con un'immagine. Il testo supporta 13 categorie di rischio; le immagini ne supportano sei, relative a contenuti sessuali, violenza e autolesionismo. I flag e i punteggi delle categorie forniscono alla tua applicazione segnali per decidere quali invii possono seguire regole di routine e quali richiedono un'analisi più approfondita.
Usa la panoramica delle categorie per associare ogni controllo al relativo input supportato. Le categorie che riguardano solo il testo non valutano i pixel delle immagini. Se la tua policy dipende da testo incorporato, audio, video o rilevamenti specializzati, aggiungi un passaggio di elaborazione separato appropriato. Per la copertura delle immagini e la gestione della sicurezza dei minori, consulta la guida alla moderazione delle immagini.
Una sequenza pratica è:
- Ricevi un invio e registra il relativo ID del contenuto e la versione.
- Convalida il testo o il file caricato per la tua applicazione.
- Invia il testo o l'immagine supportati a Poyo e salva l'ID dell'attività.
- Recupera il risultato completato oppure ricevi il callback di completamento.
- Applica le tue regole per pubblicare, richiedere modifiche, rifiutare o assegnare un revisore.
- Registra la decisione e mantieni i percorsi per le segnalazioni e i ricorsi.
L'ID dell'attività di Poyo aiuta ad associare una valutazione all'invio corretto. I callback di completamento possono attivare il passaggio successivo nella tua applicazione o nel tuo strumento di revisione esistente. Configura il modo in cui ogni segnale supportato viene associato a un'azione aziendale, prevedendo la revisione umana per i casi che richiedono contesto o escalation.
Progetta una coda di revisione gestibile da un piccolo team
Per un progetto pilota, il tuo strumento di assistenza o amministrazione esistente potrebbe essere sufficiente. Ogni elemento della revisione dovrebbe contenere informazioni sufficienti per prendere una decisione senza costringere il revisore a ricostruire l'intera cronologia.
Includi il contenuto o un modo controllato per esaminarlo, il contesto pertinente, la regola in esame, i segnali del modello, la versione del contenuto e qualsiasi decisione precedente necessaria per questo caso. Aggiungi un responsabile e uno stato, in modo che due persone non lavorino inconsapevolmente sullo stesso elemento.
Gli stati utili includono valutazione in attesa, revisione umana in attesa, approvato, rifiutato e ricorso. Tieni separato il malfunzionamento tecnico, perché «impossibile recuperare l'immagine» non è una valutazione relativa alla policy dei contenuti.
Stabilisci priorità che il tuo team possa realmente mantenere. Una minaccia potenzialmente grave potrebbe richiedere un'escalation più rapida rispetto a una decisione incerta su una foto di prodotto. Definisci la persona responsabile e il sostituto, incluso cosa accade quando nessuno dei due è disponibile.
Se la coda cresce, esamina la causa prima di allentare le regole. Potrebbero esserci troppi falsi flag, policy poco chiare, attività duplicate o un nuovo modello di contenuto che il team non ha valutato. Ogni problema richiede una risposta diversa.
Mantieni il contesto e i ricorsi nel processo
Un segnale automatizzato può non cogliere il motivo per cui un utente ha pubblicato qualcosa. Le molestie citate in un reclamo, una discussione su un evento storico e un'immagine educativa possono richiedere un contesto che la prima valutazione non acquisisce pienamente.
Quando un revisore prende una decisione, registra la regola applicata e il motivo. Il linguaggio rivolto agli utenti dovrebbe spiegare cosa succede dopo senza riprodurre inutilmente materiale dannoso.
Ad esempio, «La tua immagine è in attesa di revisione perché potrebbe rientrare nella nostra regola sui contenuti grafici» descrive un caso in attesa. «Non abbiamo potuto completare il controllo dell'immagine; il tuo caricamento rimane privato mentre riproviamo» descrive un ritardo tecnico. Questi messaggi forniscono agli utenti aspettative diverse e utili.
Offri un percorso di ricorso per le decisioni che possono essere contestate. Il revisore dovrebbe vedere la versione originale del contenuto, il contesto pertinente, il motivo precedente e qualsiasi nuova spiegazione fornita dall'utente. Quando il personale disponibile lo consente, assegna il ricorso a un'altra persona.
Se la decisione cambia, aggiorna l'effettiva visibilità del contenuto e qualsiasi azione correlata sull'account. Inviare delle scuse senza ripristinare lo stato previsto lascia irrisolto l'errore sottostante.
Evita di considerare le critiche come una violazione della policy solo perché sono negative. Per i prodotti basati sulle recensioni, la discussione di Bazaarvoice sulla moderazione UGC evidenzia l'importanza di conservare i feedback negativi autentici. Le tue regole dovrebbero distinguere un'esperienza cliente critica da abusi o divulgazioni vietate.
Misura la qualità delle decisioni e il carico di lavoro
Inizia con misure che aiutino il team a individuare un problema specifico. Il volume degli invii, le valutazioni completate, i problemi di elaborazione e le revisioni in sospeso descrivono il carico di lavoro. I tempi di revisione e gli esiti dei ricorsi descrivono ciò che sperimentano gli utenti.
Per valutare la classificazione e l'instradamento, etichetta un campione consentito con le decisioni previste dalla tua policy. Includi sia i contenuti segnalati dal flusso di lavoro sia quelli che ha lasciato passare; osservare solo la coda di revisione non può rivelare tutto ciò che il sistema ha perso.
Il seguente esempio è interamente illustrativo e non descrive le prestazioni di Poyo o di benchmark del modello:
| In un campione di 100 invii | Inviati alla revisione | Non inviati alla revisione | Totale |
|---|---|---|---|
| Violazioni della policy etichettate da esseri umani | 18 | 2 | 20 |
| Contenuti accettabili etichettati da esseri umani | 8 | 72 | 80 |
| Totale | 26 | 74 | 100 |
Da questo campione emergono tre domande diverse:
- Quanto della coda era pertinente? Dei 26 elementi segnalati, 18 erano etichettati come violazioni: 18 ÷ 26, circa il 69,2%.
- Quante violazioni sono state rilevate? Delle 20 violazioni etichettate, 18 sono state segnalate: 18 ÷ 20, ovvero il 90%.
- Con quale frequenza sono stati segnalati contenuti accettabili? Degli 80 elementi accettabili, otto sono stati segnalati: 8 ÷ 80, ovvero il 10%.
Queste misure hanno denominatori diversi e non dovrebbero essere combinate in un'unica affermazione di «accuratezza». Esamina i casi alla base dei risultati. Il team potrebbe aver bisogno di una regola più chiara, di una soglia diversa, di un controllo separato o di un maggiore contesto.
Per le operazioni in tempo reale, conta anche i ricorsi non risolti e osserva l'età dell'elemento in attesa da più tempo. Un numero elevato di completamenti può nascondere un piccolo gruppo di casi che attendono da troppo tempo.
Collega Poyo agli strumenti di revisione esistenti
Usa l'Omni Moderation Playground per testare le lingue e gli stili delle immagini che i tuoi utenti inviano. Accedi, esegui esempi rappresentativi e analizza i risultati delle categorie senza scrivere codice o creare manualmente una chiave API.
Per le richieste dell'applicazione, usa la tua chiave API Poyo con POST /api/generate/submit, model: "omni-moderation-latest" e i campi di testo o immagine supportati. Le stesse credenziali Poyo possono accedere ad altri modelli supportati, aiutandoti a mantenere generazione e moderazione all'interno di un'integrazione di piattaforma condivisa.
Salva l'ID dell'attività restituito insieme alla versione del contenuto. Interroga il relativo stato oppure configura un callback_url opzionale affinché una valutazione completata possa aggiornare un record nel tuo sistema di pubblicazione, strumento di assistenza o coda di revisione. La tua applicazione definisce l'instradamento ed esegue l'azione di pubblicazione o assegnazione al revisore.
Leggi data.output.results dalle risposte di stato e output.results dai callback, che omettono l'involucro esterno. Un'attività finished contiene una valutazione completata; flagged: true identifica un potenziale rischio relativo ai contenuti. Mantieni le attività failed su un percorso tecnico separato per i nuovi tentativi.
Rivaluta i post modificati e le immagini sostituite come nuove versioni. Rendi la gestione dei callback sicura rispetto alla ripetizione, in modo che le consegne duplicate aggiornino lo stesso record di revisione, e assicurati che un risultato precedente non possa sovrascrivere una decisione più recente.
Imposta autorizzazioni di accesso e regole di conservazione per i record di revisione e verifica i termini di servizio applicabili prima di inviare dati di produzione. Il riferimento Poyo spiega il contratto delle richieste; le indicazioni sui webhook illustrano l'integrazione dei callback.
Domande frequenti
Che cos'è la moderazione dei contenuti generati dagli utenti?
La moderazione dei contenuti generati dagli utenti è il processo di revisione dei materiali inviati dagli utenti, come post, commenti, recensioni e foto, rispetto alle regole di una piattaforma. Comprende il rilevamento di potenziali violazioni, la decisione su come gestirle e la risoluzione di segnalazioni o ricorsi.
In che modo Poyo aiuta un piccolo team di moderazione?
Poyo fornisce una prima valutazione gratuita dei testi e delle immagini supportati, con segnali delle categorie, monitoraggio delle attività e callback di completamento opzionali. Il tuo team può utilizzare questi risultati per indirizzare gli invii attraverso gli strumenti esistenti e concentrare i revisori sui casi che richiedono contesto. Inizia con una superficie di contenuti e regole che il tuo team possa applicare in modo coerente.
Quali passaggi della moderazione possiamo automatizzare?
La tua applicazione può inviare contenuti, salvare gli ID delle attività, recuperare le valutazioni, gestire i callback e aggiornare i record di revisione. Dopo aver testato le regole sui tuoi esempi, puoi anche automatizzare azioni definite di pubblicazione o instradamento. Poyo fornisce i risultati delle valutazioni e la gestione delle attività; il tuo team configura le regole aziendali, l'escalation e i ricorsi.
Come possiamo ridurre la revisione manuale ripetitiva?
Mantieni un record per ogni versione del contenuto, associalo all'ID dell'attività Poyo e rendi l'elaborazione dei callback sicura rispetto alla ripetizione. Questo aiuta la tua applicazione a evitare voci di revisione duplicate. Utilizza esempi etichettati per ottimizzare l'instradamento delle categorie ed esamina perché gli invii accettabili entrano nella coda, continuando a verificare le violazioni mancate. Misura l'effetto prima di ampliare l'automazione.
Poyo può collegarsi ai nostri strumenti di revisione esistenti?
Utilizza le query di stato o i callback di completamento per inviare le classificazioni al sistema di pubblicazione della tua applicazione, allo strumento di assistenza o alla coda di revisione. Includi nel record l'ID del contenuto, la versione, i segnali delle categorie e la regola da applicare. La tua integrazione gestisce l'assegnazione dei revisori e le azioni di pubblicazione, così il team può continuare a utilizzare gli strumenti che già conosce.
Come possiamo iniziare gratuitamente?
Scegli una superficie, definisci le regole pertinenti e testa testi o immagini rappresentativi nel Poyo Playground. Per questa prova non sono necessari né codice né una chiave API creata manualmente. Le chiamate a Omni Moderation hanno un costo di zero crediti; quando l'instradamento è pronto, collega l'API al tuo flusso di lavoro esistente e pianifica separatamente lo spazio di archiviazione e il tempo dei revisori.
Usa l'introduzione alla moderazione dei contenuti con IA per interpretare i segnali e la guida ai costi per pianificare il lavoro attorno alle chiamate gratuite.