Poyo helpt kleine teams om gratis AI-controles toe te voegen aan de moderatie van door gebruikers gegenereerde content. Je kunt berichten, reacties, reviews en statische afbeeldingen laten beoordelen met Omni Moderation en de categorieresultaten daarna koppelen aan de regels en beoordelingstools die je team al gebruikt.
Het praktische voordeel is een herhaalbare eerste beoordeling: je dient ondersteunde content in, volgt de taak en haalt het resultaat op of ontvangt een callback zodra de taak klaar is. Je team kan die signalen gebruiken om routinematige inzendingen door te sturen en de menselijke aandacht te richten op gevallen waarvoor context nodig is.
Begin met één contentoppervlak en een paar representatieve voorbeelden in de Playground. In deze gids lees je hoe je gratis controles koppelt aan publicatieregels, verantwoordelijkheid voor beoordeling en bezwaren van gebruikers, zodat het proces beheersbaar blijft naarmate het aantal inzendingen groeit.
Bepaal over welke content en beslissingen je zelf gaat
Door gebruikers gegenereerde content, oftewel UGC, is al het materiaal dat mensen bij je product aanleveren: communityberichten, reacties, profielfoto's, productreviews, productbeschrijvingen en geüploade afbeeldingen.
Maak een inventarisatie voordat je een tool kiest. Leg vast waar elk type content verschijnt, wie het kan zien, of gebruikers het kunnen bewerken en hoe snel er een beslissing nodig is. Een openbaar zichtbare profielafbeelding heeft andere gevolgen dan een concept dat alleen de auteur kan zien.
Kies een oppervlak dat aansluit op je bestaande publicatietools, zoals reacties in je applicatie of productfoto's in je winkel. De beoordeling van Poyo kan die tools voeden via taakresultaten en callbacks. Beheer je ook content op een extern socialmediaplatform, gebruik dan de geautoriseerde integratie van dat platform om publicaties of verwijderingen uit te voeren.
De Trust & Safety Professional Association beschrijft moderatie als het handhaven van beleid, ondersteund door operations, product en engineering. In een klein bedrijf kan één persoon meerdere van die functies vervullen. De verantwoordelijkheden moeten dan nog steeds expliciet zijn.
Begin met regels die mensen kunnen toepassen
Een bruikbare regel benoemt het gedrag, legt uit waarop de regel van toepassing is en noemt de beschikbare actie. “Houd de community veilig” drukt een bedoeling uit, maar lost een lastige inzending niet op.
Een product kan bijvoorbeeld schrijven: “Directe bedreigingen aan het adres van een ander lid zijn verboden. Zet vermoedelijke bedreigingen in de wacht voor beoordeling en gebruik het escalatieproces als het geval dringende aandacht vraagt.” Zo hebben beoordelaars een concrete categorie en een vervolgactie.
Houd je regels gescheiden van de categorienamen van het model. Een community kan repetitieve reclame verbieden, ook als een model voor schadelijke content geen relevante vlag teruggeeft. Een nieuwscommunity kan gepaste discussie over geweld toestaan en toch bedreigingen aan leden verbieden.
| Beleidsgebied | Wat het team moet vastleggen |
|---|---|
| Bedreigingen en intimidatie | Welk gedrag de regels schendt en hoe het wordt geëscaleerd |
| Seksuele of gewelddadige content | Wat er op elk oppervlak is toegestaan en wat beoordeling vereist |
| Spam en reclame | Grenzen aan herhaling, links of promotie |
| Persoonlijke gegevens | Wat er gedeeld mag worden en hoe blootstelling wordt afgehandeld |
| Off-topic of berichten van lage kwaliteit | Of je ze verplaatst, bewerkt, afwijst of om aanpassingen vraagt |
| Betwiste beslissingen | Wie bezwaren beoordeelt en wat er gecorrigeerd kan worden |
Combineer de door Omni Moderation ondersteunde categorieën voor schadelijke content met de controles die je product al gebruikt. Voor spam, persoonlijke gegevens, berichtkwaliteit en bezwaren zijn eigen regels, tools of beoordelaars nodig. Als je elke vereiste aan een specifieke stap toewijst, wordt het hele proces makkelijker te beheren.
Test de formulering met een paar voorbeelden. Als twee beoordelaars dezelfde regel verschillend toepassen, maak de regel dan eerst duidelijker voordat je van automatisering verwacht dat die beslissingen consistent maakt.
Kies wanneer de moderatie plaatsvindt
Het moment bepaalt zowel de blootstelling als de gebruikerservaring. Leg het vast voor elk contentoppervlak.
Vóór publicatie. Content blijft in afwachting totdat de vereiste controles en beslissingen klaar zijn. Dat kan passen bij openbare afbeeldingsuploads of inzendingen die je team eerst wil bekijken. Het betekent ook dat gebruikers een duidelijke uitleg over de wachttijd nodig hebben.
Na publicatie. Content verschijnt direct en wordt daarna beoordeeld. Dat verlaagt de drempel in het begin, maar verboden materiaal kan zichtbaar zijn totdat er actie wordt ondernomen. Het team heeft dan een reactieproces nodig dat bij die blootstelling past.
Na een melding. Gebruikers melden een probleem en het team beoordeelt het. Meldingen helpen om context en gemiste gevallen boven water te krijgen, maar content die niemand meldt, kan onbeoordeeld blijven.
Een gemengd proces kan praktisch zijn. Een team kan bijvoorbeeld nieuwe profielfoto's vóór publicatie vasthouden, routinematige tekstcontroles op reacties uitvoeren en op beide meldingen blijven accepteren. Dit is een ontwerpvoorbeeld, geen algemeen beleid.
Voor een overzicht van deze benaderingen kun je de gids voor contentmoderatie van Stream lezen. Kies op basis van je doelgroep, de blootstelling en de beschikbare beoordelingscapaciteit.
Voeg gratis AI-controles toe aan je moderatieworkflow
Poyo brengt meertalige tekst, één HTTPS-afbeelding of tekst met een afbeelding samen in één taakflow. Voor tekst zijn er 13 risicocategorieën; voor afbeeldingen zijn het er zes, die seksuele content, geweld en zelfbeschadiging omvatten. Categorievlaggen en scores geven je applicatie signalen om te bepalen welke inzendingen de routineregels kunnen volgen en welke nader bekeken moeten worden.
Gebruik het categorieoverzicht om elke controle te koppelen aan de ondersteunde invoer. Categorieën die alleen voor tekst gelden, beoordelen de pixels van afbeeldingen niet. Hangt je beleid af van ingebedde tekst, audio, video of gespecialiseerde detectie, voeg dan een passende aparte verwerkingsstap toe. Lees de gids voor afbeeldingsmoderatie voor de dekking van afbeeldingen en de omgang met kinderveiligheid.
Een praktische volgorde is:
- Ontvang een inzending en leg de content-ID en de versie vast.
- Valideer de tekst of het geüploade bestand voor je applicatie.
- Dien de ondersteunde tekst of afbeelding in bij Poyo en sla de taak-ID op.
- Haal het voltooide resultaat op of ontvang de callback bij voltooiing.
- Pas je regels toe om te publiceren, om aanpassingen te vragen, af te wijzen of een beoordelaar toe te wijzen.
- Leg de beslissing vast en houd routes voor meldingen en bezwaren beschikbaar.
De taak-ID van Poyo helpt om een beoordeling aan de juiste inzending te koppelen. Callbacks bij voltooiing kunnen de volgende stap in je bestaande applicatie of beoordelingstool starten. Configureer hoe elk ondersteund signaal wordt vertaald naar een zakelijke actie, met menselijke beoordeling voor gevallen die context of escalatie vragen.
Ontwerp een beoordelingswachtrij die een klein team aankan
Voor een pilot kan je bestaande support- of admintool volstaan. Elk beoordelingsitem moet genoeg informatie bevatten om een beslissing te nemen, zonder dat de beoordelaar de hele geschiedenis hoeft te reconstrueren.
Neem de content zelf op, of een gecontroleerde manier om die te bekijken, de relevante context, de regel die wordt overwogen, de signalen van het model, de contentversie en eventuele eerdere beslissingen die voor dit geval nodig zijn. Voeg een eigenaar en een status toe, zodat twee mensen niet onbewust aan hetzelfde item werken.
Nuttige statussen zijn beoordeling in afwachting, menselijke beoordeling in afwachting, goedgekeurd, afgewezen en in bezwaar. Houd technische fouten apart bij, want “de afbeelding kon niet worden opgehaald” is geen bevinding over het contentbeleid.
Stel prioriteiten die je team ook echt kan waarmaken. Een mogelijk ernstige bedreiging vraagt misschien om snellere escalatie dan een onzekere beslissing over een productfoto. Leg vast wie verantwoordelijk is en wie als back-up fungeert, inclusief wat er gebeurt als geen van beiden beschikbaar is.
Als de wachtrij groeit, zoek dan eerst de oorzaak voordat je de regels versoepelt. Er kunnen te veel valse vlaggen zijn, onduidelijk beleid, dubbele taken of een nieuw contentpatroon dat het team nog niet heeft beoordeeld. Elk probleem vraagt om een andere aanpak.
Houd context en bezwaren in het proces
Een geautomatiseerd signaal kan missen waarom een gebruiker iets heeft geplaatst. Geciteerde intimidatie in een klacht, een discussie over een historische gebeurtenis en een educatieve afbeelding kunnen context vereisen die de eerste beoordeling niet volledig oppikt.
Leg bij elke beslissing van een beoordelaar de toegepaste regel en de reden vast. Taal voor gebruikers moet uitleggen wat er hierna gebeurt, zonder schadelijk materiaal onnodig te herhalen.
“Je afbeelding wacht op beoordeling omdat die mogelijk onder onze regel voor gewelddadige content valt” beschrijft bijvoorbeeld een zaak in afwachting. “We konden de afbeeldingscontrole niet voltooien; je upload blijft privé terwijl we het opnieuw proberen” beschrijft een technische vertraging. Deze berichten wekken verschillende, nuttige verwachtingen.
Bied een bezwaarroute voor beslissingen die aangevochten kunnen worden. De beoordelaar moet de oorspronkelijke contentversie zien, de relevante context, de eerdere reden en eventuele nieuwe toelichting van de gebruiker. Laat het bezwaar, als de bezetting dat toelaat, door iemand anders beoordelen.
Verandert de beslissing, werk dan de feitelijke zichtbaarheid van de content en eventuele bijbehorende accountacties bij. Een excuusbericht sturen zonder de bedoelde situatie te herstellen, laat de onderliggende fout onopgelost.
Behandel kritiek niet als een beleidsovertreding alleen omdat die negatief is. Voor producten die op reviews draaien benadrukt de bespreking van UGC-moderatie door Bazaarvoice hoe belangrijk het is om authentieke negatieve feedback te behouden. Je regels moeten een kritische klantervaring onderscheiden van misbruik of verboden onthullingen.
Meet de kwaliteit van beslissingen en de werkdruk
Begin met maatstaven die het team helpen een specifiek probleem te vinden. Het aantal inzendingen, voltooide beoordelingen, verwerkingsfouten en beoordelingen in afwachting beschrijven de werkdruk. De doorlooptijd van beoordelingen en de uitkomsten van bezwaren beschrijven wat gebruikers ervaren.
Om classificatie en routering te evalueren, label je een toegestane steekproef met de beslissingen die je beleid verwacht. Neem zowel content op die de workflow heeft gevlagd als content die is doorgelaten; alleen naar de beoordelingswachtrij kijken laat niet alles zien wat het systeem heeft gemist.
Het volgende voorbeeld is volledig illustratief en beschrijft niet de prestaties van Poyo of van een model in benchmarks:
| In een steekproef van 100 inzendingen | Ter beoordeling doorgestuurd | Niet ter beoordeling doorgestuurd | Totaal |
|---|---|---|---|
| Door mensen gelabelde beleidsovertredingen | 18 | 2 | 20 |
| Door mensen gelabelde acceptabele content | 8 | 72 | 80 |
| Totaal | 26 | 74 | 100 |
Uit deze steekproef volgen drie verschillende vragen:
- Hoeveel van de wachtrij was relevant? Van de 26 gevlagde items waren er 18 als overtreding gelabeld: 18 ÷ 26, ongeveer 69,2%.
- Hoeveel overtredingen zijn gevonden? Van de 20 gelabelde overtredingen waren er 18 gevlagd: 18 ÷ 20, oftewel 90%.
- Hoe vaak is acceptabele content gevlagd? Van de 80 acceptabele items zijn er acht gevlagd: 8 ÷ 80, oftewel 10%.
Deze maatstaven hebben verschillende noemers en mag je niet samenvoegen tot één bewering over “nauwkeurigheid”. Bekijk de gevallen erachter. Het team heeft misschien een duidelijkere regel, een andere drempel, een aparte controle of meer context nodig.
Tel voor de live-operatie ook de onopgeloste bezwaren en kijk naar de leeftijd van het langst wachtende item. Een hoog aantal voltooide beoordelingen kan een kleine groep gevallen verbergen die veel te lang wacht.
Koppel Poyo aan je bestaande beoordelingstools
Gebruik de Omni Moderation Playground om de talen en afbeeldingsstijlen te testen die je gebruikers insturen. Log in, voer representatieve voorbeelden uit en bekijk de categorieresultaten zonder code te schrijven of handmatig een API-sleutel aan te maken.
Gebruik voor verzoeken vanuit je applicatie je Poyo-API-sleutel met POST /api/generate/submit, model: "omni-moderation-latest" en de ondersteunde tekst- of afbeeldingsvelden. Met dezelfde Poyo-inloggegevens heb je toegang tot andere ondersteunde modellen, zodat je generatie en moderatie binnen één gedeelde platformintegratie kunt houden.
Sla de teruggegeven taak-ID op samen met de contentversie. Vraag de status op, of configureer een optionele callback_url, zodat een voltooide beoordeling een record kan bijwerken in je publicatiesysteem, supporttool of beoordelingswachtrij. Jouw applicatie bepaalt de routering en voert de publicatie- of toewijzingsactie voor beoordelaars uit.
Lees data.output.results uit statusantwoorden en output.results uit callbacks, die de buitenste wrapper weglaten. Een taak met status finished bevat een voltooide beoordeling; flagged: true wijst op een mogelijk contentrisico. Houd taken met status failed op een apart pad voor technische nieuwe pogingen.
Beoordeel bewerkte berichten en vervangen afbeeldingen opnieuw als nieuwe versies. Zorg dat de verwerking van callbacks veilig herhaald kan worden, zodat dubbele leveringen hetzelfde beoordelingsrecord bijwerken, en zorg dat een ouder resultaat een nieuwere beslissing niet kan overschrijven.
Stel toegangsrechten en bewaarregels in voor beoordelingsrecords en controleer de toepasselijke servicevoorwaarden voordat je productiedata verstuurt. De Poyo-referentie legt het verzoekcontract uit; de webhook-richtlijnen behandelen de integratie van callbacks.
Veelgestelde vragen
Wat is moderatie van door gebruikers gegenereerde content?
Moderatie van door gebruikers gegenereerde content is het proces waarbij materiaal dat gebruikers insturen, zoals berichten, reacties, reviews en foto's, wordt getoetst aan de regels van een platform. Het omvat het opsporen van mogelijke overtredingen, beslissen hoe je ermee omgaat en het afhandelen van meldingen of bezwaren.
Hoe helpt Poyo een klein moderatieteam?
Poyo biedt een gratis eerste beoordeling van ondersteunde tekst en afbeeldingen, met categoriesignalen, taakopvolging en optionele callbacks bij voltooiing. Je team kan die resultaten gebruiken om inzendingen door je bestaande tools te leiden en beoordelaars in te zetten voor gevallen die context vragen. Begin met één contentoppervlak en regels die je team consequent kan toepassen.
Welke moderatiestappen kunnen we automatiseren?
Je applicatie kan content indienen, taak-ID's opslaan, beoordelingen ophalen, callbacks verwerken en beoordelingsrecords bijwerken. Nadat je regels hebt getest op je eigen voorbeelden, kun je ook bepaalde publicatie- of routeringsacties automatiseren. Poyo levert beoordelingsresultaten en taakafhandeling; je team configureert de bedrijfsregels, escalatie en bezwaren.
Hoe beperken we repetitief handmatig beoordelen?
Houd één record per contentversie bij, koppel dat aan de Poyo-taak-ID en zorg dat de verwerking van callbacks veilig herhaald kan worden. Zo voorkomt je applicatie dubbele beoordelingsitems. Gebruik gelabelde voorbeelden om de routering per categorie af te stemmen en onderzoek waarom acceptabele inzendingen in de wachtrij terechtkomen, terwijl je blijft controleren op gemiste overtredingen. Meet het effect voordat je de automatisering uitbreidt.
Kan Poyo koppelen met onze bestaande beoordelingstools?
Gebruik statusquery's of callbacks bij voltooiing om classificaties naar het publicatiesysteem, de supporttool of de beoordelingswachtrij van je applicatie te sturen. Neem de content-ID, de versie, de categoriesignalen en de toe te passen regel op in het record. Jouw integratie regelt de toewijzing van beoordelaars en de publicatieacties, zodat het team zijn vertrouwde tools kan blijven gebruiken.
Hoe beginnen we gratis?
Kies één oppervlak, leg de relevante regels vast en test representatieve tekst of afbeeldingen in de Poyo Playground. Voor deze proef is geen code en geen handmatig aangemaakte API-sleutel nodig. Aanroepen van Omni Moderation kosten nul credits; zodra de routering klaar is, koppel je de API aan je bestaande workflow en plan je opslag en beoordelingstijd apart in.
Gebruik de introductie tot AI-contentmoderatie om de signalen te interpreteren en de kostengids om het werk rond de gratis aanroepen te plannen.