Poyo geeft teams gratis toegang tot AI-contentmoderatie voor tekst, afbeeldingen en tekst met een afbeelding. Je kunt omni-moderation-latest van OpenAI uitproberen in de Playground, de categorievlaggen en scores bekijken en met hetzelfde Poyo-account moderatie opnemen in je modelworkflow.
Voor een community kan dat betekenen dat je een bericht controleert voordat het wordt gepubliceerd. Voor een afbeeldingsproduct kan het betekenen dat je een upload beoordeelt samen met het bijschrift. Voor een AI-assistent kan het betekenen dat je een bericht of gegenereerd antwoord bekijkt voordat je besluit hoe je het toont.
Begin met een paar representatieve voorbeelden in de Playground. Ben je klaar om te integreren, dan geeft Poyo je een taak-ID, statusopvolging en een optionele callback bij voltooiing, zodat je applicatie het resultaat kan koppelen aan de eigen regels voor publicatie en beoordeling.
Knoppen en velden worden genoemd zoals ze in de Nederlandse interface heten. Modelvelden zoals Image Urls behouden echter hun Engelse naam.
Wat is AI-contentmoderatie
AI-contentmoderatie gebruikt automatische classificatie om teams te helpen bijdragen van gebruikers te toetsen aan de regels van hun platform. Het kan mogelijke risico's in tekst en afbeeldingen signaleren en geeft zowel beoordelaars als applicaties een consistente set signalen om mee te werken.
Bij Poyo omvatten die signalen een algemene risicovlag, vlaggen per categorie, betrouwbaarheidsscores en de invoertypen die voor elke categorie zijn gebruikt. Een discussiesite kan ze gebruiken om reacties te vinden die aandacht nodig hebben, terwijl een fotoproduct afbeeldingen kan beoordelen voordat ze in een openbare galerij komen.
Je product kan het resultaat koppelen aan acties zoals publiceren, om een aanpassing vragen of menselijke beoordeling toewijzen. Zo heeft het team een duidelijk uitgangspunt en houdt het de regie over de eigen regels.
Het doel hier is content te beoordelen op mogelijke schade. Vaststellen of een tekst of afbeelding door AI is gegenereerd, is een aparte taak.
Wat Omni Moderation kan herkennen
De Omni Moderation-integratie van Poyo ondersteunt meertalige tekst, één afbeelding, of tekst samen met één afbeelding. Voor tekst zijn er 13 categorieën, en zes categorieën ondersteunen ook afbeeldingen. Zo hebben teams een gedeelde set velden om reacties, bijschriften en geüploade afbeeldingen te beoordelen.
| Risicogroep | Antwoordcategorieën | Tekst | Afbeeldingen |
|---|---|---|---|
| Intimidatie | harassment, harassment/threatening | Ondersteund | Alleen tekst |
| Haat | hate, hate/threatening | Ondersteund | Alleen tekst |
| Illegale instructies | illicit, illicit/violent | Ondersteund | Alleen tekst |
| Zelfbeschadiging | self-harm, self-harm/intent, self-harm/instructions | Ondersteund | Ondersteund |
| Seksuele content | sexual | Ondersteund | Ondersteund |
| Seksuele content met minderjarigen | sexual/minors | Ondersteund | Alleen tekst |
| Geweld | violence, violence/graphic | Ondersteund | Ondersteund |
Gebruik category_applied_input_types om te zien welke invoer elk resultaat dekt. Categorieën met Alleen tekst gelden voor de aangeleverde tekst; een score van nul bij een niet-ondersteunde afbeeldingscategorie betekent dat die categorie voor die afbeelding niet is beoordeeld.
Je kunt deze beoordeling aanvullen met je eigen regels voor een marktplaats of community, zoals beperkingen voor reclame en kwaliteitscontroles. Hangt een workflow af van tekst in een afbeelding, audiotranscripties of geselecteerde videoframes, bereid dat materiaal dan apart voor en lever de ondersteunde tekst of afbeelding aan ter beoordeling. Het resultaat dekt de aangeleverde invoer.
De categorie sexual/minors is alleen voor tekst. Bekend of vermoed materiaal met seksueel misbruik van kinderen mag niet worden ingediend bij de Moderation API van OpenAI; volg in zo'n geval de officiële richtlijnen voor kinderveiligheid.
Zie de documentatie van Poyo Omni Moderation voor verzoekformaten en de ondersteunde velden.
Waar AI-moderatie in je product past
De beste plek om moderatie in te voeren is een specifiek moment waarop content van gebruikers zichtbaar wordt of een ander bereikt.
Voor een community kan dat het plaatsen van een reactie zijn. Voor een dienst om afbeeldingen te delen kan het het toevoegen van een foto aan een openbare galerij zijn. Voor een chatbot kan het het tonen van een antwoord van de assistent zijn. Bepaal in elk geval of gebruikers op een resultaat moeten wachten of dat de content kan verschijnen terwijl de beoordeling doorloopt.
| Productsituatie | Te beoordelen content | Te bepalen beslissing |
|---|---|---|
| Discussieforum | Een bericht of reactie | Publiceren, om een aanpassing vragen of vasthouden voor beoordeling |
| Openbare afbeeldingengalerij | Een afbeelding en het bijschrift | Openbaar tonen, de zichtbaarheid beperken of vasthouden |
| AI-assistent | Een bericht van een gebruiker of een gegenereerd antwoord | De interactie voortzetten, beoordelen of het antwoordbeleid van het product toepassen |
| Marktplaats | Een beschrijving en één productafbeelding | De advertentie toestaan of om verdere controles vragen |
Ook privéberichten vragen om een bewuste afweging over privacy. Bepaal wat je product beoordeelt, wie de content kan zien en wat gebruikers wordt verteld voordat je een moderatieworkflow invoert.
Poyo brengt de beoordeling en het bijhouden van taken samen in één API-workflow. Koppel het resultaat aan je bestaande publicatieregels en beoordelingstools, zodat elke inzending het proces volgt dat jij bepaalt.
Probeer gratis tekst- en afbeeldingsmoderatie met Poyo
Je kunt beginnen op de modelpagina van Omni Moderation. De Playground biedt een formulier, voorbeeldverzoeken en gestructureerde resultaten. Log in om een test uit te voeren; je hoeft in de Playground niet handmatig een API-sleutel aan te maken of te plakken. Een API-sleutel heb je nodig wanneer je eigen applicatie de API aanroept.
Begin met een tekstinzending
Log in, open de Playground en voer de tekst die je wilt laten beoordelen in bij het veld Prompt. Prompt betekent hier de content die wordt beoordeeld. Het is geen instructie die het model vraagt zich als moderator te gedragen.
Gebruik eerst een kort, alledaags voorbeeld, zoals:
I'm planning a hike in the park with friends this weekend. Does anyone have a beginner-friendly route to recommend?
Kies Uitvoeren om een nieuwe beoordeling aan te vragen. De pagina toont eerst opgeslagen voorbeelden; als je de invoer wijzigt, wordt een voorbeeldresultaat niet automatisch vervangen. Wacht tot je nieuwe verzoek is voltooid voordat je de uitvoer interpreteert.
Lees de algemene risicovlag, de afzonderlijke categorieën, de scores en de toegepaste invoertypen. Probeer daarna een paar toegestane voorbeelden uit je eigen content, inclusief de talen en situaties die je product regelmatig tegenkomt.
Voeg een afbeelding toe
Wis voor een beoordeling van alleen een afbeelding de tekst en voeg één afbeelding toe bij Image Urls via de beschikbare afbeeldingsinvoer. Je kunt ook een bijschrift in Prompt laten staan om tekst en afbeelding samen te beoordelen.
Op API-niveau accepteert Poyo één HTTPS-URL van een afbeelding. De uploadknop in de Playground uploadt eerst een gekozen lokaal bestand en geeft de URL ervan daarna door aan het beoordelingsverzoek. Dien voor meerdere afbeeldingen voor elke afbeelding een aparte taak in en koppel de resultaten aan het oorspronkelijke bericht.
Gebruik je een eigen URL, dan moet die toegankelijk zijn voor de moderatiedienst. Een link die pas opent nadat je bent ingelogd in een privédashboard, levert de afbeelding zelf niet.
Van proef naar integratie
Zijn de voorbeelden bruikbaar, maak dan een Poyo API-sleutel aan en integreer vanaf je server. Houd de sleutel uit openbare browsercode.
Een verzoek met tekst en afbeelding ziet er zo uit:
{
"model": "omni-moderation-latest",
"input": {
"prompt": "A view from this morning's hike.",
"image_urls": [
"https://your-image-host.example/photo.jpg"
]
}
}
Vervang de voorbeeld-URL door een echte, toegankelijke HTTPS-afbeelding. Het verzoek gaat met je Poyo API-sleutel naar POST https://api.poyo.ai/api/generate/submit. Je krijgt een taak-ID terug; haal het voltooide resultaat op via het statusendpoint of stel een callback bij voltooiing in. Dit is een asynchrone workflow, dus een taak-ID ontvangen is niet hetzelfde als een afgeronde beoordeling ontvangen.
Zo lees je het resultaat
Er zijn twee aparte vragen: is de verwerking voltooid, en wat heeft het model herkend?
| Veld | Betekenis | Zo gebruik je het |
|---|---|---|
status | Of de taak wacht, loopt, klaar is of mislukt | Bepalen of er een beoordeling beschikbaar is |
flagged | Of het model een mogelijk risico heeft gemarkeerd | Een beoordeling of routeringsbeslissing starten |
categories | Een waar-of-onwaarvlag per categorie | Het type mogelijk risico bepalen |
category_scores | Een betrouwbaarheidssignaal per categorie, tussen 0 en 1 | Gevallen vergelijken en regels toetsen aan je eigen voorbeelden |
category_applied_input_types | De invoertypen waarop een categorieresultaat van toepassing is | Controleren of tekst, afbeeldingen of beide hebben bijgedragen |
Bij het statusendpoint staan de categorieresultaten onder data.output.results. Een taak met status: "finished" en flagged: true is succesvol voltooid en heeft een mogelijk risico gesignaleerd. Een mislukte taak heeft geen bruikbare, voltooide beoordeling opgeleverd.
Presenteer een score van 0,8 niet als een garantie van 80% dat content je beleid schendt. Een hoge score kan wijzen op sterke zekerheid van het model bij een categorie, maar je beoordelaars moeten nog steeds rekening houden met de context en met jouw regels.
Een verslag van een gewelddadig incident kan bijvoorbeeld een geweldscategorie activeren, ook als dat verslag prima past in een nieuwsdiscussie. Een gewoon ogend reclamebericht kan geen vlag voor schadelijke content krijgen en toch het reclameverbod van een community overtreden. Beide voorbeelden laten zien waarom categorieherkenning en handhaving van beleid aparte beslissingen vragen.
Bouw beoordelingsregels op basis van je eigen voorbeelden
Gebruik de Playground om een kleine testset samen te stellen met gewone inzendingen, duidelijke overtredingen en gevallen waarvoor context nodig is. Neem de talen, afbeeldingsstijlen, bijschriften en geciteerd materiaal op die bij jou vaak voorkomen. Synthetische of op passende wijze toegestane voorbeelden zijn een goed begin.
Leg per item de beslissing vast die je team verwacht en vergelijk die met de categoriesignalen. Zo kies je welke inzendingen een vaste route kunnen volgen en welke bij een beoordelaar terecht moeten komen.
Test ook de volledige workflow: een taak in afwachting moet een zichtbare wachtstatus hebben, een verwerkingsprobleem moet een route voor opnieuw proberen hebben en een beoordelaar moet een beslissing kunnen corrigeren. Met het taak-ID en de statusvelden van Poyo kun je dat proces volgen.
Kies drempels per categorie op basis van die voorbeelden en beoordeel ze opnieuw wanneer je contentpatronen of het onderliggende model veranderen.
Veelgestelde vragen
Wat is AI-contentmoderatie?
AI-contentmoderatie gebruikt machine learning om tekst en afbeeldingen te beoordelen op mogelijk schadelijke content. Het levert signalen op waarmee een platform zijn regels kan toepassen, kan bepalen wat gepubliceerd mag worden en inzendingen kan herkennen die menselijke beoordeling nodig hebben.
Is AI-contentmoderatie gratis bij Poyo?
Aanroepen van Omni Moderation bij Poyo kosten nul credits voor ondersteunde tekst- en afbeeldingsinvoer. Je kunt de classificatie testen zonder kosten per moderatieaanroep en hetzelfde model daarna in je applicatie gebruiken. Andere modellen, opslag en menselijke beoordeling hebben hun eigen kosten; in de gids over gratis moderatie lees je hoe je die kunt inplannen.
Hoe probeer ik het zonder code te schrijven?
Log in bij de Poyo Playground, voer tekst in, voeg één afbeelding toe of combineer beide en kies Uitvoeren. Bekijk de categorieresultaten van de nieuwe taak zodra die is voltooid. De Playground regelt de authenticatie, dus je hoeft geen API-sleutel aan te maken of in te voeren om voorbeelden te proberen.
Welke resultaten geeft Poyo terug?
Voltooide beoordelingen bevatten een algemene waarde flagged, vlaggen per categorie, categoriescores en category_applied_input_types. Samen laten deze velden zien welke mogelijke risico's zijn herkend en welke aangeleverde invoertypen zijn beoordeeld. Gebruik ze om beoordelingsregels in te stellen en lees scores als signalen van het model, niet als gegarandeerde beleidsbeslissingen.
Hoe koppel ik moderatie aan mijn bestaande product?
Dien ondersteunde content in met je Poyo API-sleutel, bewaar het taak-ID bij de contentversie en vraag de status op of stel een callback bij voltooiing in. Je applicatie kan het resultaat daarna koppelen aan publicatie, een verzoek om aanpassingen of een bestaande tool voor menselijke beoordeling. Begin met één contentoppervlak en test de routering voordat je er meer toevoegt.
Begin met de Poyo Omni Moderation Playground en vergelijk de resultaten met de beslissingen van je team. Voor een uitgebreidere workflow lees je de gids over afbeeldingsmoderatie, de uitleg over gratis toegang en kosten of de gids over UGC-moderatie voor kleine teams.