Poyo giver teams gratis adgang til AI-indholdsmoderering af tekst, billeder og tekst sammen med et billede. Du kan prøve OpenAI's omni-moderation-latest i Playground, se kategoriflag og scorer og bruge den samme Poyo-konto til at få moderering ind i dit modelworkflow.
For et fællesskab kan det betyde, at et opslag tjekkes, før det udgives. For et billedprodukt kan det betyde, at en upload vurderes sammen med sin billedtekst. For en AI-assistent kan det betyde, at en besked eller et genereret svar gennemgås, før du beslutter, hvordan det skal vises.
Start med nogle få repræsentative eksempler i Playground. Når du er klar til at integrere, får du fra Poyo et opgave-ID, statussporing og et valgfrit callback ved fuldførelse, så din applikation kan koble resultatet til sine egne regler for udgivelse og gennemgang.
Knapper og felter omtales med navnene fra den danske grænseflade. Modelfelter som Image Urls bruger dog deres engelske navne.
Hvad er AI-indholdsmoderering
AI-indholdsmoderering bruger automatisk klassificering til at hjælpe teams med at vurdere brugernes indsendelser i forhold til platformens regler. Den kan identificere mulige risici i tekst og billeder og giver både moderatorer og applikationer et ensartet sæt signaler at arbejde med.
Hos Poyo omfatter disse signaler et samlet risikoflag, flag for de enkelte kategorier, konfidensscorer og de inputtyper, der blev brugt for hver kategori. Et diskussionsforum kan bruge dem til at finde kommentarer, der kræver opmærksomhed, mens et fotoprodukt kan gennemgå billeder, før de havner i et offentligt galleri.
Dit produkt kan omsætte resultatet til handlinger som at udgive, bede om en rettelse eller sende det videre til manuel gennemgang. Det giver teamet et tydeligt udgangspunkt, samtidig med at I beholder kontrollen over jeres egne regler.
Formålet her er at vurdere indhold for mulig skade. At afgøre, om en tekst eller et billede er lavet af AI, er en anden opgave.
Hvad Omni Moderation kan opdage
Poyos integration af Omni Moderation understøtter flersproget tekst, ét billede eller tekst sammen med ét billede. Tekst dækker 13 kategorier, og seks kategorier understøtter også billeder. Det giver teams et fælles sæt felter til at gennemgå kommentarer, billedtekster og uploadede billeder.
| Risikogruppe | Kategorier i svaret | Tekst | Billeder |
|---|---|---|---|
| Chikane | harassment, harassment/threatening | Understøttet | Kun tekst |
| Had | hate, hate/threatening | Understøttet | Kun tekst |
| Ulovlige instruktioner | illicit, illicit/violent | Understøttet | Kun tekst |
| Selvskade | self-harm, self-harm/intent, self-harm/instructions | Understøttet | Understøttet |
| Seksuelt indhold | sexual | Understøttet | Understøttet |
| Seksuelt indhold med mindreårige | sexual/minors | Understøttet | Kun tekst |
| Vold | violence, violence/graphic | Understøttet | Understøttet |
Brug category_applied_input_types til at se, hvilke input hvert resultat dækker. Kategorier markeret med Kun tekst gælder kun den tekst, du har indsendt. En score på nul i en billedkategori, der ikke understøttes, betyder, at billedet ikke blev vurderet for den kategori.
Du kan udvide gennemgangen med dine egne regler for markedsplads eller fællesskab, for eksempel begrænsninger for reklamer og kvalitetskontrol. Hvis et workflow afhænger af tekst i et billede, lydtransskriptioner eller udvalgte videobilleder, skal du klargøre materialet separat og indsende den understøttede tekst eller det understøttede billede til vurdering. Resultatet dækker de input, du har indsendt.
Kategorien sexual/minors gælder kun tekst. Kendt eller formodet materiale med seksuelle overgreb mod børn må ikke indsendes til OpenAI's Moderation API. Følg den officielle vejledning om børnesikkerhed i den slags situationer.
Se dokumentationen til Poyo Omni Moderation for anmodningsformater og understøttede felter.
Hvor AI-moderering passer ind i dit produkt
Det bedste sted at indføre moderering er et bestemt øjeblik, hvor brugerindhold ændrer synlighed eller når frem til en anden person.
For et fællesskab kan det øjeblik være, når en kommentar udgives. For en tjeneste til deling af billeder kan det være, når et foto føjes til et offentligt galleri. For en chatbot kan det være, når et svar fra assistenten vises. I hvert tilfælde skal du beslutte, om brugerne skal vente på et resultat, eller om indholdet kan vises, mens gennemgangen pågår.
| Situation i produktet | Indhold, der vurderes | Beslutning, der skal defineres |
|---|---|---|
| Diskussionsforum | Et opslag eller en kommentar | Udgiv, bed om en rettelse, eller hold tilbage til gennemgang |
| Offentligt billedgalleri | Et billede og dets billedtekst | Vis offentligt, begræns synligheden, eller hold tilbage |
| AI-assistent | En brugerbesked eller et genereret svar | Fortsæt samtalen, gennemgå, eller anvend produktets retningslinjer for svar |
| Markedsplads | En beskrivelse og ét produktbillede | Godkend opslaget, eller bed om yderligere kontrol |
Private beskeder kræver desuden en bevidst beslutning om privatliv. Fastlæg, hvad dit produkt gennemgår, hvem der kan se indholdet, og hvad brugerne får at vide, før du indfører et moderationsforløb.
Poyo samler vurderingen og sporingen af opgaver i ét API-workflow. Forbind resultatet med dine eksisterende regler for udgivelse og moderatorernes værktøjer, så hver indsendelse følger den proces, du selv har defineret.
Prøv gratis moderering af tekst og billeder med Poyo
Du kan begynde på modelsiden for Omni Moderation. Playground har en formular, eksempler på anmodninger og strukturerede resultater. Log ind for at køre en test. Du behøver ikke at oprette eller indsætte en API-nøgle manuelt i Playground. En API-nøgle skal du bruge, når din egen applikation kalder API'et.
Start med en tekst
Log ind, åbn Playground, og skriv den tekst, du vil have vurderet, i feltet Prompt. Her betyder Prompt det indhold, der skal vurderes. Det er ikke en instruktion om, at modellen skal opføre sig som moderator.
Brug først et kort, almindeligt eksempel, for eksempel:
Jeg planlægger en vandretur i parken med venner i weekenden. Er der nogen, der kan anbefale en rute, som er god for begyndere?
Vælg Kør for at bede om en ny vurdering. Siden viser først optagede eksempler, og når du ændrer input, erstattes eksemplets resultat ikke automatisk. Vent, til din nye anmodning er færdig, før du fortolker dens output.
Læs det samlede risikoflag, de enkelte kategorier, scorerne og de anvendte inputtyper. Prøv derefter nogle tilladte eksempler fra dit faktiske indhold, herunder de sprog og situationer, som dit produkt jævnligt møder.
Tilføj et billede
Til en vurdering af kun et billede rydder du tekstfeltet og tilføjer ét billede i Image Urls med det tilgængelige billedinput. Du kan også beholde en billedtekst i Prompt for at vurdere tekst og billede sammen.
På API-niveau accepterer Poyo én HTTPS-URL til et billede. Uploadknappen i Playground uploader først en valgt lokal fil og sender derefter dens URL videre til anmodningen om gennemgang. Hvis du har flere billeder, indsender du en separat opgave for hvert af dem og knytter resultaterne til det oprindelige opslag.
Hvis du bruger din egen URL, skal den være tilgængelig for moderationstjenesten. Et link, der kun åbner, når du er logget ind på et privat dashboard, giver ikke adgang til selve billedet.
Fra prøve til integration
Når eksemplerne er brugbare, opretter du en Poyo API-nøgle og integrerer fra din server. Hold nøglen ude af offentlig kode i browseren.
En anmodning med tekst og billede ser sådan ud:
{
"model": "omni-moderation-latest",
"input": {
"prompt": "A view from this morning's hike.",
"image_urls": [
"https://your-image-host.example/photo.jpg"
]
}
}
Erstat eksempel-URL'en med et faktisk tilgængeligt HTTPS-billede. Anmodningen sendes til POST https://api.poyo.ai/api/generate/submit med din Poyo API-nøgle. Den returnerer et opgave-ID. Hent det færdige resultat via status-endpointet, eller konfigurér et callback ved fuldførelse. Det er et asynkront workflow, så det er ikke det samme at modtage et opgave-ID som at modtage en færdig vurdering.
Sådan læser du resultatet
Der er to adskilte spørgsmål: Blev behandlingen gennemført, og hvad opdagede modellen?
| Felt | Betydning | Sådan bruger du det |
|---|---|---|
status | Om opgaven venter, kører, er færdig eller er mislykkedes | Afgør, om en vurdering er tilgængelig |
flagged | Om modellen har flagget mulig risiko | Start en gennemgang eller en beslutning om videre routing |
categories | Et sandt/falsk-flag for hver kategori | Identificér typen af mulig risiko |
category_scores | Et konfidenssignal for hver kategori mellem 0 og 1 | Sammenlign sager, og vurdér regler ud fra dine egne eksempler |
category_applied_input_types | De inputtyper, et kategoriresultat gælder for | Tjek, om tekst, billeder eller begge dele bidrog |
Via status-endpointet ligger kategoriresultaterne under data.output.results. En opgave med status: "finished" og flagged: true blev gennemført og har identificeret mulig risiko. En mislykket opgave har ikke leveret en brugbar, færdig vurdering.
En score på 0,8 bør ikke fremstilles som en garanti på 80 % for, at indholdet overtræder dine retningslinjer. En høj score kan vise, at modellen er meget sikker på en kategori, men dine moderatorer skal stadig vurdere konteksten og jeres regler.
En beretning om en voldelig hændelse kan for eksempel udløse en voldskategori, selv om beretningen er helt på sin plads i en nyhedsdiskussion. Et opslag, der ser helt almindeligt ud som reklame, får måske intet flag for skadeligt indhold og overtræder alligevel et fællesskabs forbud mod reklamer. Begge eksempler viser, hvorfor registrering af kategorier og håndhævelse af retningslinjer kræver hver sin beslutning.
Byg regler for gennemgang ud fra dine egne eksempler
Brug Playground til at opbygge et lille evalueringssæt med almindelige indsendelser, tydelige overtrædelser og sager, der kræver kontekst. Tag de sprog, billedstilarter, billedtekster og citeret materiale med, som I oftest møder. Syntetiske eller passende tilladte eksempler er et godt udgangspunkt.
Notér den beslutning, dit team forventer for hvert element, og sammenlign den med kategorisignalerne. Det hjælper dig med at vælge, hvilke indsendelser der kan følge en rutinemæssig vej, og hvilke der bør til en moderator.
Test også hele workflowet: En ventende opgave bør have en synlig ventetilstand, et problem under behandlingen bør have en vej til at prøve igen, og en moderator bør kunne rette en beslutning. Poyos opgave-ID og statusfelter giver dig en måde at følge den proces på.
Vælg tærskler for de enkelte kategorier ud fra disse eksempler, og vurdér dem igen, når jeres indholdsmønstre eller den underliggende model ændrer sig.
Ofte stillede spørgsmål
Hvad er AI-indholdsmoderering?
AI-indholdsmoderering bruger maskinlæring til at vurdere tekst og billeder for potentielt skadeligt indhold. Den returnerer signaler, der hjælper en platform med at anvende sine regler, afgøre, hvad der kan udgives, og finde indsendelser, der kræver menneskelig gennemgang.
Er AI-indholdsmoderering gratis hos Poyo?
Kald til Omni Moderation hos Poyo koster nul kreditter for understøttede tekst- og billedinput. Du kan teste klassificeringen uden at betale for hvert modereringskald og derefter bruge den samme model i din applikation. Andre modeller, lagring og menneskelig gennemgang har deres egne omkostninger. Vejledningen om gratis moderering forklarer, hvordan du planlægger dem.
Hvordan kan jeg prøve det uden at skrive kode?
Log ind på Poyo Playground, skriv tekst, tilføj ét billede, eller kombinér begge dele, og vælg Kør. Se kategoriresultaterne for den nye opgave, når den er færdig. Playground tager sig af godkendelsen, så du behøver ikke at oprette eller indtaste en API-nøgle manuelt for at prøve eksemplerne.
Hvilke resultater returnerer Poyo?
Færdige vurderinger indeholder en samlet flagged-værdi, flag for de enkelte kategorier, kategoriscorer og category_applied_input_types. Tilsammen viser disse felter de mulige risici, der blev opdaget, og hvilke af de indsendte inputtyper der blev vurderet. Brug dem til at konfigurere regler for gennemgang, og fortolk scorerne som modelsignaler, ikke som garanterede beslutninger om retningslinjer.
Hvordan forbinder jeg moderering med mit eksisterende produkt?
Indsend understøttet indhold med din Poyo API-nøgle, gem opgave-ID'et sammen med indholdets version, og forespørg om status, eller konfigurér et callback ved fuldførelse. Din applikation kan derefter koble resultatet til udgivelse, en anmodning om ændringer eller et eksisterende værktøj til menneskelig gennemgang. Start med én indholdsflade, og test routingen, før du tilføjer flere.
Start med Poyo Omni Moderation Playground, og sammenlign dens resultater med dit teams beslutninger. Hvis du vil have et mere dybdegående workflow, kan du læse guiden til billedmoderering, forklaringen af gratis adgang og omkostninger eller guiden til moderering af brugerskabt indhold for små teams.