Poyo gir team gratis tilgang til AI-basert innholdsmoderering for tekst, bilder og tekst kombinert med et bilde. Du kan prøve OpenAIs omni-moderation-latest i Playground, se på kategoriflagg og scorer, og bruke den samme Poyo-kontoen til å bygge moderering inn i modellarbeidsflyten din.
For et nettsamfunn kan det bety å sjekke et innlegg før det publiseres. For et bildeprodukt kan det bety å vurdere en opplasting sammen med bildeteksten. For en AI-assistent kan det bety å gå gjennom en melding eller et generert svar før du bestemmer hvordan det skal vises.
Start med noen representative eksempler i Playground. Når du er klar til å integrere, gir Poyo deg en oppgave-ID, statussporing og en valgfri callback ved fullføring, slik at applikasjonen din kan koble resultatet til egne regler for publisering og gjennomgang.
Hva er AI-basert innholdsmoderering
AI-basert innholdsmoderering bruker automatisk klassifisering for å hjelpe team med å vurdere brukerinnsendinger opp mot plattformens regler. Den kan identifisere mulige risikoer i tekst og bilder, og gir både moderatorer og applikasjoner et konsistent sett med signaler å jobbe med.
Hos Poyo omfatter disse signalene et samlet risikoflagg, flagg for hver kategori, konfidensscorer og hvilke inndatatyper som ble brukt for hver kategori. Et diskusjonsforum kan bruke dem til å finne kommentarer som trenger oppmerksomhet, mens et fotoprodukt kan gå gjennom bilder før de havner i et offentlig galleri.
Produktet ditt kan koble resultatet til handlinger som å publisere, be om endringer eller sende til manuell gjennomgang. Det gir teamet et tydelig utgangspunkt, samtidig som dere beholder kontrollen over egne regler.
Formålet her er å vurdere innhold for mulig skade. Å avgjøre om en tekst eller et bilde er laget av AI, er en egen oppgave.
Hva Omni Moderation kan oppdage
Poyos integrasjon av Omni Moderation støtter flerspråklig tekst, ett bilde eller tekst sammen med ett bilde. Tekst dekker 13 kategorier, og seks kategorier støtter også bilder. Det gir team et felles sett med felt for å gå gjennom kommentarer, bildetekster og opplastede bilder.
| Risikogruppe | Kategorier i svaret | Tekst | Bilder |
|---|---|---|---|
| Trakassering | harassment, harassment/threatening | Støttet | Bare tekst |
| Hat | hate, hate/threatening | Støttet | Bare tekst |
| Ulovlige instruksjoner | illicit, illicit/violent | Støttet | Bare tekst |
| Selvskading | self-harm, self-harm/intent, self-harm/instructions | Støttet | Støttet |
| Seksuelt innhold | sexual | Støttet | Støttet |
| Seksuelt innhold som involverer mindreårige | sexual/minors | Støttet | Bare tekst |
| Vold | violence, violence/graphic | Støttet | Støttet |
Bruk category_applied_input_types for å se hvilke inndata hvert resultat dekker. Kategorier merket «Bare tekst» gjelder bare tekst du har sendt inn. En score på null i en bildekategori som ikke støttes, betyr at bildet ikke ble vurdert for den kategorien.
Du kan utvide gjennomgangen med egne regler for markedsplassen eller nettsamfunnet, for eksempel reklamebegrensninger og kvalitetskontroller. Når en arbeidsflyt er avhengig av tekst inne i et bilde, lydtranskripsjoner eller utvalgte videobilder, klargjør du dette materialet separat og sender inn teksten eller bildet som støttes, til vurdering. Resultatet dekker inndataene du har sendt inn.
Kategorien sexual/minors gjelder bare tekst. Kjent eller mistenkt materiale som viser seksuelle overgrep mot barn, skal ikke sendes til OpenAIs Moderation API. Følg den offisielle veiledningen for barnesikkerhet i slike tilfeller.
Se dokumentasjonen for Poyo Omni Moderation for forespørselsformater og støttede felt.
Hvor AI-moderering passer inn i produktet ditt
Det beste stedet å innføre moderering er et bestemt øyeblikk der brukerinnhold endrer synlighet eller når frem til en annen person.
For et nettsamfunn kan det øyeblikket være når en kommentar publiseres. For en tjeneste for bildedeling kan det være når et bilde legges til i et offentlig galleri. For en chatbot kan det være når et svar fra assistenten vises. I hvert tilfelle må du avgjøre om brukerne skal vente på et resultat, eller om innholdet kan vises mens gjennomgangen pågår.
| Situasjon i produktet | Innhold som vurderes | Beslutning som må defineres |
|---|---|---|
| Diskusjonsforum | Et innlegg eller en kommentar | Publiser, be om endring eller hold tilbake for gjennomgang |
| Offentlig bildegalleri | Et bilde og bildeteksten | Vis offentlig, begrens synlighet eller hold tilbake |
| AI-assistent | En brukermelding eller et generert svar | Fortsett samtalen, gå gjennom eller bruk produktets retningslinjer for svar |
| Markedsplass | En beskrivelse og ett produktbilde | Tillat annonsen eller be om flere kontroller |
Private meldinger krever også en bevisst beslutning om personvern. Definer hva produktet ditt går gjennom, hvem som kan se innholdet, og hva brukerne får vite, før du innfører en modereringsflyt.
Poyo samler vurderingen og oppgavesporingen i én API-arbeidsflyt. Koble resultatet til eksisterende publiseringsregler og verktøy for moderatorer, slik at hver innsending følger prosessen du har definert.
Prøv gratis moderering av tekst og bilder med Poyo
Du kan begynne på modellsiden for Omni Moderation. Playground har et skjema, eksempelforespørsler og strukturerte resultater. Logg inn for å kjøre en test – du trenger ikke å opprette eller lime inn en API-nøkkel manuelt i Playground. En API-nøkkel trengs når din egen applikasjon kaller API-et.
Start med en tekst
Logg inn, åpne Playground og skriv inn teksten du vil ha vurdert, i feltet Prompt. Her betyr Prompt innholdet som skal vurderes. Det er ikke en instruks som ber modellen om å oppføre seg som en moderator.
Bruk et kort, vanlig eksempel først, for eksempel:
Jeg planlegger en tur i parken med venner denne helgen. Er det noen som kan anbefale en rute som passer for nybegynnere?
Velg Kjør for å be om en ny vurdering. Siden viser først innspilte eksempler, og når du endrer inndataene, erstattes ikke eksempelresultatet automatisk. Vent til den nye forespørselen er fullført før du tolker resultatet.
Les det samlede risikoflagget, de enkelte kategoriene, scorene og inndatatypene som ble brukt. Prøv deretter noen tillatte eksempler fra ditt faktiske innhold, inkludert språk og situasjoner produktet ditt jevnlig møter.
Legg til et bilde
For en vurdering av bare et bilde tømmer du tekstfeltet og legger til ett bilde i Image Urls med den tilgjengelige bildeinndataen. Du kan også beholde en bildetekst i Prompt for å vurdere tekst og bilde sammen.
På API-nivå godtar Poyo én HTTPS-bilde-URL. Opplastingskontrollen i Playground laster først opp en valgt lokal fil og sender deretter URL-en videre til forespørselen om gjennomgang. Har du flere bilder, sender du inn en egen oppgave for hvert av dem og kobler resultatene til det opprinnelige innlegget.
Bruker du din egen URL, må den være tilgjengelig for modereringstjenesten. En lenke som bare åpnes etter at du har logget inn på et privat dashbord, gir ikke tilgang til selve bildet.
Gå fra testing til integrasjon
Når eksemplene er nyttige, oppretter du en Poyo API-nøkkel og integrerer fra serveren din. Hold nøkkelen unna offentlig kode i nettleseren.
En forespørsel med tekst og bilde ser slik ut:
{
"model": "omni-moderation-latest",
"input": {
"prompt": "A view from this morning's hike.",
"image_urls": [
"https://your-image-host.example/photo.jpg"
]
}
}
Erstatt eksempel-URL-en med et faktisk tilgjengelig HTTPS-bilde. Forespørselen sendes til POST https://api.poyo.ai/api/generate/submit med Poyo API-nøkkelen din. Den returnerer en oppgave-ID, og du henter det fullførte resultatet via statusendepunktet eller konfigurerer en callback ved fullføring. Dette er en asynkron arbeidsflyt, så å motta en oppgave-ID er ikke det samme som å motta en ferdig vurdering.
Slik leser du resultatet
Det er to separate spørsmål: Ble behandlingen fullført, og hva oppdaget modellen?
| Felt | Betydning | Slik bruker du det |
|---|---|---|
status | Om oppgaven venter, kjører, er ferdig eller har feilet | Avgjør om en vurdering er tilgjengelig |
flagged | Om modellen har flagget mulig risiko | Start en gjennomgang eller rutingsbeslutning |
categories | Et sant- eller usant-flagg for hver kategori | Identifiser typen mulig risiko |
category_scores | Et konfidenssignal for hver kategori, mellom 0 og 1 | Sammenlign saker og evaluer regler på egne eksempler |
category_applied_input_types | Inndatatypene et kategoriresultat gjelder for | Sjekk om tekst, bilder eller begge bidro |
For statusendepunktet ligger kategoriresultatene under data.output.results. En oppgave med status: "finished" og flagged: true ble fullført og identifiserte mulig risiko. En oppgave som har feilet, har ikke levert noen brukbar ferdig vurdering.
En score på 0,8 bør ikke presenteres som en 80 % garanti for at innholdet bryter retningslinjene dine. En høy score kan tyde på at modellen er svært sikker på en kategori, men moderatorene dine må fortsatt vurdere konteksten og reglene deres.
For eksempel kan en beskrivelse av en voldelig hendelse utløse en voldskategori selv om teksten er helt passende i en nyhetsdiskusjon. Et innlegg som ser ut som vanlig reklame, får kanskje ingen flagg for skadelig innhold, men kan likevel bryte et nettsamfunns forbud mot reklame. Begge eksemplene viser hvorfor oppdagelse av kategorier og håndheving av retningslinjer krever separate beslutninger.
Lag gjennomgangsregler ut fra egne eksempler
Bruk Playground til å bygge et lite evalueringssett med vanlige innsendinger, tydelige brudd og saker som trenger kontekst. Ta med språkene dere ofte møter, bildestiler, bildetekster og sitert materiale. Syntetiske eller tillatte eksempler er et godt utgangspunkt.
Noter hvilken beslutning teamet forventer for hvert element, og sammenlign den med kategorisignalene. Det hjelper deg å velge hvilke innsendinger som kan følge en rutinemessig vei, og hvilke som bør gå til en moderator.
Test også hele arbeidsflyten: En ventende oppgave bør ha en synlig ventestatus, et behandlingsproblem bør ha en vei for nye forsøk, og en moderator bør kunne korrigere en beslutning. Poyos oppgave-ID og statusfelt gir deg en måte å følge den prosessen på.
Velg terskelverdier per kategori ut fra disse eksemplene, og vurder dem på nytt når innholdsmønstrene eller den underliggende modellen endrer seg.
Vanlige spørsmål
Hva er AI-basert innholdsmoderering?
AI-basert innholdsmoderering bruker maskinlæring til å vurdere tekst og bilder for mulig skadelig innhold. Den returnerer signaler som hjelper en plattform med å anvende reglene sine, avgjøre hva som kan publiseres, og finne innsendinger som trenger manuell gjennomgang.
Er AI-basert innholdsmoderering gratis hos Poyo?
Kall til Omni Moderation hos Poyo koster null kreditter for støttede tekst- og bildeinndata. Du kan teste klassifiseringen uten å betale noe per modereringskall, og deretter bruke den samme modellen i applikasjonen din. Andre modeller, lagring og manuell gjennomgang har egne kostnader. Veiledningen om gratis moderering forklarer hvordan du planlegger dem.
Hvordan kan jeg prøve det uten å skrive kode?
Logg inn på Poyo Playground, skriv inn tekst, legg til ett bilde eller kombiner begge, og velg Kjør. Se på kategoriresultatene for den nye oppgaven når den er fullført. Playground håndterer autentiseringen, så du trenger ikke å opprette eller skrive inn en API-nøkkel manuelt for å prøve eksempler.
Hvilke resultater returnerer Poyo?
Fullførte vurderinger inneholder en samlet flagged-verdi, flagg for hver kategori, kategoriscorer og category_applied_input_types. Til sammen viser disse feltene hvilke mulige risikoer som ble oppdaget, og hvilke av inndatatypene som ble vurdert. Bruk dem til å konfigurere gjennomgangsregler, og tolk scorene som modellsignaler, ikke som garanterte beslutninger etter retningslinjene.
Hvordan kobler jeg moderering til det eksisterende produktet mitt?
Send inn støttet innhold med Poyo API-nøkkelen din, lagre oppgave-ID-en sammen med innholdsversjonen, og spør etter status eller konfigurer en callback ved fullføring. Applikasjonen din kan deretter koble resultatet til publisering, en forespørsel om endringer eller et eksisterende verktøy for manuell gjennomgang. Start med én innholdsflate og test rutingen før du legger til flere.
Start med Poyo Omni Moderation Playground og sammenlign resultatene med teamets egne beslutninger. For en mer inngående arbeidsflyt kan du lese veiledningen for bildemoderering, forklaringen av gratis tilgang og kostnader eller veiledningen i moderering av brukergenerert innhold for små team.