Poyos gratis API for bildemoderering hjelper deg med å vurdere profilbilder, fellesskapsbilder og produktopplastinger før du bestemmer hvordan de skal publiseres. Med Omni Moderation kan du gjennomgå ett bilde alene eller ta med bildeteksten i samme forespørsel.
Begynn i Playground for å se kategoriflagg og poengsummer for dine egne eksempler. Bruk deretter oppgavesporingen i Poyo og den valgfrie callbacken ved fullføring til å koble resultatene til publiseringsreglene og gjennomgangsverktøyene i applikasjonen din.
Denne guiden forklarer hvilke bildekategorier som støttes, hvordan du forbereder en opplasting, og hvordan du bygger en tydelig vei fra innsending til publisering eller videre gjennomgang. Du kan bruke prosessen på ett opplastingssted først og utvide den etter hvert som teamet får erfaring.
Hva bildemoderering bør gjøre for produktet ditt
Begynn med stedet der bildene vises, og hvem som skal se dem.
En avatar kan være synlig ved siden av hver eneste kommentar. Et fellesskapsbilde kan dukke opp i en offentlig feed. Et produktbilde kan stå ved siden av en annonse som krever kontroller utover visuell sikkerhet. Hvert sted kan kreve egne regler og ulik grad av forsiktighet før publisering.
Et produkt kan for eksempel godta et ikke-grafisk historisk bilde i en diskusjon, men avvise det samme bildet som profilbilde. Bildet er det samme; det er plasseringen og produktets regler som har endret seg.
Skriv ned hva som skal skje ved tre utfall: bildet oppfyller reglene, betydningen er uklar, eller det bryter tydelig en regel. Definer også et fjerde utfall for når en vurdering ikke er tilgjengelig. En behandlingsfeil skal ikke i det stille tolkes som en godkjenning.
Hva Omni Moderation sjekker i bilder
Poyo gir deg tilgang uten kredittkostnad til seks risikokategorier for bilder som dekker seksuelt innhold, vold og selvskading. Hver forespørsel tar imot én HTTPS-bilde-URL; legg til en bildetekst for å vurdere den oppgitte teksten sammen med bildet.
| Kategori | Hva signalet gjelder |
|---|---|
sexual | Seksuelt innhold |
violence | Vold |
violence/graphic | Grafisk vold |
self-harm | Innhold om selvskading |
self-harm/intent | Tegn på intensjon om selvskading |
self-harm/instructions | Instruksjoner om selvskading |
Bruk category_applied_input_types for å se om et resultat gjelder bildet, den oppgitte teksten eller begge. Tekstinndata støtter 13 kategorier, blant annet hat, trakassering, instruksjoner om ulovlige handlinger og sexual/minors. Disse kategoriene gjelder bare tekst og vurderer den oppgitte teksten; de er ikke bildekontroller. I en forespørsel med bare bilde betyr en poengsum på null og en tom liste over inndatatyper for en kategori som ikke støttes, at kategorien ikke ble vurdert.
For regler som avhenger av ord som står i selve bildet, bør du legge til et egnet trinn for tekstuttrekk og gjennomgå den uttrukne teksten. Regler om produktkvalitet, vannmerker, personopplysninger og forbudte varer trenger også egne kontroller. Video og animerte opplastinger krever en egen arbeidsflyt for utvalg av bilderuter, og lyd må behandles separat; å gjennomgå utvalgte bilderuter er ikke en vurdering av hele videoen eller lydsporet.
Omni Moderation er ikke en dedikert CSAM-detektor, og sexual/minors støtter bare tekst. Ikke send kjent eller mistenkt CSAM til OpenAIs Moderation API; følg den offisielle veiledningen om barnesikkerhet.
Poyos API-dokumentasjon beskriver hvilke inndata og svarfelt som støttes. Bruk denne dekningen til å velge kontrollene for hvert opplastingssted.
Forbered opplastingen før du ber om gjennomgang
Applikasjonen din trenger en bilderessurs som modereringstjenesten kan hente. Et filnavn som photo.jpg på brukerens enhet er ikke nok, og en nettside som viser et bilde, er ikke nødvendigvis bilde-URL-en.
Hold nye opplastinger utenfor offentlige feeder mens gjennomgangen pågår. Dette mellomlagringsområdet kan være en del av lagringssystemet du allerede har. Bruk tilgangskontroll, og velg en støttet leveringsmetode som lar tjenesten hente akkurat den filen uten å eksponere hele lagringskontoen.
Hvis metoden bruker en midlertidig HTTPS-URL, må du gi nok tid til behandling i kø og nye forsøk. Ikke legg sesjonslegitimasjon i URL-en, og unngå å skrive private bildelenker til logger som mange har tilgang til.
Valider opplastingen før du sender den til innholdsvurdering. Sjekk at den har forventet filtype og kan dekodes, og bruk grenser for filstørrelse og bildedimensjoner som passer for applikasjonen og leverandøren din. Dette er opplastingskontroller; en modereringspoengsum bekrefter ikke at en fil er teknisk trygg.
Registrer en stabil innholds-ID og versjon. Knytt oppgave-ID-en til den versjonen, slik at et resultat ikke ved et uhell godkjenner et bilde som brukeren byttet ut mens gjennomgangen pågikk.
En praktisk arbeidsflyt fra opplasting til publisering
En enkel prosess kan fungere uten et stort modereringsteam, så lenge statusene og ansvaret er tydelig definert.
| Fase | Hva som skjer | Hva brukeren ser |
|---|---|---|
| Lastet opp | Lagre filen og tildel innholdsversjon | Opplasting mottatt |
| Venter på gjennomgang | Send inn bildet og registrer oppgave-ID-en | Venter på gjennomgang |
| Vurdering fullført | Les oppgavestatus, støttede kategorier og poengsummer | Gjennomgangen fortsetter til det er tatt en produktbeslutning |
| Godkjent | Bruk produktreglene og gjør bildet synlig | Publisert |
| Manuell gjennomgang | Hold tilbake bildet og tildel en moderator | Venter på en beslutning |
| Avvist eller kunne ikke behandles | Forklar regelen eller det tekniske problemet og tilby et passende neste steg | En grunn til å redigere, prøve igjen eller klage |
Poyo leverer kategorivurderingen og oppgaveresultatet som binder disse fasene sammen. Bruk oppgave-ID-en eller callbacken ved fullføring til å oppdatere riktig opplasting i applikasjonen, og bruk deretter reglene dine til å publisere den, holde den tilbake for en moderator eller be om en endring. Det eksisterende publiseringssystemet og gjennomgangsverktøyene dine utfører selve handlingene.
Hold meldingene til brukerne konkrete. «Bildet ditt venter på gjennomgang» er nyttig mens behandlingen ikke er ferdig. «Vi kunne ikke behandle denne opplastingen; prøv igjen» beskriver et teknisk problem. Ingen av dem bør erstattes med «Bildet ditt bryter reglene våre» med mindre en faktisk innholdsbeslutning støtter den meldingen.
Send inn et bilde gjennom Poyo
Du kan teste et bilde i Omni Moderation Playground uten å skrive kode eller opprette en API-nøkkel manuelt. Logg inn, tøm tekstfeltet hvis du vil ha en kontroll av bare bildet, legg til ett bilde og velg Run. Bruk det nye oppgaveresultatet, ikke det lagrede eksemplet som vises først.
For en integrasjon sender du inn fra serveren din med en Poyo API-nøkkel:
curl -X POST https://api.poyo.ai/api/generate/submit \
-H "Authorization: Bearer YOUR_POYO_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "omni-moderation-latest",
"input": {
"image_urls": ["https://your-image-host.example/upload.jpg"]
}
}'
Erstatt eksempeldomenet med en tilgjengelig HTTPS-URL som peker til bildefilen. For en kodefri test med en lokal fil laster du opp bildet gjennom Playground; i API-forespørsler oppgir du den publiserte URL-en i input.image_urls.
For å ta med en bildetekst legger du til "prompt": "The caption being reviewed" inne i input. Har et innlegg flere bilder, sender du inn separate oppgaver og registrerer hvilket resultat som hører til hvilket bilde. At ett bilde godkjennes, skal ikke automatisk godkjenne resten.
Innsendingen returnerer en task_id. Hent statusen slik:
curl https://api.poyo.ai/api/generate/status/YOUR_TASK_ID \
-H "Authorization: Bearer YOUR_POYO_API_KEY"
En oppgave starter med not_started, kjører asynkront og avsluttes med finished eller failed. For fullførte oppgaver leser du resultatene under data.output.results.
Du kan også oppgi en callback_url på toppnivå i innsendingen. Callback-bodyen er statusdataobjektet uten den ytre innpakningen, så resultatene ligger under output.results. Verifiser callbacker i tråd med Poyos webhook-veiledning, og sørg for at handleren tåler gjentatt levering.
Gjør vurderingen om til en beslutning
Begynn med en regel i klarspråk for hver kategori som betyr noe for opplastingsstedet. Vurder deretter om modellsignalet hjelper deg med å håndheve regelen.
Et bilde som tydelig bryter retningslinjene dine, kan avvises etter de nødvendige kontrollene. Et akseptabelt bilde kan publiseres når alle påkrevde kontroller er ferdige. Tvetydige tilfeller bør bli liggende til gjennomgang i stedet for å tvinges frem til en beslutning fordi en tidsfrist gikk ut.
En høy poengsum er en grunn til å se nærmere på den aktuelle kategorien. Den er ingen prosentvis garanti for at retningslinjene er brutt. Tolkningen kan avhenge av om bildet er et kunstverk, en medisinsk illustrasjon, et nyhetsfoto eller et uformelt brukerbilde.
Bruk dine egne merkede eksempler til å velge terskler for ruting. Se etter akseptable bilder som ble holdt tilbake unødvendig, og etter forbudte bilder som slapp gjennom arbeidsflyten. Hvis du endrer en terskel, bør du sammenligne resultatene med de tidligere retningslinjene før du utvider de automatiske handlingene.
Registrer nok informasjon til å kunne forklare beslutninger: innholdsversjon, oppgave-ID, kategorisignaler, anvendt regel, eventuelt utfall fra moderator og tidspunkt for beslutningen. Fastsett oppbevaringstid og tilgangskontroll for disse dataene i stedet for å lagre alle originalbilder på ubestemt tid.
Håndter feil, endringer og klager
Et bilde kan ikke hentes. Sjekk at URL-en peker til selve bildet, fortsatt er gyldig og kan nås uten en brukersesjon. La opplastingen stå på vent mens du løser det tekniske problemet.
En forespørsel kjører fortsatt når siden slutter å vente. Ta vare på oppgave-ID-en og sjekk statusen. Sender du inn et duplikat med en gang, kan du ende opp med to oppgaver som gjennomgår samme versjon. Bruk et begrenset antall nye forsøk og en definert reserveløsning når behandlingen fortsatt er utilgjengelig.
En bruker bytter ut filen eller endrer bildeteksten. Behandle endringen som en ny versjon som må gjennomgås. En gammel godkjenning skal ikke gi tillatelse til nytt innhold. Kontroller de relevante inndataene på nytt, og sørg for at sene callbacker for den gamle versjonen ikke kan publisere den nye.
En bruker bestrider beslutningen. Tilby en klagevei med nok kontekst til at en person kan vurdere innholdet og regelen som ble brukt. En klage som får medhold, skal oppdatere publiseringsstatusen og etterlate en sporbar korrigering.
Et innlegg inneholder flere bilder. Gjør publiseringsregelen eksplisitt: vent for eksempel til alle påkrevde bildeoppgaver er fullført, eller la brukeren fjerne bildet som trenger gjennomgang. Ikke tolk ett vellykket resultat som en gjennomgang av hele innlegget.
Ofte stilte spørsmål
Hva er bildemoderering?
Bildemoderering er prosessen med å gjennomgå bilder opp mot en plattforms innholdsregler. Den kan kombinere automatiske kontroller med menneskelig skjønn for å avgjøre om en opplasting skal publiseres, holdes tilbake for gjennomgang eller avvises.
Er bildemoderering gratis på Poyo?
Bildekall til Omni Moderation på Poyo koster null kreditter. Du kan teste en støttet bildevurdering i Playground og deretter bruke den i applikasjonen din uten modereringsavgift per kall. Planlegg bildelagring, levering og eventuell manuell gjennomgang separat; guiden om gratis tilgang forklarer forskjellen.
Kan jeg gjennomgå et bilde og bildeteksten samtidig?
Ja. Legg til både input.image_urls med én HTTPS-bilde-URL og input.prompt med bildeteksten i samme forespørsel. I Playground oppgir du bildet og teksten sammen. Les category_applied_input_types for å se hvilke signaler som gjelder den oppgitte teksten, bildet eller begge.
Hvilke bilderisikoer kan jeg sjekke?
Omni Moderation støtter seks bildekategorier som dekker seksuelt innhold, vold, grafisk vold, selvskading, intensjon om selvskading og instruksjoner om selvskading. Poyo returnerer kategoriflagg og poengsummer som du kan bruke til å rute opplastinger etter dine egne regler. Avsnittet om funksjonalitet ovenfor forklarer hvilke inndata som dekkes, og hvilken ekstra behandling andre krav trenger.
Hvordan mottar jeg det ferdige bilderesultatet?
Lagre oppgave-ID-en som Poyo returnerer, og spør etter statusen, eller oppgi en callback_url for å få varsel når oppgaven er fullført. Les data.output.results i statussvar eller output.results i callbacker. Koble resultatet til riktig versjon av det opplastede bildet, og la deretter applikasjonen publisere det eller sende det til gjennomgangsverktøyet du allerede bruker.
Hvordan kan jeg teste bildemoderering uten kode?
Logg inn i Poyo Playground, legg til ett bilde, skriv eventuelt inn bildeteksten og velg Run. For en test av bare bildet tømmer du tekstfeltet. Se på den nylig fullførte oppgaven, og prøv representative eksempler på tillatt innhold før du setter opp automatiske publiseringsregler.
Prøv ett bilde i Poyo Playground, og koble deretter resultatet til en publiseringsregel teamet ditt kan forklare. Introduksjonen til AI-moderering forklarer svarfeltene, og guiden til moderering av brukergenerert innhold tar for seg den bredere teamprosessen.