Poyos gratis API til billedmoderering hjælper dig med at vurdere profilbilleder, fællesskabsbilleder og produktuploads, før du beslutter, hvordan de skal udgives. Med Omni Moderation kan du gennemgå ét billede for sig eller medtage dets billedtekst i samme anmodning.
Start i Playground for at se kategoriflag og scorer for dine egne eksempler. Brug derefter Poyos opgavesporing og det valgfrie callback ved fuldførelse til at koble resultaterne til din applikations udgivelsesregler og gennemgangsværktøjer.
Denne guide forklarer de understøttede billedkategorier, hvordan du forbereder en upload, og hvordan du bygger en tydelig vej fra indsendelse til udgivelse eller yderligere gennemgang. Du kan først anvende processen på én uploadflade og derefter udvide den, efterhånden som dit team får erfaring.
Hvad billedmoderering bør gøre for dit produkt
Start med det sted, hvor billederne vises, og hvem der får dem at se.
En avatar kan være synlig ved siden af hver kommentar. Et fællesskabsbillede kan optræde i et offentligt feed. Et produktbillede kan stå ved en annonce, som kræver flere kontroller end blot visuel sikkerhed. Hver flade kan have brug for forskellige regler og forskellig grad af forsigtighed, før noget udgives.
Et produkt kan for eksempel acceptere et ikke-grafisk historisk billede i en diskussion, men afvise det som profilbillede. Billedet er ikke ændret; det er dets placering og produktets regler, der er forskellige.
Beskriv, hvad der skal ske i tre tilfælde: billedet overholder reglerne, dets betydning er uklar, eller det overtræder tydeligt en regel. Definér også et fjerde udfald, hvor vurderingen ikke er tilgængelig. En behandlingsfejl må ikke stiltiende tolkes som en godkendelse.
Hvad Omni Moderation kontrollerer i billeder
Poyo giver dig adgang uden kreditforbrug til seks risikokategorier for billeder, som dækker seksuelt indhold, vold og selvskade. Hver anmodning accepterer én HTTPS-billed-URL; tilføj en billedtekst for at vurdere den medfølgende tekst sammen med billedet.
| Kategori | Hvad signalet vedrører |
|---|---|
sexual | Seksuelt indhold |
violence | Vold |
violence/graphic | Grafisk vold |
self-harm | Indhold om selvskade |
self-harm/intent | Tegn på hensigt om selvskade |
self-harm/instructions | Instruktioner til selvskade |
Brug category_applied_input_types til at se, om et resultat gælder billedet, den medfølgende tekst eller begge dele. Tekstinput understøtter 13 kategorier, herunder hadefuldt indhold, chikane, ulovlige instruktioner og sexual/minors. Disse kategorier, der kun gælder tekst, vurderer den medfølgende tekst; de er ikke billedkontroller. I en anmodning med kun et billede betyder en score på nul og en tom liste over inputtyper for en ikke-understøttet kategori, at kategorien ikke er vurderet.
Hvis dine regler afhænger af ord, der er indlejret i et billede, skal du tilføje et passende trin til tekstudtrækning og gennemgå den udtrukne tekst. Produktkvalitet, vandmærker, personoplysninger og regler om forbudte varer kræver også deres egne kontroller. Video og animerede uploads kræver en separat arbejdsgang til udvælgelse af billedrammer, og lyd kræver separat behandling; en gennemgang af udvalgte billedrammer vurderer hverken en hel video eller dens lydspor.
Omni Moderation er ikke en dedikeret CSAM-detektor, og sexual/minors understøtter kun tekst. Send ikke kendt eller formodet CSAM til OpenAI's Moderation API; følg den officielle vejledning om børnesikkerhed.
Poyos API-dokumentation beskriver de understøttede input og svarfelter. Brug denne dækning til at vælge kontrollerne for hver uploadflade.
Forbered uploaden, før du anmoder om en gennemgang
Din applikation har brug for en billedressource, som modereringstjenesten kan hente. Et filnavn som photo.jpg på en brugers enhed er ikke nok, og en webside, der viser et billede, er ikke nødvendigvis billedets URL.
Hold nye uploads uden for offentlige feeds, mens gennemgangen afventer. Dette mellemlager kan være en del af dit eksisterende lagersystem. Anvend adgangskontrol, og vælg en understøttet leveringsmetode, så tjenesten kan hente netop den pågældende fil uden at få adgang til hele din lagerkonto.
Hvis metoden bruger en midlertidig HTTPS-URL, skal du sætte tilstrækkelig tid af til køet behandling og nye forsøg. Medtag ikke sessionsoplysninger i URL'en, og undgå at lægge private billedlinks i logfiler, som mange har adgang til.
Validér uploaden, før du sender den til indholdsvurdering. Kontrollér, at filtypen er den forventede, og at filen kan afkodes, og anvend grænser for filstørrelse og billeddimensioner, der passer til din applikation og din udbyder. Det er uploadkontroller; en modereringsscore validerer ikke en fils tekniske sikkerhed.
Gem et stabilt indholds-ID og en version. Knyt opgave-ID'et til den pågældende version, så et resultat ikke ved et uheld kan godkende et billede, som brugeren har udskiftet, mens gennemgangen kørte.
En praktisk arbejdsgang fra upload til udgivelse
En enkel proces kan fungere uden et stort modereringsteam, så længe statusserne og ansvarsområderne er tydelige.
| Fase | Hvad der sker | Hvad brugeren ser |
|---|---|---|
| Uploadet | Gem filen, og tildel den en indholdsversion | Upload modtaget |
| Afventer gennemgang | Send billedet, og gem opgave-ID'et | Afventer gennemgang |
| Vurdering fuldført | Læs opgavestatus, understøttede kategorier og scorer | Gennemgangen fortsætter, indtil der er truffet en produktbeslutning |
| Godkendt | Anvend produktreglerne, og gør billedet synligt | Udgivet |
| Menneskelig gennemgang | Hold billedet tilbage, og tildel en gennemgår | Afventer en beslutning |
| Afvist eller kunne ikke behandles | Forklar reglen eller det tekniske problem, og tilbyd et passende næste skridt | En begrundelse for at redigere, prøve igen eller klage |
Poyo leverer kategorivurderingen og opgaveresultatet, som forbinder disse faser. Brug opgave-ID'et eller callback ved fuldførelse til at opdatere den tilsvarende upload i din applikation, og anvend derefter dine regler til at udgive den, holde den tilbage til en gennemgår eller bede om en ændring. Dit eksisterende udgivelsessystem og dine gennemgangsværktøjer udfører disse handlinger.
Hold beskeder til brugeren specifikke. "Dit billede afventer gennemgang" er nyttigt, mens behandlingen ikke er afsluttet. "Vi kunne ikke behandle denne upload; prøv igen" beskriver et teknisk problem. Ingen af dem bør erstattes af "Dit billede overtræder vores regler", medmindre en indholdsmæssig beslutning faktisk understøtter den besked.
Send et billede via Poyo
Du kan teste et billede i Omni Moderation Playground uden at skrive kode eller oprette en API-nøgle manuelt. Log ind, ryd teksten, hvis du vil have en kontrol af kun billedet, tilføj ét billede, og vælg Run. Brug det nye opgaveresultat frem for det optagede eksempel, der vises fra start.
Til en integration sender du fra din server med en Poyo API-nøgle:
curl -X POST https://api.poyo.ai/api/generate/submit \
-H "Authorization: Bearer YOUR_POYO_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "omni-moderation-latest",
"input": {
"image_urls": ["https://your-image-host.example/upload.jpg"]
}
}'
Erstat eksempeldomænet med en tilgængelig HTTPS-URL, der peger på billedfilen. Til en afprøvning uden kode med en lokal fil uploader du billedet via Playground; til API-anmodninger angiver du den hostede URL i input.image_urls.
Hvis du vil medtage en billedtekst, skal du tilføje "prompt": "The caption being reviewed" inde i input. Hvis et opslag indeholder flere billeder, skal du sende separate opgaver og notere, hvilket resultat der hører til hvilket billede. Godkendelse af ét billede bør ikke automatisk godkende resten.
Indsendelsen returnerer et task_id. Hent status med:
curl https://api.poyo.ai/api/generate/status/YOUR_TASK_ID \
-H "Authorization: Bearer YOUR_POYO_API_KEY"
En opgave starter med not_started, kører asynkront og slutter med finished eller failed. For fuldførte opgaver finder du resultaterne under data.output.results.
Du kan også angive en callback_url på øverste niveau i indsendelsen. Callback-indholdet er statusdataobjektet uden det yderste omslag, så resultaterne ligger under output.results. Verificér callbacks ud fra Poyos vejledning om webhooks, og sørg for, at din handler kan tåle gentagne leveringer.
Gør vurderingen til en beslutning
Begynd med en regel i almindeligt sprog for hver kategori, der er relevant for fladen. Vurdér derefter, om modellens signal hjælper med at anvende reglen.
Et billede, der tydeligt overtræder din politik, kan afvises efter de relevante kontroller. Et acceptabelt billede kan udgives, når alle påkrævede kontroller er færdige. Tvetydige tilfælde bør blive i gennemgang i stedet for at blive tvunget til en beslutning, fordi en timer er udløbet.
En høj score er en grund til at se nærmere på den tilsvarende kategori. Det er ikke en procentvis garanti for en politikovertrædelse. Fortolkningen kan afhænge af, om billedet er et kunstværk, en medicinsk illustration, et nyhedsfoto eller et almindeligt brugerbillede.
Brug dine egne mærkede eksempler til at vælge tærskler for routing. Kontrollér acceptable billeder, der holdes tilbage unødigt, og forbudte billeder, som arbejdsgangen overser. Hvis du ændrer en tærskel, skal du sammenligne resultaterne med din tidligere politik, før du udvider de automatiske handlinger.
Gem nok oplysninger til at kunne forklare beslutninger: indholdsversion, opgave-ID, kategorisignaler, anvendt regel, eventuelt udfald af menneskelig gennemgang og tidspunkt for beslutningen. Fastsæt opbevaring og adgangskontrol for denne registrering i stedet for at gemme alle rå billeder på ubestemt tid.
Håndtér fejl, redigeringer og klager
Et billede kan ikke hentes. Kontrollér, at URL'en peger på selve billedet, stadig er gyldig og kan nås uden en brugersession. Lad uploaden afvente, mens du løser det tekniske problem.
En anmodning kører stadig, når siden holder op med at vente. Gem opgave-ID'et, og kontrollér dets status. Hvis du straks sender en dublet, kan to opgaver ende med at gennemgå den samme version. Brug begrænsede genforsøg og en defineret fallback, hvis behandlingen fortsat er utilgængelig.
En bruger udskifter filen eller ændrer billedteksten. Behandl ændringen som en ny version, der skal gennemgås. En gammel godkendelse bør ikke give tilladelse til nyt indhold. Kontrollér de relevante input igen, og sørg for, at sene callbacks for den gamle version ikke kan udgive den nye.
En bruger bestrider beslutningen. Tilbyd en klagevej med nok kontekst til, at et menneske kan vurdere indholdet og den anvendte regel. En klage, der får medhold, bør opdatere udgivelsesstatus og efterlade en revisionssikker rettelse.
Et opslag indeholder flere billeder. Gør udgivelsesreglen eksplicit: vent for eksempel, indtil alle påkrævede billedopgaver er fuldført, eller lad brugeren fjerne det billede, der skal gennemgås. Tolk ikke ét vellykket resultat som en gennemgang af hele opslaget.
Ofte stillede spørgsmål
Hvad er billedmoderering?
Billedmoderering er processen med at gennemgå billeder i forhold til en platforms indholdsregler. Den kan kombinere automatiske kontroller med menneskelig vurdering for at afgøre, om en upload skal udgives, holdes tilbage til gennemgang eller afvises.
Er billedmoderering gratis hos Poyo?
Poyos Omni Moderation-kald for billeder koster nul kreditter. Du kan teste en understøttet billedvurdering i Playground og derefter bruge den i din applikation uden en modereringsafgift pr. kald. Planlæg lagring og levering af billeder samt eventuel menneskelig gennemgang separat; guiden om gratis adgang forklarer forskellen.
Kan jeg gennemgå et billede og dets billedtekst samtidig?
Ja. Tilføj både input.image_urls med én HTTPS-billed-URL og input.prompt med billedteksten til den samme anmodning. I Playground angiver du billedet og teksten sammen. Læs category_applied_input_types for at se, hvilke signaler der gælder den medfølgende tekst, billedet eller begge dele.
Hvilke billedrisici kan jeg kontrollere?
Omni Moderation understøtter seks billedkategorier, som dækker seksuelt indhold, vold, grafisk vold, selvskade, hensigt om selvskade og instruktioner til selvskade. Poyo returnerer kategoriflag og scorer, som du kan bruge til at route uploads efter dine regler. Afsnittet om funktionerne ovenfor forklarer inputdækningen og den ekstra behandling, der kræves til andre behov.
Hvordan modtager jeg det færdige billedresultat?
Gem det returnerede Poyo-opgave-ID, og forespørg på dets status, eller angiv en callback_url for at få en notifikation ved fuldførelse. Læs data.output.results i statussvar eller output.results i callbacks. Match resultatet med den uploadede billedversion, og lad derefter din applikation udgive det eller sende det til dit eksisterende gennemgangsværktøj.
Hvordan tester jeg billedmoderering uden kode?
Log ind på Poyo Playground, tilføj ét billede, indtast eventuelt dets billedtekst, og vælg Run. Til en test af kun billedet skal du rydde tekstfeltet. Se på den nyligt fuldførte opgave, og prøv repræsentative tilladte eksempler, før du konfigurerer automatiske udgivelsesregler.
Prøv ét billede i Poyo Playground, og kobl derefter resultatet til en udgivelsesregel, som dit team kan redegøre for. Introduktionen til AI-moderering forklarer svarfelterne, og guiden til UGC-moderering beskriver den bredere teamproces.