Die kostenlose Bildmoderations-API von Poyo hilft Ihnen dabei, Profilfotos, Community-Bilder und Produkt-Uploads zu beurteilen, bevor Sie entscheiden, wie diese veröffentlicht werden. Mit Omni Moderation können Sie ein einzelnes Bild für sich prüfen oder seine Bildunterschrift in dieselbe Anfrage aufnehmen.
Starten Sie im Playground, um Kategorie-Flags und Scores für Ihre eigenen Beispiele zu sehen. Verwenden Sie anschließend die Aufgabenverfolgung von Poyo und den optionalen Abschluss-Callback, um diese Ergebnisse mit den Veröffentlichungsregeln und Prüfwerkzeugen Ihrer Anwendung zu verbinden.
Dieser Leitfaden erklärt die unterstützten Bildkategorien, wie Sie einen Upload vorbereiten und wie Sie einen klaren Ablauf von der Einreichung bis zur Veröffentlichung oder weiteren Prüfung aufbauen. Sie können den Prozess zunächst auf eine Upload-Oberfläche anwenden und ihn anschließend erweitern, wenn Ihr Team mehr Erfahrung sammelt.
Was die Bildmoderation für Ihr Produkt leisten sollte
Beginnen Sie mit dem Ort, an dem Bilder erscheinen, und damit, wer sie sehen wird.
Ein Avatar kann neben jedem Kommentar sichtbar sein. Ein Community-Foto kann in einem öffentlichen Feed erscheinen. Ein Produktbild kann neben einem Angebot stehen, für das zusätzlich zur visuellen Sicherheit weitere Prüfungen erforderlich sind. Jede Oberfläche kann vor der Veröffentlichung andere Regeln und ein unterschiedliches Maß an Vorsicht erfordern.
Ein Produkt könnte beispielsweise ein nicht-grafisches historisches Bild in einer Diskussion zulassen, es aber als Profilfoto ablehnen. Das Bild hat sich nicht verändert; sein Platzierungsort und die Regeln des Produkts haben sich verändert.
Halten Sie fest, was bei drei Ergebnissen geschehen soll: Das Bild entspricht den Regeln, seine Bedeutung ist unklar oder es verstößt eindeutig gegen eine Regel. Definieren Sie außerdem ein viertes Ergebnis für eine nicht verfügbare Bewertung. Ein Verarbeitungsfehler sollte nicht stillschweigend als Freigabe interpretiert werden.
Was Omni Moderation bei Bildern prüft
Poyo bietet Ihnen einen Zugriff ohne Credit-Verbrauch auf sechs Bildrisikokategorien, die sexuelle Inhalte, Gewalt und Selbstverletzung abdecken. Jede Anfrage akzeptiert eine HTTPS-Bild-URL; fügen Sie eine Bildunterschrift hinzu, um den bereitgestellten Text zusammen mit dem Bild zu beurteilen.
| Kategorie | Worauf sich das Signal bezieht |
|---|---|
sexual | Sexuelle Inhalte |
violence | Gewalt |
violence/graphic | Grafische Gewaltdarstellungen |
self-harm | Inhalte zu Selbstverletzung |
self-harm/intent | Hinweise auf die Absicht zur Selbstverletzung |
self-harm/instructions | Anleitungen zur Selbstverletzung |
Verwenden Sie category_applied_input_types, um zu sehen, ob ein Ergebnis für das Bild, den bereitgestellten Text oder beides gilt. Die Texteingabe unterstützt 13 Kategorien, darunter Hass, Belästigung, Anleitungen zu illegalen Aktivitäten und sexual/minors. Diese reinen Textkategorien bewerten den bereitgestellten Text; sie sind keine Bildprüfungen. Bei einer reinen Bildanfrage bedeuten ein Score von null und eine leere Liste der Eingabetypen für eine nicht unterstützte Kategorie, dass diese nicht bewertet wurde.
Für Regeln, die von Wörtern abhängen, die in einem Bild eingebettet sind, fügen Sie einen geeigneten Schritt zur Texterkennung hinzu und prüfen Sie den extrahierten Text. Produktqualität, Wasserzeichen, personenbezogene Daten und Regeln zu verbotenen Gegenständen erfordern ebenfalls eigene Prüfungen. Video- und animierte Uploads benötigen einen separaten Workflow zur Frame-Auswahl, und Audio erfordert eine separate Verarbeitung; die Prüfung ausgewählter Frames bewertet weder ein gesamtes Video noch dessen Tonspur.
Omni Moderation ist kein dedizierter CSAM-Detektor, und sexual/minors unterstützt ausschließlich Text. Übermitteln Sie keine bekannten oder vermuteten CSAM-Inhalte an die Moderation API von OpenAI; befolgen Sie die offiziellen Richtlinien zur Kindersicherheit.
Die Poyo API-Dokumentation beschreibt die unterstützten Eingaben und Antwortfelder. Nutzen Sie diesen Abdeckungsumfang, um die Prüfungen für jede Upload-Oberfläche auszuwählen.
Bereiten Sie den Upload vor der Prüfungsanfrage vor
Ihre Anwendung benötigt eine Bildressource, die der Moderationsdienst abrufen kann. Ein Dateiname wie photo.jpg auf dem Gerät eines Benutzers reicht nicht aus, und eine Webseite, auf der ein Bild angezeigt wird, ist nicht zwangsläufig die Bild-URL.
Halten Sie neue Uploads aus öffentlichen Feeds heraus, solange die Prüfung noch aussteht. Dieser Zwischenbereich kann Teil Ihres bestehenden Speichersystems sein. Wenden Sie Zugriffskontrollen an und wählen Sie eine unterstützte Bereitstellungsmethode, mit der der Dienst die konkrete Datei abrufen kann, ohne Zugriff auf Ihr gesamtes Speicherkonto zu erhalten.
Wenn diese Methode eine temporäre HTTPS-URL verwendet, planen Sie ausreichend Zeit für die Verarbeitung in der Warteschlange und Wiederholungsversuche ein. Fügen Sie keine Sitzungsanmeldedaten in die URL ein und vermeiden Sie es, private Bildlinks in allgemein zugänglichen Protokollen zu speichern.
Validieren Sie den Upload, bevor Sie ihn zur Inhaltsbewertung senden. Prüfen Sie, ob es sich um einen erwarteten Dateityp handelt und ob die Datei dekodiert werden kann, und wenden Sie für Ihre Anwendung und Ihren Anbieter geeignete Grenzen für Dateigröße und Bildabmessungen an. Das sind Upload-Prüfungen; ein Moderationsscore validiert nicht die technische Sicherheit einer Datei.
Speichern Sie eine stabile Inhalts-ID und Version. Verknüpfen Sie die Aufgaben-ID mit dieser Version, damit ein Ergebnis nicht versehentlich ein Bild freigibt, das der Benutzer während der Prüfung ersetzt hat.
Ein praktischer Workflow vom Upload bis zur Veröffentlichung
Ein einfacher Prozess kann ohne ein großes Moderationsteam funktionieren, sofern Status und Verantwortlichkeiten eindeutig festgelegt sind.
| Phase | Was geschieht | Was der Benutzer sieht |
|---|---|---|
| Hochgeladen | Datei speichern und Inhaltsversion zuweisen | Upload empfangen |
| Prüfung ausstehend | Bild übermitteln und Aufgaben-ID speichern | Prüfung ausstehend |
| Bewertung abgeschlossen | Aufgabenstatus, unterstützte Kategorien und Scores auslesen | Prüfung wird fortgesetzt, bis eine Produktentscheidung getroffen wurde |
| Freigegeben | Produktregeln anwenden und Bild sichtbar machen | Veröffentlicht |
| Menschliche Prüfung | Bild zurückhalten und einem Prüfer zuweisen | Entscheidung ausstehend |
| Abgelehnt oder Verarbeitung nicht möglich | Regel oder technisches Problem erklären und einen geeigneten nächsten Schritt anbieten | Grund zum Bearbeiten, erneuten Versuchen oder Einspruch einlegen |
Poyo stellt die Kategoriebewertung und das Aufgabenergebnis bereit, die diese Phasen miteinander verbinden. Verwenden Sie die Aufgaben-ID oder den Abschluss-Callback, um den passenden Upload in Ihrer Anwendung zu aktualisieren, und wenden Sie anschließend Ihre Regeln an, um ihn zu veröffentlichen, für einen Prüfer zurückzuhalten oder eine Änderung anzufordern. Ihr bestehendes Veröffentlichungssystem und Ihre Prüfwerkzeuge führen diese Aktionen aus.
Halten Sie benutzerseitige Nachrichten spezifisch. „Ihr Foto wartet auf die Prüfung“ ist hilfreich, solange die Verarbeitung noch nicht abgeschlossen ist. „Wir konnten diesen Upload nicht verarbeiten; bitte versuchen Sie es erneut“ beschreibt ein technisches Problem. Keine dieser Nachrichten sollte durch „Ihr Bild verstößt gegen unsere Regeln“ ersetzt werden, es sei denn, eine Inhaltsentscheidung unterstützt diese Aussage tatsächlich.
Ein Bild über Poyo übermitteln
Sie können ein Bild im Omni Moderation Playground testen, ohne Code zu schreiben oder manuell einen API-Schlüssel zu erstellen. Melden Sie sich an, löschen Sie den Text, wenn Sie eine reine Bildprüfung durchführen möchten, fügen Sie ein Bild hinzu und wählen Sie „Run“. Verwenden Sie zunächst das neue Aufgabenergebnis anstelle des aufgezeichneten Beispiels, das anfänglich angezeigt wird.
Für eine Integration übermitteln Sie die Anfrage von Ihrem Server aus mit einem Poyo API-Schlüssel:
curl -X POST https://api.poyo.ai/api/generate/submit \
-H "Authorization: Bearer YOUR_POYO_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "omni-moderation-latest",
"input": {
"image_urls": ["https://your-image-host.example/upload.jpg"]
}
}'
Ersetzen Sie die Beispieldomain durch eine zugängliche HTTPS-URL, die auf die Bilddatei verweist. Für einen No-Code-Test mit einer lokalen Datei laden Sie das Bild über den Playground hoch; für API-Anfragen geben Sie dessen gehostete URL in input.image_urls an.
Um eine Bildunterschrift einzubeziehen, fügen Sie "prompt": "The caption being reviewed" innerhalb von input hinzu. Für mehrere Bilder in einem Beitrag übermitteln Sie separate Aufgaben und speichern Sie, welches Ergebnis zu welchem Bild gehört. Die Freigabe eines Bildes sollte nicht automatisch die übrigen Bilder freigeben.
Die Übermittlung gibt eine task_id zurück. Rufen Sie den Status ab mit:
curl https://api.poyo.ai/api/generate/status/YOUR_TASK_ID \
-H "Authorization: Bearer YOUR_POYO_API_KEY"
Eine Aufgabe beginnt mit not_started, wird asynchron ausgeführt und endet mit finished oder failed. Bei abgeschlossenen Aufgaben lesen Sie die Ergebnisse unter data.output.results aus.
Sie können bei der Übermittlung auch ein callback_url auf oberster Ebene angeben. Der Callback-Body ist das Statusdatenobjekt ohne den äußeren Wrapper, daher befinden sich die Ergebnisse unter output.results. Verifizieren Sie Callbacks anhand der Poyo Webhook-Anleitung und sorgen Sie dafür, dass Ihr Handler wiederholte Zustellungen toleriert.
Die Bewertung in eine Entscheidung umwandeln
Beginnen Sie mit einer klaren, leicht verständlichen Regel für jede Kategorie, die für die jeweilige Oberfläche relevant ist. Bewerten Sie anschließend, ob das Modellsignal dabei hilft, diese Regel anzuwenden.
Ein Bild, das eindeutig gegen Ihre Richtlinie verstößt, kann nach den entsprechenden Prüfungen abgelehnt werden. Ein zulässiges Bild kann veröffentlicht werden, sobald alle erforderlichen Prüfungen abgeschlossen sind. Unklare Fälle sollten in der Prüfung verbleiben, anstatt aufgrund des Ablaufs eines Timers zu einer Entscheidung gezwungen zu werden.
Ein hoher Score ist ein Grund, die entsprechende Kategorie zu untersuchen. Er ist keine prozentuale Garantie für einen Richtlinienverstoß. Die Interpretation kann davon abhängen, ob es sich bei dem Bild um ein Kunstwerk, eine medizinische Illustration, ein Nachrichtenfoto oder ein beiläufiges Benutzerfoto handelt.
Verwenden Sie Ihre eigenen gekennzeichneten Beispiele, um Routing-Schwellenwerte festzulegen. Prüfen Sie sowohl zulässige Bilder, die unnötigerweise zurückgehalten wurden, als auch verbotene Bilder, die der Workflow übersehen hat. Wenn Sie einen Schwellenwert ändern, vergleichen Sie die Ergebnisse mit Ihrer bisherigen Richtlinie, bevor Sie automatische Aktionen ausweiten.
Speichern Sie genügend Informationen, um Entscheidungen zu erklären: Inhaltsversion, Aufgaben-ID, Kategoriesignale, angewandte Regel, gegebenenfalls das Ergebnis der menschlichen Prüfung und Entscheidungszeitpunkt. Legen Sie Aufbewahrungs- und Zugriffskontrollen für diese Aufzeichnungen fest, anstatt jedes Rohbild auf unbestimmte Zeit zu speichern.
Fehler, Änderungen und Einsprüche behandeln
Ein Bild kann nicht abgerufen werden. Prüfen Sie, ob die URL direkt auf das Bild verweist, weiterhin gültig und ohne Benutzersitzung erreichbar ist. Halten Sie den Upload ausstehend, während Sie das technische Problem beheben.
Eine Anfrage läuft noch, wenn die Seite nicht länger wartet. Bewahren Sie die Aufgaben-ID auf und prüfen Sie deren Status. Eine sofortige doppelte Übermittlung kann dazu führen, dass zwei Aufgaben dieselbe Version prüfen. Verwenden Sie begrenzte Wiederholungsversuche und einen definierten Fallback, wenn die Verarbeitung weiterhin nicht verfügbar ist.
Ein Benutzer ersetzt die Datei oder ändert ihre Bildunterschrift. Behandeln Sie die Änderung als eine neue zu prüfende Version. Eine alte Freigabe sollte keine neuen Inhalte autorisieren. Prüfen Sie die relevanten Eingaben erneut und stellen Sie sicher, dass verspätete Callbacks für die alte Version nicht die neue Version veröffentlichen können.
Ein Benutzer bestreitet die Entscheidung. Bieten Sie einen Einspruchsweg mit ausreichend Kontext, damit eine Person den Inhalt und die angewandte Regel beurteilen kann. Ein erfolgreicher Einspruch sollte den Veröffentlichungsstatus aktualisieren und eine nachvollziehbare Korrektur hinterlassen.
Ein Beitrag enthält mehrere Bilder. Legen Sie die Veröffentlichungsregel eindeutig fest: Warten Sie beispielsweise, bis jede erforderliche Bildaufgabe abgeschlossen ist, oder erlauben Sie dem Benutzer, das zu prüfende Bild zu entfernen. Interpretieren Sie ein erfolgreiches Ergebnis nicht als Prüfung des gesamten Beitrags.
Häufig gestellte Fragen
Was ist Bildmoderation?
Bildmoderation ist der Prozess, Bilder anhand der Inhaltsregeln einer Plattform zu prüfen. Sie kann automatisierte Prüfungen mit menschlicher Beurteilung kombinieren, um zu entscheiden, ob ein Upload veröffentlicht, zur Prüfung zurückgehalten oder abgelehnt werden soll.
Ist die Bildmoderation bei Poyo kostenlos?
Poyos Bildanfragen an Omni Moderation kosten null Credits. Sie können eine unterstützte Bildbewertung im Playground testen und sie anschließend in Ihrer Anwendung verwenden, ohne dass eine Moderationsgebühr pro Anfrage anfällt. Planen Sie Bildspeicherung, Bereitstellung und eine etwaige menschliche Prüfung separat ein; der Leitfaden zum kostenlosen Zugriff erklärt den Unterschied.
Kann ich ein Bild und seine Bildunterschrift gemeinsam prüfen?
Ja. Fügen Sie sowohl input.image_urls mit einer HTTPS-Bild-URL als auch input.prompt mit der Bildunterschrift derselben Anfrage hinzu. Geben Sie im Playground Bild und Text gemeinsam an. Lesen Sie category_applied_input_types, um zu sehen, welche Signale für den bereitgestellten Text, das Bild oder beides gelten.
Welche Bildrisiken kann ich prüfen?
Omni Moderation unterstützt sechs Bildkategorien für sexuelle Inhalte, Gewalt, grafische Gewalt, Selbstverletzung, die Absicht zur Selbstverletzung und Anleitungen zur Selbstverletzung. Poyo gibt Kategorie-Flags und Scores zurück, die Sie verwenden können, um Uploads gemäß Ihren Regeln weiterzuleiten. Der Abschnitt zur Leistungsabdeckung oben erklärt den Umfang der Eingaben und die zusätzliche Verarbeitung für andere Anforderungen.
Wie erhalte ich das abgeschlossene Bildergebnis?
Speichern Sie die zurückgegebene Poyo-Aufgaben-ID und fragen Sie deren Status ab, oder geben Sie ein callback_url für eine Abschlussbenachrichtigung an. Lesen Sie data.output.results in Statusantworten oder output.results in Callbacks aus. Ordnen Sie das Ergebnis der Version des hochgeladenen Bildes zu und lassen Sie Ihre Anwendung es anschließend veröffentlichen oder an Ihr bestehendes Prüfwerkzeug senden.
Wie kann ich die Bildmoderation ohne Code testen?
Melden Sie sich im Poyo Playground an, fügen Sie ein Bild hinzu, geben Sie optional dessen Bildunterschrift ein und wählen Sie „Run“. Löschen Sie für einen reinen Bildtest das Textfeld. Prüfen Sie die neu abgeschlossene Aufgabe und testen Sie repräsentative zulässige Beispiele, bevor Sie Regeln für die automatische Veröffentlichung konfigurieren.
Testen Sie ein Bild im Poyo Playground und verbinden Sie das Ergebnis anschließend mit einer Veröffentlichungsregel, die Ihr Team erklären kann. Die Einführung in die KI-Moderation erläutert die Antwortfelder, und der Leitfaden zur UGC-Moderation behandelt den umfassenderen Teamprozess.