Poyo bietet Teams kostenlosen Zugang zur KI-Content-Moderation für Text, Bilder und Text mit einem Bild. Sie können omni-moderation-latest von OpenAI im Playground testen, Kategorie-Flags und Scores prüfen und dasselbe Poyo-Konto verwenden, um Moderation in Ihren Modell-Workflow zu integrieren.
Für eine Community kann das bedeuten, einen Beitrag vor der Veröffentlichung zu prüfen. Bei einem Bildprodukt kann es bedeuten, einen Upload zusammen mit seiner Bildunterschrift zu bewerten. Bei einem KI-Assistenten kann es bedeuten, eine Nachricht oder generierte Antwort zu prüfen, bevor entschieden wird, wie sie präsentiert werden soll.
Beginnen Sie mit einigen repräsentativen Beispielen im Playground. Wenn Sie bereit für die Integration sind, stellt Poyo eine Aufgaben-ID, eine Statusverfolgung und optional einen Abschluss-Callback bereit, sodass Ihre Anwendung das Ergebnis mit ihren Veröffentlichungs- und Prüfregeln verknüpfen kann.
Was ist KI-Content-Moderation
KI-Content-Moderation verwendet automatisierte Klassifizierung, um Teams dabei zu unterstützen, Nutzereingaben anhand der Regeln ihrer Plattform zu bewerten. Sie kann potenzielle Risiken in Texten und Bildern erkennen und Prüfern und Anwendungen eine konsistente Reihe von Signalen zur Verfügung stellen.
Mit Poyo umfassen diese Signale ein allgemeines Risiko-Flag, einzelne Kategorie-Flags, Konfidenzwerte und die für jede Kategorie verwendeten Eingabetypen. Eine Diskussionsseite kann sie verwenden, um Kommentare zu identifizieren, die Aufmerksamkeit erfordern, während ein Fotoprodukt Bilder prüfen kann, bevor sie in eine öffentliche Galerie gelangen.
Ihr Produkt kann das Ergebnis mit Aktionen wie Veröffentlichen, Bearbeitung anfordern oder menschliche Prüfung zuweisen verknüpfen. Dies gibt dem Team einen definierten Ausgangspunkt und bewahrt zugleich die Kontrolle über die eigenen Regeln.
Der Zweck besteht hier darin, Inhalte auf potenziellen Schaden zu prüfen. Die Feststellung, ob ein Text oder ein Bild von einer KI erzeugt wurde, ist eine separate Aufgabe.
Was Omni Moderation erkennen kann
Die Omni-Moderation-Integration von Poyo unterstützt mehrsprachigen Text, ein Bild oder Text zusammen mit einem Bild. Text umfasst 13 Kategorien, und sechs Kategorien unterstützen auch Bilder. Dadurch erhalten Teams einen gemeinsamen Satz von Feldern zur Prüfung von Kommentaren, Bildunterschriften und hochgeladenen Bildern.
| Risikogruppe | Antwortkategorien | Text | Bilder |
|---|---|---|---|
| Belästigung | harassment, harassment/threatening | Unterstützt | Nur Text |
| Hass | hate, hate/threatening | Unterstützt | Nur Text |
| Illegale Anweisungen | illicit, illicit/violent | Unterstützt | Nur Text |
| Selbstverletzung | self-harm, self-harm/intent, self-harm/instructions | Unterstützt | Unterstützt |
| Sexuelle Inhalte | sexual | Unterstützt | Unterstützt |
| Sexuelle Inhalte mit Minderjährigen | sexual/minors | Unterstützt | Nur Text |
| Gewalt | violence, violence/graphic | Unterstützt | Unterstützt |
Verwenden Sie category_applied_input_types, um zu sehen, welche Eingaben jedes Ergebnis abdeckt. Mit „Nur Text“ gekennzeichnete Kategorien gelten für den bereitgestellten Text; ein Wert von null bei einer nicht unterstützten Bildkategorie bedeutet, dass diese für das Bild nicht bewertet wurde.
Sie können diese Prüfung um eigene Regeln für Ihren Marktplatz oder Ihre Community erweitern, etwa Werbeeinschränkungen und Qualitätsprüfungen. Wenn ein Workflow von in ein Bild eingebettetem Text, Audiotranskripten oder ausgewählten Videoframes abhängt, bereiten Sie dieses Material separat vor und übermitteln Sie den unterstützten Text oder das unterstützte Bild zur Bewertung. Das Ergebnis deckt die bereitgestellten Eingaben ab.
Die Kategorie sexual/minors ist nur für Text vorgesehen. Bekanntes oder mutmaßliches Material sexuellen Kindesmissbrauchs darf nicht an die Moderation API von OpenAI übermittelt werden; befolgen Sie in diesem Fall die offiziellen Kinderschutzrichtlinien.
Weitere Informationen zu Anfrageformaten und den unterstützten Feldern finden Sie in der Poyo-Dokumentation zu Omni Moderation.
Wo KI-Moderation in Ihr Produkt passt
Der beste Zeitpunkt für die Einführung von Moderation ist ein konkreter Moment, in dem Nutzerinhalte sichtbar werden oder eine andere Person erreichen.
Bei einer Community kann dieser Moment das Veröffentlichen eines Kommentars sein. Bei einem Dienst zum Teilen von Bildern kann es das Hinzufügen eines Fotos zu einer öffentlichen Galerie sein. Bei einem Chatbot kann es die Anzeige einer Assistentenantwort sein. Entscheiden Sie in jedem Fall, ob Nutzer auf ein Ergebnis warten müssen oder ob der Inhalt angezeigt werden kann, während die Prüfung weiterläuft.
| Produktsituation | Zu prüfender Inhalt | Zu definierende Entscheidung |
|---|---|---|
| Diskussionsforum | Ein Beitrag oder Kommentar | Veröffentlichen, Bearbeitung anfordern oder zur Prüfung zurückhalten |
| Öffentliche Bildergalerie | Ein Bild und seine Bildunterschrift | Öffentlich anzeigen, Sichtbarkeit einschränken oder zurückhalten |
| KI-Assistent | Eine Nutzernachricht oder generierte Antwort | Interaktion fortsetzen, prüfen oder die Antwort-Richtlinie des Produkts anwenden |
| Marktplatz | Eine Beschreibung und ein Produktbild | Angebot zulassen oder weitere Prüfungen anfordern |
Auch bei privaten Nachrichten ist eine bewusste Datenschutzentscheidung erforderlich. Legen Sie fest, was Ihr Produkt prüft, wer die Inhalte sehen kann und was den Nutzern mitgeteilt wird, bevor Sie einen Moderations-Workflow einführen.
Poyo vereint Bewertung und Aufgabenverfolgung in einem API-Workflow. Verknüpfen Sie das Ergebnis mit Ihren bestehenden Veröffentlichungsregeln und Prüfertools, sodass jede Übermittlung dem von Ihnen definierten Prozess folgt.
Kostenlose Text- und Bildmoderation mit Poyo testen
Sie können auf der Omni-Moderation-Modellseite beginnen. Der Playground bietet ein Formular, Beispielanfragen und strukturierte Ergebnisse. Melden Sie sich an, um einen Test auszuführen; Sie müssen im Playground keinen API-Schlüssel manuell erstellen oder einfügen. Ein API-Schlüssel wird benötigt, wenn Ihre eigene Anwendung die API aufruft.
Mit einer Texteingabe beginnen
Melden Sie sich an, öffnen Sie den Playground und geben Sie den Text, den Sie prüfen möchten, in das Feld Prompt ein. Hier bedeutet Prompt den Inhalt, der bewertet wird. Es handelt sich nicht um eine Anweisung, die das Modell auffordert, sich als Moderator zu verhalten.
Verwenden Sie zunächst ein kurzes, gewöhnliches Beispiel, etwa:
Ich plane dieses Wochenende mit Freunden eine Wanderung im Park. Kann jemand eine anfängerfreundliche Route empfehlen?
Wählen Sie Run, um eine neue Bewertung anzufordern. Auf der Seite werden zunächst aufgezeichnete Beispiele angezeigt; durch das Ändern der Eingabe wird ein Beispielergebnis nicht automatisch ersetzt. Warten Sie, bis Ihre neue Anfrage abgeschlossen ist, bevor Sie ihre Ausgabe interpretieren.
Lesen Sie das allgemeine Risiko-Flag, die einzelnen Kategorien, die Scores und die angewendeten Eingabetypen. Testen Sie anschließend einige zulässige Beispiele aus Ihren tatsächlichen Inhalten, einschließlich der Sprachen und Situationen, mit denen Ihr Produkt regelmäßig zu tun hat.
Ein Bild hinzufügen
Für eine reine Bildbewertung löschen Sie den Text und fügen Sie in Image Urls mithilfe der verfügbaren Bildeingabe ein Bild hinzu. Sie können auch eine Bildunterschrift im Prompt belassen, um Text und Bild gemeinsam zu prüfen.
Auf API-Ebene akzeptiert Poyo eine einzelne HTTPS-Bild-URL. Das Upload-Steuerelement des Playgrounds lädt zunächst eine ausgewählte lokale Datei hoch und übergibt anschließend deren URL an die Prüfungsanfrage. Bei mehreren Bildern senden Sie für jedes Bild eine separate Aufgabe und verknüpfen Sie die Ergebnisse mit dem ursprünglichen Beitrag.
Wenn Sie Ihre eigene URL verwenden, muss sie für den Moderationsdienst zugänglich sein. Ein Link, der erst nach der Anmeldung bei einem privaten Dashboard geöffnet werden kann, stellt nicht das Bild selbst bereit.
Von einem Test zur Integration
Sobald die Beispiele nützlich sind, erstellen Sie einen Poyo-API-Schlüssel und integrieren Sie ihn von Ihrem Server aus. Halten Sie den Schlüssel aus öffentlich zugänglichem Browser-Code heraus.
Eine Text-und-Bild-Anfrage hat folgende Form:
{
"model": "omni-moderation-latest",
"input": {
"prompt": "A view from this morning's hike.",
"image_urls": [
"https://your-image-host.example/photo.jpg"
]
}
}
Ersetzen Sie die Beispiel-URL durch ein tatsächlich zugängliches HTTPS-Bild. Die Anfrage wird mit Ihrem Poyo-API-Schlüssel an POST https://api.poyo.ai/api/generate/submit gesendet. Sie gibt eine Aufgaben-ID zurück; rufen Sie das abgeschlossene Ergebnis über den Status-Endpunkt ab oder konfigurieren Sie einen Abschluss-Callback. Dies ist ein asynchroner Workflow. Der Erhalt einer Aufgaben-ID ist daher nicht dasselbe wie der Erhalt einer abgeschlossenen Bewertung.
So lesen Sie das Ergebnis
Es gibt zwei getrennte Fragen: Wurde die Verarbeitung abgeschlossen, und was hat das Modell erkannt?
| Feld | Bedeutung | Verwendung |
|---|---|---|
status | Gibt an, ob die Aufgabe wartet, ausgeführt wird, abgeschlossen oder fehlgeschlagen ist | Entscheiden, ob eine Bewertung verfügbar ist |
flagged | Gibt an, ob das Modell ein potenzielles Risiko markiert hat | Eine Prüfungs- oder Weiterleitungsentscheidung einleiten |
categories | Ein Wahr-oder-Falsch-Flag für jede Kategorie | Die Art des potenziellen Risikos identifizieren |
category_scores | Ein Konfidenzsignal für jede Kategorie zwischen 0 und 1 | Fälle vergleichen und Regeln anhand eigener Beispiele bewerten |
category_applied_input_types | Die Eingabetypen, auf die ein Kategorieergebnis angewendet wird | Prüfen, ob Text, Bilder oder beides beigetragen haben |
Beim Status-Endpunkt befinden sich die Kategorieergebnisse unter data.output.results. Eine Aufgabe mit status: "finished" und flagged: true wurde erfolgreich abgeschlossen und hat ein potenzielles Risiko identifiziert. Eine fehlgeschlagene Aufgabe hat keine nutzbare abgeschlossene Bewertung geliefert.
Ein Score von 0,8 sollte nicht als 80-prozentige Garantie dargestellt werden, dass ein Inhalt gegen Ihre Richtlinie verstößt. Ein hoher Score kann auf eine hohe Modellkonfidenz in einer Kategorie hinweisen, während Ihre Prüfer weiterhin den Kontext und Ihre Regeln berücksichtigen müssen.
Beispielsweise kann ein Konto, das einen gewalttätigen Vorfall beschreibt, eine Gewaltkategorie auslösen, selbst wenn der Beitrag für eine Nachrichtendiskussion angemessen ist. Ein normal wirkender Werbebeitrag kann kein Flag für schädliche Inhalte erhalten und dennoch gegen die Regel einer Community verstoßen, keine Werbung zuzulassen. Beide Beispiele zeigen, warum Kategorisierung und Richtliniendurchsetzung getrennte Entscheidungen erfordern.
Prüfregeln anhand eigener Beispiele erstellen
Verwenden Sie den Playground, um eine kleine Evaluationsmenge mit gewöhnlichen Einreichungen, eindeutigen Verstößen und Fällen aufzubauen, die Kontext erfordern. Berücksichtigen Sie Ihre gängigen Sprachen, Bildstile, Bildunterschriften und zitierten Inhalte. Synthetische oder angemessen zulässige Beispiele sind ein nützlicher Ausgangspunkt.
Halten Sie für jedes Element die von Ihrem Team erwartete Entscheidung fest und vergleichen Sie sie anschließend mit den Kategoriesignalen. So können Sie bestimmen, welche Einreichungen einem routinemäßigen Ablauf folgen können und welche einem Prüfer vorgelegt werden sollten.
Testen Sie auch den vollständigen Workflow: Eine ausstehende Aufgabe sollte einen sichtbaren Wartezustand haben, ein Verarbeitungsproblem sollte einen Wiederholungsweg bieten, und ein Prüfer sollte eine Entscheidung korrigieren können. Die Aufgaben-ID und Statusfelder von Poyo bieten Ihnen eine Möglichkeit, diesen Prozess zu verfolgen.
Legen Sie anhand dieser Beispiele kategoriespezifische Schwellenwerte fest und bewerten Sie sie erneut, wenn sich Ihre Inhaltsmuster oder das zugrunde liegende Modell ändern.
Häufig gestellte Fragen
Was ist KI-Content-Moderation?
KI-Content-Moderation verwendet maschinelles Lernen, um Text und Bilder auf potenziell schädliche Inhalte zu prüfen. Sie liefert Signale, die einer Plattform dabei helfen, ihre Regeln anzuwenden, zu entscheiden, was veröffentlicht werden kann, und Einreichungen zu identifizieren, die eine menschliche Prüfung benötigen.
Ist KI-Content-Moderation bei Poyo kostenlos?
Die Omni-Moderation-Aufrufe von Poyo kosten für unterstützte Text- und Bildeingaben null Credits. Sie können die Klassifizierung testen, ohne eine Moderationsgebühr pro Aufruf hinzuzufügen, und anschließend dasselbe Modell in Ihrer Anwendung verwenden. Andere Modelle, Speicher und menschliche Prüfungen haben eigene Kosten; der Leitfaden zur kostenlosen Moderation erklärt, wie Sie diese einplanen können.
Wie kann ich es ausprobieren, ohne Code zu schreiben?
Melden Sie sich im Poyo Playground an, geben Sie Text ein, fügen Sie ein Bild hinzu oder kombinieren Sie beides und wählen Sie Run. Prüfen Sie die Kategorieresultate der neuen Aufgabe, nachdem sie abgeschlossen ist. Der Playground übernimmt die Authentifizierung, sodass Sie zum Ausprobieren von Beispielen keinen API-Schlüssel manuell erstellen oder eingeben müssen.
Welche Ergebnisse gibt Poyo zurück?
Abgeschlossene Bewertungen enthalten einen allgemeinen flagged-Wert, einzelne Kategorie-Flags, Kategorie-Scores und category_applied_input_types. Zusammen zeigen diese Felder die erkannten potenziellen Risiken und welche bereitgestellten Eingabetypen bewertet wurden. Verwenden Sie sie zur Konfiguration von Prüfregeln und interpretieren Sie Scores als Modellsignale und nicht als garantierte Richtlinienentscheidungen.
Wie verbinde ich die Moderation mit meinem bestehenden Produkt?
Übermitteln Sie unterstützte Inhalte mit Ihrem Poyo-API-Schlüssel, speichern Sie die Aufgaben-ID zusammen mit der Inhaltsversion und fragen Sie den Status ab oder konfigurieren Sie einen Abschluss-Callback. Ihre Anwendung kann das Ergebnis dann mit der Veröffentlichung, einer Änderungsanforderung oder einem bestehenden Tool für menschliche Prüfungen verknüpfen. Beginnen Sie mit einer Inhaltsfläche und testen Sie die Weiterleitung, bevor Sie weitere hinzufügen.
Beginnen Sie mit dem Poyo Omni Moderation Playground und vergleichen Sie dessen Ergebnisse mit den Entscheidungen Ihres Teams. Für einen tiefergehenden Workflow lesen Sie den Leitfaden zur Bildmoderation, die Erklärung zu kostenlosem Zugang und Kosten oder den Leitfaden zur UGC-Moderation für kleine Teams.