L'API gratuite de modération d'images de Poyo vous aide à évaluer les photos de profil, les images de communauté et les téléversements de produits avant de décider comment les publier. Avec Omni Moderation, vous pouvez examiner une image seule ou inclure sa légende dans la même requête.
Commencez dans le Playground pour voir les indicateurs et les scores des catégories sur vos propres exemples. Utilisez ensuite le suivi des tâches de Poyo et le callback facultatif de fin d'exécution pour relier ces résultats aux règles de publication et aux outils d'examen de votre application.
Ce guide explique les catégories d'images prises en charge, comment préparer un téléversement et comment créer un parcours clair entre la soumission et la publication ou un examen complémentaire. Vous pouvez appliquer ce processus à une seule surface de téléversement, puis l'étendre à mesure que votre équipe gagne en expérience.
Ce que la modération des images doit faire pour votre produit
Commencez par déterminer où les images apparaissent et qui les verra.
Un avatar peut être visible à côté de chaque commentaire. Une photo de communauté peut apparaître dans un fil public. Une image de produit peut se trouver à côté d'une annonce qui nécessite des vérifications allant au-delà de la sécurité visuelle. Chaque surface peut exiger des règles différentes et un niveau de prudence différent avant publication.
Par exemple, un produit peut accepter une image historique non graphique dans une discussion tout en la refusant comme photo de profil. L'image n'a pas changé ; c'est son emplacement et les règles du produit qui ont changé.
Notez ce qui doit se passer dans trois cas : l'image respecte les règles, sa signification n'est pas claire ou elle enfreint clairement une règle. Définissez également un quatrième cas pour une évaluation indisponible. Une erreur de traitement ne doit pas être interprétée silencieusement comme une approbation.
Ce qu'Omni Moderation vérifie dans les images
Poyo vous donne accès gratuitement à six catégories de risques liés aux images, couvrant le contenu sexuel, la violence et l'automutilation. Chaque requête accepte une URL d'image HTTPS ; ajoutez une légende pour évaluer le texte fourni en même temps que l'image.
| Catégorie | Ce que concerne le signal |
|---|---|
sexual | Contenu sexuel |
violence | Violence |
violence/graphic | Violence graphique |
self-harm | Contenu lié à l'automutilation |
self-harm/intent | Indications d'une intention d'automutilation |
self-harm/instructions | Instructions d'automutilation |
Utilisez category_applied_input_types pour déterminer si un résultat s'applique à l'image, au texte fourni ou aux deux. L'entrée textuelle prend en charge 13 catégories, notamment la haine, le harcèlement, les instructions illicites et sexual/minors. Ces catégories propres au texte évaluent le texte fourni ; il ne s'agit pas de vérifications d'images. Pour une requête portant uniquement sur une image, un score nul et une liste de types d'entrée vide pour une catégorie non prise en charge signifient qu'elle n'a pas été évaluée.
Pour les règles qui dépendent de mots intégrés dans une image, ajoutez une étape adaptée d'extraction de texte et examinez le texte extrait. La qualité du produit, les filigranes, les informations personnelles et les règles concernant les articles interdits nécessitent également leurs propres vérifications. Les téléversements vidéo et animés exigent un workflow distinct de sélection des images, et l'audio nécessite un traitement séparé ; l'examen des images sélectionnées n'évalue pas l'intégralité de la vidéo ni sa bande sonore.
Omni Moderation n'est pas un détecteur dédié de CSAM, et sexual/minors prend uniquement en charge le texte. Ne soumettez pas de CSAM avéré ou suspecté à l'API de modération d'OpenAI ; suivez les directives officielles de sécurité des enfants.
La documentation de l'API Poyo décrit les entrées et les champs de réponse pris en charge. Utilisez cette couverture pour choisir les vérifications adaptées à chaque surface de téléversement.
Préparer le téléversement avant de demander un examen
Votre application a besoin d'une ressource image que le service de modération peut récupérer. Un nom de fichier tel que photo.jpg sur l'appareil d'un utilisateur ne suffit pas, et une page web affichant une image n'est pas nécessairement l'URL de l'image.
Conservez les nouveaux téléversements en dehors des fils publics pendant l'examen. Cette zone de stockage temporaire peut faire partie de votre système de stockage existant. Appliquez des contrôles d'accès et choisissez une méthode de diffusion prise en charge qui permette au service de récupérer le fichier concerné sans exposer l'intégralité de votre compte de stockage.
Si cette méthode utilise une URL HTTPS temporaire, prévoyez suffisamment de temps pour le traitement mis en file d'attente et les nouvelles tentatives. N'incluez pas d'identifiants de session dans l'URL et évitez de placer des liens vers des images privées dans des journaux largement accessibles.
Validez le téléversement avant de l'envoyer pour évaluation du contenu. Vérifiez qu'il s'agit d'un type de fichier attendu et qu'il peut être décodé, puis appliquez des limites de taille de fichier et de dimensions d'image adaptées à votre application et à votre fournisseur. Il s'agit de vérifications du téléversement ; un score de modération ne valide pas la sécurité technique d'un fichier.
Enregistrez un identifiant de contenu et une version stables. Associez l'identifiant de tâche à cette version afin qu'un résultat ne puisse pas approuver accidentellement une image que l'utilisateur a remplacée pendant l'examen.
Un workflow pratique du téléversement à la publication
Un processus simple peut fonctionner sans grande équipe de modération, à condition que les états et les responsabilités soient explicites.
| Étape | Ce qui se passe | Ce que voit l'utilisateur |
|---|---|---|
| Téléversé | Enregistrer le fichier et attribuer sa version de contenu | Téléversement reçu |
| Examen en attente | Soumettre l'image et enregistrer l'identifiant de tâche | Examen en attente |
| Évaluation terminée | Lire l'état de la tâche, les catégories prises en charge et les scores | L'examen se poursuit jusqu'à la prise d'une décision produit |
| Approuvé | Appliquer les règles du produit et rendre l'image visible | Publié |
| Examen humain | Conserver l'image et l'attribuer à un examinateur | Décision en attente |
| Rejeté ou impossible à traiter | Expliquer la règle ou le problème technique et proposer l'étape suivante appropriée | Une raison de modifier, de réessayer ou de faire appel |
Poyo fournit l'évaluation des catégories et le résultat de la tâche qui relient ces étapes. Utilisez l'identifiant de tâche ou le callback de fin d'exécution pour mettre à jour le téléversement correspondant dans votre application, puis appliquez vos règles pour le publier, le conserver pour un examinateur ou demander une modification. Votre système de publication et vos outils d'examen existants exécutent ces actions.
Rendez les messages destinés aux utilisateurs précis. « Votre photo est en attente d'examen » est utile tant que le traitement n'est pas terminé. « Nous n'avons pas pu traiter ce téléversement ; veuillez réessayer » décrit un problème technique. Aucun de ces messages ne doit être remplacé par « Votre image enfreint nos règles » à moins qu'une décision concernant le contenu ne justifie réellement ce message.
Soumettre une image via Poyo
Vous pouvez tester une image dans l'Omni Moderation Playground sans écrire de code ni créer manuellement de clé API. Connectez-vous, effacez le texte si vous souhaitez effectuer une vérification portant uniquement sur l'image, ajoutez une image et sélectionnez Run. Utilisez d'abord le nouveau résultat de tâche plutôt que l'exemple enregistré affiché initialement.
Pour une intégration, envoyez la requête depuis votre serveur avec une clé API Poyo :
curl -X POST https://api.poyo.ai/api/generate/submit \
-H "Authorization: Bearer YOUR_POYO_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "omni-moderation-latest",
"input": {
"image_urls": ["https://your-image-host.example/upload.jpg"]
}
}'
Remplacez le domaine d'exemple par une URL HTTPS accessible pointant vers le fichier image. Pour un essai sans code avec un fichier local, téléversez l'image via le Playground ; pour les requêtes API, indiquez son URL hébergée dans input.image_urls.
Pour inclure une légende, ajoutez "prompt": "The caption being reviewed" dans input. Pour plusieurs images dans une publication, soumettez des tâches distinctes et enregistrez le résultat correspondant à chaque image. L'approbation d'une image ne doit pas approuver automatiquement les autres.
La soumission renvoie un task_id. Récupérez l'état à l'aide de :
curl https://api.poyo.ai/api/generate/status/YOUR_TASK_ID \
-H "Authorization: Bearer YOUR_POYO_API_KEY"
Une tâche commence par not_started, s'exécute de manière asynchrone et se termine par finished ou failed. Pour les tâches terminées, lisez les résultats sous data.output.results.
Vous pouvez également fournir un callback_url de niveau supérieur lors de la soumission. Le corps du callback est l'objet de données d'état sans l'enveloppe externe ; les résultats se trouvent donc sous output.results. Vérifiez les callbacks à l'aide des directives de webhook Poyo et faites en sorte que votre gestionnaire tolère les livraisons répétées.
Transformer l'évaluation en décision
Commencez par formuler une règle en langage clair pour chaque catégorie importante pour la surface concernée. Évaluez ensuite si le signal du modèle aide à appliquer cette règle.
Une image qui enfreint clairement votre politique peut être rejetée après les vérifications appropriées. Une image acceptable peut être publiée une fois toutes les vérifications requises terminées. Les cas ambigus doivent rester en cours d'examen plutôt que d'être forcés à devenir une décision parce qu'un délai a expiré.
Un score élevé est une raison d'examiner la catégorie correspondante. Il ne constitue pas une garantie en pourcentage d'une violation de la politique. L'interprétation peut dépendre du fait que l'image soit une œuvre d'art, une illustration médicale, une photographie d'actualité ou une photo d'utilisateur ordinaire.
Utilisez vos propres exemples étiquetés pour choisir les seuils d'orientation. Vérifiez les images acceptables conservées inutilement, ainsi que les images interdites qui échappent au workflow. Si vous modifiez un seuil, comparez les résultats avec votre politique précédente avant d'étendre les actions automatiques.
Enregistrez suffisamment d'informations pour expliquer les décisions : version du contenu, identifiant de tâche, signaux des catégories, règle appliquée, résultat de l'examen humain le cas échéant et heure de la décision. Définissez des règles de conservation et des contrôles d'accès pour cet enregistrement plutôt que de conserver indéfiniment chaque image brute.
Gérer les échecs, les modifications et les appels
Une image ne peut pas être récupérée. Vérifiez que l'URL pointe vers l'image elle-même, qu'elle reste valide et qu'elle est accessible sans session utilisateur. Maintenez le téléversement en attente pendant que vous résolvez le problème technique.
Une requête est toujours en cours lorsque la page cesse d'attendre. Conservez l'identifiant de tâche et vérifiez son état. Soumettre immédiatement un doublon peut laisser deux tâches examiner la même version. Utilisez des nouvelles tentatives limitées et un comportement de secours défini lorsque le traitement reste indisponible.
Un utilisateur remplace le fichier ou modifie sa légende. Traitez la modification comme une nouvelle version à examiner. Une ancienne approbation ne doit pas autoriser un nouveau contenu. Vérifiez à nouveau les entrées concernées et assurez-vous que les callbacks tardifs de l'ancienne version ne peuvent pas publier la nouvelle.
Un utilisateur conteste la décision. Proposez une procédure d'appel avec suffisamment de contexte pour qu'une personne puisse évaluer le contenu et la règle appliquée. Un appel accepté doit mettre à jour l'état de publication et laisser une correction vérifiable.
Une publication contient plusieurs images. Rendez la règle de publication explicite : par exemple, attendez que chaque tâche d'image requise soit terminée ou autorisez l'utilisateur à supprimer l'image qui nécessite un examen. N'interprétez pas un résultat positif comme un examen de l'ensemble de la publication.
Foire aux questions
Qu'est-ce que la modération des images ?
La modération des images est le processus qui consiste à examiner des images au regard des règles de contenu d'une plateforme. Elle peut combiner des vérifications automatisées et un jugement humain afin de décider si un téléversement doit être publié, conservé pour examen ou rejeté.
La modération des images est-elle gratuite sur Poyo ?
Les appels d'images d'Omni Moderation de Poyo coûtent zéro crédit. Vous pouvez tester une évaluation d'image prise en charge dans le Playground, puis l'utiliser dans votre application sans frais de modération par appel. Prévoyez séparément le stockage et la diffusion des images, ainsi que tout examen humain ; le guide d'accès gratuit explique cette distinction.
Puis-je examiner une image et sa légende ensemble ?
Oui. Ajoutez à la même requête input.image_urls avec une URL d'image HTTPS et input.prompt avec la légende. Dans le Playground, fournissez l'image et le texte ensemble. Lisez category_applied_input_types pour voir quels signaux s'appliquent au texte fourni, à l'image ou aux deux.
Quels risques liés aux images puis-je vérifier ?
Omni Moderation prend en charge six catégories d'images couvrant le contenu sexuel, la violence, la violence graphique, l'automutilation, l'intention d'automutilation et les instructions d'automutilation. Poyo renvoie des indicateurs et des scores de catégories que vous pouvez utiliser pour orienter les téléversements selon vos règles. La section sur les capacités ci-dessus explique la couverture des entrées et le traitement supplémentaire requis pour les autres besoins.
Comment recevoir le résultat final de l'examen d'une image ?
Enregistrez l'identifiant de tâche Poyo renvoyé et interrogez son état, ou fournissez un callback_url pour recevoir une notification de fin d'exécution. Lisez data.output.results dans les réponses d'état ou output.results dans les callbacks. Faites correspondre le résultat à la version de l'image téléversée, puis laissez votre application la publier ou l'envoyer à votre outil d'examen existant.
Comment tester la modération des images sans code ?
Connectez-vous au Poyo Playground, ajoutez une image, saisissez éventuellement sa légende et sélectionnez Run. Pour un test portant uniquement sur l'image, effacez le champ de texte. Examinez la tâche nouvellement terminée et essayez des exemples représentatifs autorisés avant de configurer des règles de publication automatique.
Essayez une image dans le Poyo Playground, puis reliez le résultat à une règle de publication que votre équipe peut expliquer. L'introduction à la modération par IA explique les champs de réponse, et le guide de modération des UGC couvre le processus plus large de l'équipe.