Poyo offre aux équipes un accès gratuit à la modération de contenu par IA pour les textes, les images et les textes accompagnés d’une image. Vous pouvez essayer omni-moderation-latest d’OpenAI dans le Playground, examiner les indicateurs et scores des catégories, puis utiliser le même compte Poyo pour intégrer la modération à votre workflow de modèles.
Pour une communauté, cela peut signifier vérifier une publication avant sa mise en ligne. Pour un produit d’images, il peut s’agir d’évaluer une image envoyée avec sa légende. Pour un assistant IA, cela peut signifier examiner un message ou une réponse générée avant de décider comment la présenter.
Commencez par quelques exemples représentatifs dans le Playground. Lorsque vous êtes prêt à intégrer la solution, Poyo fournit un identifiant de tâche, le suivi de son état et un rappel de fin facultatif, afin que votre application puisse connecter le résultat à ses règles de publication et de vérification.
Qu’est-ce que la modération de contenu par IA
La modération de contenu par IA utilise la classification automatisée pour aider les équipes à évaluer les contributions des utilisateurs au regard des règles de leur plateforme. Elle peut identifier les risques potentiels dans les textes et les images, en fournissant aux évaluateurs et aux applications un ensemble cohérent d’indicateurs à exploiter.
Avec Poyo, ces indicateurs comprennent un indicateur global de risque, des indicateurs pour chaque catégorie, des scores de confiance et les types d’entrées utilisés pour chaque catégorie. Un site de discussion peut les utiliser pour identifier les commentaires nécessitant une attention particulière, tandis qu’un produit photo peut examiner les images avant leur ajout à une galerie publique.
Votre produit peut associer le résultat à des actions telles que publier, demander une modification ou affecter le contenu à une vérification humaine. L’équipe dispose ainsi d’un point de départ défini tout en conservant le contrôle de ses propres règles.
L’objectif est ici d’évaluer le contenu pour détecter un préjudice potentiel. Déterminer si un texte ou une image a été généré par une IA est une tâche distincte.
Ce qu’Omni Moderation peut détecter
L’intégration Omni Moderation de Poyo prend en charge les textes multilingues, une image ou un texte accompagné d’une image. Le texte couvre 13 catégories, et six catégories prennent également en charge les images. Les équipes disposent ainsi d’un ensemble commun de champs pour examiner les commentaires, les légendes et les images envoyées.
| Groupe de risque | Catégories de réponse | Texte | Images |
|---|---|---|---|
| Harcèlement | harassment, harassment/threatening | Pris en charge | Texte uniquement |
| Discours haineux | hate, hate/threatening | Pris en charge | Texte uniquement |
| Instructions illicites | illicit, illicit/violent | Pris en charge | Texte uniquement |
| Automutilation | self-harm, self-harm/intent, self-harm/instructions | Pris en charge | Pris en charge |
| Contenu sexuel | sexual | Pris en charge | Pris en charge |
| Contenu sexuel impliquant des mineurs | sexual/minors | Pris en charge | Texte uniquement |
| Violence | violence, violence/graphic | Pris en charge | Pris en charge |
Utilisez category_applied_input_types pour voir quelles entrées sont couvertes par chaque résultat. Les catégories marquées « Texte uniquement » s’appliquent au texte fourni ; un score nul pour une catégorie d’image non prise en charge signifie qu’elle n’a pas été évaluée pour cette image.
Vous pouvez compléter cette vérification avec vos propres règles de marketplace ou de communauté, comme des restrictions publicitaires et des contrôles de qualité. Lorsqu’un workflow dépend de texte intégré à une image, de transcriptions audio ou d’images vidéo sélectionnées, préparez ces éléments séparément et envoyez le texte ou l’image pris en charge pour évaluation. Le résultat couvre les entrées fournies.
La catégorie sexual/minors concerne uniquement le texte. Les contenus connus ou soupçonnés d’abus sexuels sur des enfants ne doivent pas être envoyés à l’API de modération d’OpenAI ; suivez les recommandations officielles en matière de sécurité des enfants dans cette situation.
Consultez la documentation Poyo sur Omni Moderation pour connaître les formats des requêtes et les champs pris en charge.
Où intégrer la modération par IA dans votre produit
Le meilleur endroit pour introduire la modération est un moment précis où le contenu d’un utilisateur devient visible ou est transmis à une autre personne.
Pour une communauté, ce moment peut être la publication d’un commentaire. Pour un service de partage d’images, il peut s’agir de l’ajout d’une photo à une galerie publique. Pour un chatbot, il peut s’agir de l’affichage d’une réponse de l’assistant. Dans chaque cas, déterminez si les utilisateurs doivent attendre le résultat ou si le contenu peut apparaître pendant que la vérification se poursuit.
| Situation du produit | Contenu à évaluer | Décision à définir |
|---|---|---|
| Forum de discussion | Une publication ou un commentaire | Publier, demander une modification ou mettre en attente pour vérification |
| Galerie d’images publique | Une image et sa légende | Afficher publiquement, limiter la visibilité ou mettre en attente |
| Assistant IA | Un message utilisateur ou une réponse générée | Poursuivre l’interaction, effectuer une vérification ou appliquer la politique de réponse du produit |
| Marketplace | Une description et une image du produit | Autoriser l’annonce ou demander des vérifications supplémentaires |
Les messages privés nécessitent également une décision réfléchie en matière de confidentialité. Définissez ce que votre produit vérifie, qui peut voir le contenu et ce qui est indiqué aux utilisateurs avant d’introduire un workflow de modération.
Poyo regroupe l’évaluation et le suivi des tâches dans un workflow d’API unique. Connectez le résultat à vos règles de publication et à vos outils d’évaluation existants afin que chaque contribution suive le processus que vous avez défini.
Essayez gratuitement la modération de textes et d’images avec Poyo
Vous pouvez commencer sur la page du modèle Omni Moderation. Le Playground propose un formulaire, des exemples de requêtes et des résultats structurés. Connectez-vous pour lancer un test ; vous n’avez pas besoin de créer ou de coller manuellement une clé API dans le Playground. Une clé API est nécessaire lorsque votre propre application appelle l’API.
Commencez par envoyer un texte
Connectez-vous, ouvrez le Playground et saisissez le texte que vous souhaitez examiner dans le champ Prompt. Ici, Prompt désigne le contenu évalué. Il ne s’agit pas d’une instruction demandant au modèle de se comporter comme un modérateur.
Commencez par un exemple court et ordinaire, comme celui-ci :
Je prévois de faire une randonnée dans le parc avec des amis ce week-end. Quelqu’un pourrait-il recommander un itinéraire adapté aux débutants ?
Sélectionnez Run pour demander une nouvelle évaluation. La page affiche initialement des exemples enregistrés ; modifier l’entrée ne remplace pas automatiquement le résultat d’un exemple. Attendez que votre nouvelle requête soit terminée avant d’interpréter son résultat.
Lisez l’indicateur global de risque, les catégories individuelles, les scores et les types d’entrées appliqués. Essayez ensuite quelques exemples autorisés issus de votre contenu réel, notamment les langues et les situations auxquelles votre produit est régulièrement confronté.
Ajoutez une image
Pour une évaluation d’image seule, effacez le texte et ajoutez une image dans Image Urls, en utilisant l’entrée d’image disponible. Vous pouvez également conserver une légende dans Prompt afin d’examiner simultanément le texte et l’image.
Au niveau de l’API, Poyo accepte une URL d’image HTTPS. Le contrôle d’importation du Playground téléverse d’abord le fichier local sélectionné, puis fournit son URL à la requête de vérification. Pour plusieurs images, envoyez une tâche distincte pour chacune et associez les résultats à la publication d’origine.
Si vous utilisez votre propre URL, celle-ci doit être accessible au service de modération. Un lien qui ne s’ouvre qu’après connexion à un tableau de bord privé ne fournira pas l’image elle-même.
Passez de l’essai à l’intégration
Une fois les exemples utiles, créez une clé API Poyo et intégrez-la depuis votre serveur. Gardez la clé hors du code public exécuté dans le navigateur.
Une requête contenant un texte et une image se présente ainsi :
{
"model": "omni-moderation-latest",
"input": {
"prompt": "A view from this morning's hike.",
"image_urls": [
"https://your-image-host.example/photo.jpg"
]
}
}
Remplacez l’URL d’exemple par l’URL HTTPS réellement accessible d’une image. La requête est envoyée à POST https://api.poyo.ai/api/generate/submit avec votre clé API Poyo. Elle renvoie un identifiant de tâche ; récupérez le résultat terminé via le point de terminaison d’état ou configurez un rappel de fin. Il s’agit d’un workflow asynchrone : recevoir un identifiant de tâche ne signifie pas recevoir une évaluation terminée.
Comment lire le résultat
Deux questions distinctes se posent : le traitement est-il terminé et qu’a détecté le modèle ?
| Champ | Signification | Utilisation |
|---|---|---|
status | Indique si la tâche est en attente, en cours, terminée ou en échec | Déterminer si une évaluation est disponible |
flagged | Indique si le modèle a signalé un risque potentiel | Lancer une vérification ou prendre une décision d’orientation |
categories | Indicateur vrai ou faux pour chaque catégorie | Identifier le type de risque potentiel |
category_scores | Indicateur de confiance pour chaque catégorie, compris entre 0 et 1 | Comparer les cas et évaluer vos règles sur vos propres exemples |
category_applied_input_types | Types d’entrées auxquels s’applique le résultat d’une catégorie | Vérifier si le texte, les images ou les deux ont contribué |
Pour le point de terminaison d’état, les résultats des catégories se trouvent sous data.output.results. Une tâche avec status: "finished" et flagged: true s’est terminée correctement et a identifié un risque potentiel. Une tâche en échec n’a pas fourni d’évaluation terminée exploitable.
Un score de 0,8 ne doit pas être présenté comme une garantie de 80 % que le contenu enfreint votre politique. Un score élevé peut indiquer une forte confiance du modèle dans une catégorie, tandis que vos évaluateurs doivent toujours tenir compte du contexte et de vos règles.
Par exemple, un compte décrivant un incident violent peut déclencher une catégorie de violence alors que le compte est approprié pour une discussion d’actualité. Une publication promotionnelle d’apparence normale peut ne déclencher aucun indicateur de contenu préjudiciable tout en enfreignant la règle d’une communauté interdisant la publicité. Ces deux exemples montrent pourquoi la détection des catégories et l’application des politiques nécessitent des décisions distinctes.
Élaborez des règles de vérification à partir de vos propres exemples
Utilisez le Playground pour constituer un petit ensemble d’évaluation comprenant des contributions ordinaires, des infractions manifestes et des cas nécessitant du contexte. Incluez vos langues courantes, vos styles d’images, vos légendes et vos contenus cités. Des exemples synthétiques ou autorisés de manière appropriée constituent un point de départ utile.
Notez la décision attendue par votre équipe pour chaque élément, puis comparez-la aux indicateurs des catégories. Cela vous aidera à déterminer quelles contributions peuvent suivre un parcours automatique et lesquelles doivent être transmises à un évaluateur.
Testez également l’ensemble du workflow : une tâche en attente doit afficher un état d’attente visible, un problème de traitement doit proposer une nouvelle tentative et un évaluateur doit pouvoir corriger une décision. L’identifiant et les champs d’état des tâches Poyo vous permettent de suivre ce processus.
Choisissez des seuils propres à chaque catégorie à partir de ces exemples et réévaluez-les lorsque vos types de contenu ou le modèle sous-jacent évoluent.
Foire aux questions
Qu’est-ce que la modération de contenu par IA ?
La modération de contenu par IA utilise l’apprentissage automatique pour évaluer les textes et les images afin d’identifier les contenus potentiellement préjudiciables. Elle renvoie des indicateurs qui aident une plateforme à appliquer ses règles, à décider ce qui peut être publié et à identifier les contributions nécessitant une vérification humaine.
La modération de contenu par IA est-elle gratuite sur Poyo ?
Les appels Omni Moderation de Poyo coûtent zéro crédit pour les entrées de texte et d’image prises en charge. Vous pouvez tester la classification sans ajouter de frais de modération par appel, puis utiliser le même modèle dans votre application. Les autres modèles, le stockage et la vérification humaine ont leurs propres coûts ; le guide de la modération gratuite explique comment les planifier.
Comment puis-je l’essayer sans écrire de code ?
Connectez-vous au Poyo Playground, saisissez du texte, ajoutez une image ou combinez les deux, puis sélectionnez Run. Examinez les résultats des catégories de la nouvelle tâche une fois celle-ci terminée. Le Playground gère l’authentification ; vous n’avez donc pas besoin de créer ou de saisir manuellement une clé API pour essayer des exemples.
Quels résultats Poyo renvoie-t-il ?
Les évaluations terminées comprennent une valeur globale flagged, des indicateurs pour chaque catégorie, les scores des catégories et category_applied_input_types. Ensemble, ces champs indiquent les risques potentiels détectés et les types d’entrées fournis qui ont été évalués. Utilisez-les pour configurer les règles de vérification et interprétez les scores comme des indicateurs du modèle, et non comme des décisions de politique garanties.
Comment connecter la modération à mon produit existant ?
Envoyez le contenu pris en charge avec votre clé API Poyo, enregistrez l’identifiant de tâche avec la version du contenu, puis interrogez l’état ou configurez un rappel de fin. Votre application peut ensuite connecter le résultat à la publication, à une demande de modification ou à un outil de vérification humaine existant. Commencez par une seule surface de contenu et testez l’orientation avant d’en ajouter d’autres.
Commencez par le Poyo Omni Moderation Playground et comparez ses résultats aux décisions de votre équipe. Pour un workflow plus approfondi, consultez le guide de la modération d’images, l’explication de l’accès gratuit et des coûts ou le guide de la modération des contenus générés par les utilisateurs pour les petites équipes.