Poyo aide les petites équipes à ajouter gratuitement des contrôles par IA à la modération des contenus générés par les utilisateurs. Vous pouvez évaluer des publications, des commentaires, des avis et des images statiques avec Omni Moderation, puis connecter les résultats des catégories aux règles et aux outils de revue que votre équipe utilise déjà.
L'avantage pratique est de disposer d'une première évaluation reproductible : soumettre un contenu pris en charge, suivre la tâche, puis récupérer le résultat ou recevoir un callback de fin. Votre équipe peut utiliser ces signaux pour orienter les soumissions courantes et concentrer l'attention humaine sur les cas qui nécessitent du contexte.
Commencez par une seule surface de contenu et quelques exemples représentatifs dans le Playground. Ce guide montre comment relier les contrôles gratuits aux règles de publication, à la responsabilité de la revue et aux recours des utilisateurs afin que le processus reste gérable lorsque le nombre de soumissions augmente.
Identifiez les contenus et les décisions dont vous êtes réellement responsables
Les contenus générés par les utilisateurs, ou UGC, comprennent les éléments que les personnes soumettent à votre produit : publications de communauté, commentaires, photos de profil, avis sur les produits, descriptions d'annonces et images téléversées.
Faites un inventaire avant de choisir un outil. Notez où apparaît chaque type de contenu, qui peut le voir, si les utilisateurs peuvent le modifier et dans quel délai une décision doit être prise. Une image de profil affichée publiquement n'a pas les mêmes conséquences qu'un brouillon visible uniquement par son auteur.
Choisissez une surface reliée à vos outils de publication existants, comme les commentaires dans votre application ou les photos de produits dans votre boutique. L'évaluation de Poyo peut alimenter ces outils par l'intermédiaire des résultats des tâches et des callbacks. Si vous gérez également du contenu sur une plateforme sociale externe, utilisez l'intégration autorisée de cette plateforme pour effectuer les actions de publication ou de suppression.
La Trust & Safety Professional Association décrit la modération comme une application des règles soutenue par les opérations, le produit et l'ingénierie. Dans une petite entreprise, une même personne peut assurer plusieurs de ces fonctions. Les responsabilités doivent néanmoins rester explicites.
Commencez par des règles que les personnes peuvent appliquer
Une règle utile nomme le comportement, explique sa portée et indique l'action disponible. « Garder la communauté en sécurité » exprime une intention, mais ne permet pas de trancher face à une soumission difficile.
Par exemple, un produit pourrait écrire : « Les menaces directes envers un autre membre sont interdites. Mettez les menaces présumées en attente pour revue et utilisez le processus d'escalade lorsque le cas nécessite une attention urgente. » Cela donne aux réviseurs une catégorie précise et une prochaine action.
Gardez vos règles distinctes des noms de catégories du modèle. Une communauté peut interdire la publicité répétitive même si un modèle de détection des contenus nuisibles ne renvoie aucun signal pertinent. Une communauté d'actualités peut autoriser une discussion appropriée sur la violence tout en interdisant les menaces envers ses membres.
| Domaine de la politique | Ce que l'équipe doit définir |
|---|---|
| Menaces et harcèlement | Quels comportements enfreignent les règles et comment ils sont soumis à une escalade |
| Contenus sexuels ou graphiques | Ce qui est autorisé sur chaque surface et ce qui nécessite une revue |
| Spam et publicité | Limites concernant la répétition, les liens ou la promotion |
| Informations personnelles | Ce qui peut être partagé et comment l'exposition est gérée |
| Publications hors sujet ou de faible qualité | S'il faut déplacer, modifier, refuser ou demander des changements |
| Décisions contestées | Qui examine les recours et ce qui peut être corrigé |
Combinez les catégories de contenus nuisibles prises en charge par Omni Moderation avec les contrôles déjà utilisés par votre produit. Le spam, les informations personnelles, la qualité des publications et les recours nécessitent des règles, des outils ou des réviseurs dédiés. Attribuer chaque exigence à une étape précise rend l'ensemble du processus plus facile à exploiter.
Testez la formulation avec quelques exemples. Si deux réviseurs appliquent différemment la même règle, clarifiez-la avant d'attendre de l'automatisation qu'elle rende la décision cohérente.
Choisissez quand la modération intervient
Le moment choisi influe à la fois sur l'exposition et sur l'expérience utilisateur. Définissez-le pour chaque surface de contenu.
Avant la publication. Le contenu reste en attente jusqu'à ce que les contrôles et décisions requis soient terminés. Cela peut convenir aux téléversements publics d'images ou aux soumissions que votre équipe a choisi d'inspecter en premier. Cela signifie également que les utilisateurs doivent recevoir une explication claire du délai d'attente.
Après la publication. Le contenu apparaît et est évalué ensuite. Cela réduit les frictions initiales, mais du contenu interdit peut rester visible jusqu'à ce qu'une action soit prise. L'équipe a besoin d'un processus de réponse adapté à cette exposition.
Après un signalement. Les utilisateurs signalent un problème et l'équipe l'examine. Les signalements permettent de faire émerger du contexte et des cas manqués, mais les contenus que personne ne signale peuvent rester non examinés.
Un processus mixte peut être pratique. Par exemple, une équipe pourrait retenir les nouvelles photos de profil avant leur publication, effectuer des contrôles de texte courants sur les commentaires et continuer à accepter les signalements pour les deux. Il s'agit d'un exemple de conception, pas d'une politique universelle.
Pour un aperçu de ces approches, consultez le guide de modération de contenu de Stream. Choisissez en fonction de votre audience, de l'exposition et de la capacité de revue disponible.
Ajoutez des contrôles IA gratuits à votre flux de modération
Poyo réunit le texte multilingue, une image HTTPS unique ou du texte avec une image dans un même flux de tâches. Le texte prend en charge 13 catégories de risques ; les images en prennent en charge six, couvrant les contenus sexuels, la violence et l'automutilation. Les indicateurs et scores par catégorie fournissent à votre application des signaux permettant de décider quelles soumissions peuvent suivre les règles courantes et lesquelles nécessitent un examen plus attentif.
Utilisez la vue d'ensemble des catégories pour associer chaque contrôle à son entrée prise en charge. Les catégories réservées au texte n'évaluent pas les pixels des images. Si votre politique dépend du texte intégré, de l'audio, de la vidéo ou d'une détection spécialisée, ajoutez une étape de traitement distincte appropriée. Pour la couverture des images et la gestion de la sécurité des enfants, consultez le guide de modération des images.
Une séquence pratique est la suivante :
- Recevez une soumission et enregistrez son identifiant de contenu et sa version.
- Validez le texte ou le fichier téléversé pour votre application.
- Soumettez le texte ou l'image pris en charge à Poyo et enregistrez l'identifiant de tâche.
- Récupérez le résultat terminé ou recevez le callback de fin.
- Appliquez vos règles pour publier, demander des modifications, rejeter ou attribuer le cas à un réviseur.
- Enregistrez la décision et conservez les voies de signalement et de recours.
L'identifiant de tâche de Poyo aide à associer une évaluation à la bonne soumission. Les callbacks de fin peuvent déclencher l'étape suivante dans votre application ou votre outil de revue existant. Configurez la manière dont chaque signal pris en charge correspond à une action métier, avec une revue humaine pour les cas qui nécessitent du contexte ou une escalade.
Concevez une file de revue qu'une petite équipe peut gérer
Pour un pilote, votre outil de support ou d'administration existant peut suffire. Chaque élément de revue doit contenir suffisamment d'informations pour prendre une décision sans obliger le réviseur à reconstituer tout l'historique.
Incluez le contenu ou un moyen contrôlé de l'inspecter, le contexte pertinent, la règle examinée, les signaux du modèle, la version du contenu et toute décision antérieure nécessaire pour ce cas. Ajoutez un responsable et un statut afin que deux personnes ne travaillent pas sans le savoir sur le même élément.
Les statuts utiles comprennent évaluation en attente, revue humaine en attente, approuvé, rejeté et faisant l'objet d'un recours. Suivez séparément les échecs techniques, car « impossible de récupérer l'image » n'est pas une conclusion relative à la politique de contenu.
Définissez des priorités que votre équipe peut réellement maintenir. Une menace potentiellement grave peut nécessiter une escalade plus rapide qu'une décision incertaine concernant une photo de produit. Définissez la personne responsable et son remplaçant, y compris ce qui se passe lorsque ni l'un ni l'autre n'est disponible.
Si la file s'allonge, examinez-en la cause avant d'assouplir les règles. Il peut y avoir trop de faux signaux, des politiques peu claires, des tâches en double ou un nouveau type de contenu que l'équipe n'a pas évalué. Chaque problème nécessite une réponse différente.
Gardez le contexte et les recours dans le processus
Un signal automatisé peut ne pas détecter pourquoi un utilisateur a publié quelque chose. Un harcèlement cité dans une plainte, une discussion sur un événement historique et une image éducative peuvent nécessiter un contexte que la première évaluation ne saisit pas entièrement.
Lorsqu'un réviseur prend une décision, enregistrez la règle appliquée et la raison. Le langage destiné aux utilisateurs doit expliquer ce qui se passe ensuite sans reproduire inutilement du contenu nuisible.
Par exemple, « Votre image est en attente de revue car elle pourrait relever de notre règle relative aux contenus graphiques » décrit un cas en attente. « Nous n'avons pas pu terminer le contrôle de l'image ; votre téléversement reste privé pendant que nous réessayons » décrit un délai technique. Ces messages donnent aux utilisateurs des attentes différentes et utiles.
Proposez une voie de recours pour les décisions qui peuvent être contestées. Le réviseur doit voir la version originale du contenu, le contexte pertinent, le motif précédent et toute nouvelle explication fournie par l'utilisateur. Lorsque les effectifs le permettent, confiez le recours à une autre personne.
Si la décision change, mettez à jour la visibilité réelle du contenu et toute action associée au compte. Envoyer des excuses sans rétablir l'état prévu laisse l'erreur sous-jacente non résolue.
Évitez de considérer les critiques comme une violation de la politique simplement parce qu'elles sont négatives. Pour les produits fondés sur les avis, la discussion de Bazaarvoice sur la modération UGC souligne l'importance de conserver les commentaires négatifs authentiques. Vos règles doivent distinguer une expérience client critique des abus ou des divulgations interdites.
Mesurez la qualité des décisions et la charge de travail
Commencez par des mesures qui aident l'équipe à identifier un problème précis. Le volume de soumissions, les évaluations terminées, les échecs de traitement et les revues en attente décrivent la charge de travail. Le délai de traitement des revues et les résultats des recours décrivent ce que vivent les utilisateurs.
Pour évaluer la classification et l'orientation, annotez un échantillon autorisé avec les décisions attendues par votre politique. Incluez à la fois les contenus signalés par le flux de travail et ceux qu'il a laissés passer ; examiner uniquement la file de revue ne permet pas de révéler tout ce que le système a manqué.
L'exemple suivant est entièrement illustratif et ne décrit ni les performances de Poyo ni celles d'un modèle de référence :
| Dans un échantillon de 100 soumissions | Envoyées en revue | Non envoyées en revue | Total |
|---|---|---|---|
| Violations de la politique identifiées par un humain | 18 | 2 | 20 |
| Contenus acceptables identifiés par un humain | 8 | 72 | 80 |
| Total | 26 | 74 | 100 |
Trois questions différentes découlent de cet échantillon :
- Quelle part de la file était pertinente ? Sur 26 éléments signalés, 18 ont été identifiés comme des violations : 18 ÷ 26, environ 69,2 %.
- Combien de violations ont été détectées ? Sur 20 violations identifiées, 18 ont été signalées : 18 ÷ 20, soit 90 %.
- À quelle fréquence des contenus acceptables ont-ils été signalés ? Sur 80 éléments acceptables, huit ont été signalés : 8 ÷ 80, soit 10 %.
Ces mesures ont des dénominateurs différents et ne doivent pas être combinées en une seule affirmation d'« exactitude ». Examinez les cas qui les sous-tendent. L'équipe peut avoir besoin d'une règle plus claire, d'un seuil différent, d'un contrôle distinct ou de davantage de contexte.
Pour les opérations en direct, comptez également les recours non résolus et examinez l'ancienneté du plus ancien élément en attente. Un nombre élevé d'évaluations terminées peut masquer un petit ensemble de cas qui attendent depuis beaucoup trop longtemps.
Connectez Poyo à vos outils de revue existants
Utilisez l'Omni Moderation Playground pour tester les langues et les styles d'images que vos utilisateurs soumettent. Connectez-vous, exécutez des exemples représentatifs et inspectez les résultats des catégories sans écrire de code ni créer manuellement une clé API.
Pour les requêtes de l'application, utilisez votre clé API Poyo avec POST /api/generate/submit, model: "omni-moderation-latest" et les champs de texte ou d'image pris en charge. Les mêmes identifiants Poyo peuvent accéder à d'autres modèles pris en charge, ce qui vous aide à maintenir la génération et la modération au sein d'une intégration de plateforme commune.
Enregistrez l'identifiant de tâche retourné avec la version du contenu. Interrogez son statut ou configurez un callback_url facultatif afin qu'une évaluation terminée puisse mettre à jour un enregistrement dans votre système de publication, votre outil de support ou votre file de revue. Votre application définit l'orientation et effectue l'action de publication ou d'attribution au réviseur.
Lisez data.output.results dans les réponses de statut et output.results dans les callbacks, qui omettent l'enveloppe externe. Une tâche finished contient une évaluation terminée ; flagged: true identifie un risque potentiel lié au contenu. Maintenez les tâches failed sur une voie distincte de nouvelle tentative technique.
Réévaluez les publications modifiées et les images remplacées comme de nouvelles versions. Faites en sorte que le traitement des callbacks puisse être répété sans danger afin que les livraisons en double mettent à jour le même enregistrement de revue, et veillez à ce qu'un résultat plus ancien ne puisse pas remplacer une décision plus récente.
Définissez les autorisations d'accès et les règles de conservation pour les enregistrements de revue, et vérifiez les conditions de service applicables avant d'envoyer des données de production. La référence Poyo explique le contrat de requête ; les instructions relatives aux webhooks couvrent l'intégration des callbacks.
Foire aux questions
Qu'est-ce que la modération des contenus générés par les utilisateurs ?
La modération des contenus générés par les utilisateurs est le processus consistant à examiner les éléments soumis par les utilisateurs, tels que les publications, commentaires, avis et photos, au regard des règles d'une plateforme. Elle comprend la détection des violations potentielles, la décision sur la manière de les traiter et la résolution des signalements ou des recours.
Comment Poyo aide-t-il une petite équipe de modération ?
Poyo fournit une première évaluation gratuite des textes et images pris en charge, avec des signaux par catégorie, le suivi des tâches et des callbacks de fin facultatifs. Votre équipe peut utiliser ces résultats pour orienter les soumissions dans les outils existants et concentrer les réviseurs sur les cas qui nécessitent du contexte. Commencez par une seule surface de contenu et des règles que votre équipe peut appliquer de manière cohérente.
Quelles étapes de modération pouvons-nous automatiser ?
Votre application peut soumettre du contenu, enregistrer les identifiants de tâche, récupérer les évaluations, gérer les callbacks et mettre à jour les enregistrements de revue. Après avoir testé les règles sur vos propres exemples, vous pouvez également automatiser des actions de publication ou d'orientation définies. Poyo fournit les résultats des évaluations et la gestion des tâches ; votre équipe configure les règles métier, l'escalade et les recours.
Comment pouvons-nous réduire les revues manuelles répétitives ?
Conservez un enregistrement par version de contenu, associez-le à l'identifiant de tâche Poyo et rendez le traitement des callbacks sûr en cas de répétition. Cela aide votre application à éviter les entrées de revue en double. Utilisez des exemples annotés pour ajuster l'orientation par catégorie et examinez pourquoi des soumissions acceptables entrent dans la file, tout en continuant à vérifier les violations manquées. Mesurez l'effet avant d'étendre l'automatisation.
Poyo peut-il se connecter à nos outils de revue existants ?
Utilisez les requêtes de statut ou les callbacks de fin pour envoyer les classifications au système de publication, à l'outil de support ou à la file de revue de votre application. Incluez dans l'enregistrement l'identifiant du contenu, sa version, les signaux des catégories et la règle à appliquer. Votre intégration gère l'attribution aux réviseurs et les actions de publication, afin que l'équipe puisse continuer à utiliser ses outils habituels.
Comment commencer gratuitement ?
Choisissez une surface, définissez les règles pertinentes et testez des textes ou des images représentatifs dans le Poyo Playground. Aucun code ni aucune clé API créée manuellement n'est nécessaire pour cet essai. Les appels à Omni Moderation coûtent zéro crédit ; lorsque l'orientation est prête, connectez l'API à votre flux de travail existant et planifiez séparément le stockage et le temps des réviseurs.
Utilisez l'introduction à la modération des contenus par IA pour interpréter les signaux et le guide des coûts pour planifier le travail autour des appels gratuits.