Poyo ayuda a los equipos pequeños a añadir comprobaciones gratuitas de IA a la moderación de contenido generado por usuarios. Puedes evaluar publicaciones, comentarios, reseñas e imágenes estáticas con Omni Moderation y, después, conectar los resultados de las categorías con las reglas y herramientas de revisión que tu equipo ya utiliza.
El beneficio práctico es una primera evaluación repetible: envía contenido compatible, realiza un seguimiento de la tarea y recupera el resultado o recibe una devolución de llamada de finalización. Tu equipo puede utilizar esas señales para dirigir los envíos rutinarios y centrar la atención humana en los casos que necesitan contexto.
Empieza con una sola superficie de contenido y unos pocos ejemplos representativos en el Playground. Esta guía muestra cómo conectar las comprobaciones gratuitas con las reglas de publicación, la asignación de revisiones y las apelaciones de los usuarios para que el proceso siga siendo manejable a medida que aumentan los envíos.
Identifica el contenido y las decisiones de las que realmente eres responsable
El contenido generado por usuarios, o UGC, incluye material que las personas envían a tu producto: publicaciones de la comunidad, comentarios, fotos de perfil, reseñas de productos, descripciones de anuncios e imágenes subidas.
Haz un inventario antes de elegir una herramienta. Registra dónde aparece cada tipo, quién puede verlo, si los usuarios pueden editarlo y con qué rapidez necesita una decisión. Una imagen de perfil mostrada públicamente tiene consecuencias diferentes de un borrador visible solo para su autor.
Elige una superficie conectada a tus herramientas de publicación existentes, como los comentarios de tu aplicación o las fotos de productos de tu tienda. La evaluación de Poyo puede alimentar esas herramientas mediante resultados de tareas y devoluciones de llamada. Si también gestionas contenido en una plataforma social externa, utiliza la integración autorizada de esa plataforma para realizar acciones de publicación o eliminación.
La Trust & Safety Professional Association describe la moderación como el cumplimiento de políticas respaldado por operaciones, producto e ingeniería. En una empresa pequeña, una persona puede desempeñar varias de esas funciones. Aun así, las responsabilidades deben ser explícitas.
Empieza con reglas que las personas puedan aplicar
Una regla útil nombra el comportamiento, explica su alcance y establece la acción disponible. «Mantener segura la comunidad» expresa una intención, pero no resuelve un envío difícil.
Por ejemplo, un producto podría establecer: «Las amenazas directas contra otro miembro están prohibidas. Retén las amenazas sospechosas para su revisión y utiliza el proceso de escalación cuando el caso requiera atención urgente». Esto proporciona a los revisores una categoría específica y una acción siguiente.
Mantén tus reglas separadas de los nombres de las categorías del modelo. Una comunidad puede prohibir la publicidad repetitiva aunque un modelo de contenido dañino no devuelva ninguna señal relevante. Una comunidad de noticias puede permitir una discusión apropiada sobre la violencia y, al mismo tiempo, prohibir las amenazas contra sus miembros.
| Área de la política | Lo que debe definir el equipo |
|---|---|
| Amenazas y acoso | Qué comportamiento infringe las reglas y cómo se escala |
| Contenido sexual o gráfico | Qué está permitido en cada superficie y qué requiere revisión |
| Spam y publicidad | Límites sobre la repetición, los enlaces o la promoción |
| Información personal | Qué puede compartirse y cómo se gestiona la exposición |
| Publicaciones fuera de tema o de baja calidad | Si se deben mover, editar, rechazar o solicitar cambios |
| Decisiones disputadas | Quién revisa las apelaciones y qué puede corregirse |
Combina las categorías de contenido dañino compatibles con Omni Moderation con las comprobaciones que tu producto ya utiliza. El spam, la información personal, la calidad de las publicaciones y las apelaciones necesitan reglas, herramientas o revisores específicos. Asignar cada requisito a un paso concreto facilita la operación del proceso general.
Prueba la redacción con algunos ejemplos. Si dos revisores aplican la misma regla de manera diferente, aclara la regla antes de esperar que la automatización haga que la decisión sea coherente.
Elige cuándo se produce la moderación
El momento afecta tanto a la exposición como a la experiencia del usuario. Defínelo para cada superficie de contenido.
Antes de la publicación. El contenido permanece pendiente hasta que se completan las comprobaciones y decisiones requeridas. Esto puede ser adecuado para cargas públicas de imágenes o envíos que tu equipo haya decidido inspeccionar primero. También significa que los usuarios necesitan una explicación clara de la espera.
Después de la publicación. El contenido aparece y se evalúa posteriormente. Esto reduce la fricción inicial, pero el material prohibido puede ser visible hasta que se tomen medidas. El equipo necesita un proceso de respuesta acorde con esa exposición.
Después de una denuncia. Los usuarios señalan un problema y el equipo lo revisa. Las denuncias ayudan a sacar a la luz el contexto y los casos omitidos, pero el contenido que nadie denuncia puede permanecer sin examinar.
Un proceso mixto puede ser práctico. Por ejemplo, un equipo podría retener las nuevas fotos de perfil antes de publicarlas, ejecutar comprobaciones rutinarias de texto en los comentarios y seguir aceptando denuncias sobre ambos tipos de contenido. Este es un ejemplo de diseño, no una política universal.
Para obtener una visión general de estos enfoques, consulta la guía de moderación de contenido de Stream. Elige en función de tu audiencia, exposición y capacidad de revisión disponible.
Añade comprobaciones gratuitas de IA a tu flujo de moderación
Poyo integra texto multilingüe, una única imagen HTTPS o texto con una imagen en un solo flujo de tareas. El texto admite 13 categorías de riesgo; las imágenes admiten seis que abarcan contenido sexual, violencia y autolesiones. Las señales y puntuaciones de las categorías proporcionan a tu aplicación indicadores para decidir qué envíos pueden seguir reglas rutinarias y cuáles necesitan una revisión más detallada.
Utiliza la descripción general de categorías para asignar cada comprobación a su entrada compatible. Las categorías exclusivas de texto no evalúan los píxeles de las imágenes. Si tu política depende de texto incrustado, audio, vídeo o detección especializada, añade un paso de procesamiento separado adecuado. Para conocer la cobertura de imágenes y el tratamiento relacionado con la seguridad infantil, consulta la guía de moderación de imágenes.
Una secuencia práctica es:
- Recibe un envío y registra su ID de contenido y versión.
- Valida el texto o archivo cargado para tu aplicación.
- Envía el texto o la imagen compatibles a Poyo y guarda el ID de tarea.
- Recupera el resultado completado o recibe la devolución de llamada de finalización.
- Aplica tus reglas para publicar, solicitar cambios, rechazar o asignar un revisor.
- Registra la decisión y conserva las vías para denuncias y apelaciones.
El ID de tarea de Poyo ayuda a asociar una evaluación con el envío correcto. Las devoluciones de llamada de finalización pueden activar el siguiente paso de tu aplicación o herramienta de revisión existente. Configura cómo cada señal compatible se asigna a una acción empresarial, con revisión humana para los casos que necesiten contexto o escalación.
Diseña una cola de revisión que un equipo pequeño pueda gestionar
Para un proyecto piloto, tu herramienta existente de soporte o administración puede ser suficiente. Cada elemento de revisión debe contener información suficiente para tomar una decisión sin obligar al revisor a reconstruir todo el historial.
Incluye el contenido o una forma controlada de inspeccionarlo, el contexto relevante, la regla que se está considerando, las señales del modelo, la versión del contenido y cualquier decisión anterior necesaria para este caso. Añade un responsable y un estado para que dos personas no trabajen sin saberlo en el mismo elemento.
Entre los estados útiles se incluyen evaluación pendiente, revisión humana pendiente, aprobado, rechazado y apelado. Registra los fallos técnicos por separado, porque «no se pudo recuperar la imagen» no es una determinación de política de contenido.
Establece prioridades que tu equipo pueda mantener realmente. Una amenaza potencialmente grave puede requerir una escalación más rápida que una decisión incierta sobre una foto de producto. Define a la persona responsable y a su sustituto, incluido qué ocurre cuando ninguno está disponible.
Si la cola crece, examina la causa antes de flexibilizar las reglas. Puede haber demasiadas señales falsas, políticas poco claras, tareas duplicadas o un nuevo patrón de contenido que el equipo aún no haya evaluado. Cada problema necesita una respuesta diferente.
Mantén el contexto y las apelaciones dentro del proceso
Una señal automatizada puede no captar por qué un usuario publicó algo. El acoso citado en una queja, una discusión sobre un acontecimiento histórico y una imagen educativa pueden requerir un contexto que la primera evaluación no capture por completo.
Cuando un revisor tome una decisión, registra la regla aplicada y el motivo. El lenguaje dirigido al usuario debe explicar qué ocurre a continuación sin reproducir innecesariamente material dañino.
Por ejemplo, «Tu imagen está pendiente de revisión porque puede estar comprendida en nuestra regla sobre contenido gráfico» describe un caso pendiente. «No pudimos completar la comprobación de la imagen; tu carga permanece privada mientras volvemos a intentarlo» describe un retraso técnico. Estos mensajes proporcionan a los usuarios expectativas diferentes y útiles.
Ofrece una vía de apelación para las decisiones que puedan impugnarse. El revisor debería ver la versión original del contenido, el contexto relevante, el motivo anterior y cualquier explicación nueva del usuario. Cuando la dotación de personal lo permita, utiliza a otra persona para la apelación.
Si la decisión cambia, actualiza la visibilidad real del contenido y cualquier acción relacionada con la cuenta. Enviar una disculpa sin restaurar el estado previsto deja sin resolver el error subyacente.
Evita tratar las críticas como una infracción de la política simplemente porque sean negativas. Para los productos basados en reseñas, la discusión de Bazaarvoice sobre la moderación de UGC destaca la importancia de conservar los comentarios negativos auténticos. Tus reglas deben distinguir una experiencia crítica de cliente del abuso o de divulgaciones prohibidas.
Mide la calidad de las decisiones y la carga de trabajo
Empieza con medidas que ayuden al equipo a encontrar un problema específico. El volumen de envíos, las evaluaciones completadas, los fallos de procesamiento y las revisiones pendientes describen la carga de trabajo. El tiempo de respuesta de las revisiones y los resultados de las apelaciones describen lo que experimentan los usuarios.
Para evaluar la clasificación y el enrutamiento, etiqueta una muestra permitida con las decisiones que espera tu política. Incluye tanto el contenido señalado por el flujo de trabajo como el contenido que este dejó pasar; observar únicamente la cola de revisión no puede revelar todo lo que el sistema omitió.
El siguiente ejemplo es completamente ilustrativo y no describe el rendimiento de Poyo ni el de un modelo de referencia:
| En una muestra de 100 envíos | Enviados a revisión | No enviados a revisión | Total |
|---|---|---|---|
| Infracciones de la política etiquetadas por humanos | 18 | 2 | 20 |
| Contenido aceptable etiquetado por humanos | 8 | 72 | 80 |
| Total | 26 | 74 | 100 |
De esta muestra se desprenden tres preguntas diferentes:
- ¿Cuánto de la cola era relevante? De los 26 elementos señalados, 18 fueron etiquetados como infracciones: 18 ÷ 26, aproximadamente 69,2%.
- ¿Cuántas infracciones se detectaron? De las 20 infracciones etiquetadas, 18 fueron señaladas: 18 ÷ 20, o 90%.
- ¿Con qué frecuencia se señaló contenido aceptable? De los 80 elementos aceptables, ocho fueron señalados: 8 ÷ 80, o 10%.
Estas medidas tienen denominadores diferentes y no deben combinarse en una única afirmación de «precisión». Revisa los casos que hay detrás de ellas. El equipo puede necesitar una regla más clara, un umbral diferente, una comprobación separada o más contexto.
Para las operaciones en vivo, cuenta también las apelaciones sin resolver y observa la antigüedad del elemento que lleva más tiempo esperando. Un recuento alto de finalizaciones puede ocultar un pequeño conjunto de casos que llevan esperando demasiado tiempo.
Conecta Poyo con tus herramientas de revisión existentes
Utiliza el Omni Moderation Playground para probar los idiomas y estilos de imagen que envían tus usuarios. Inicia sesión, ejecuta ejemplos representativos e inspecciona los resultados de las categorías sin escribir código ni crear manualmente una clave de API.
Para las solicitudes de la aplicación, utiliza tu clave de API de Poyo con POST /api/generate/submit, model: "omni-moderation-latest" y los campos de texto o imagen compatibles. Las mismas credenciales de Poyo pueden acceder a otros modelos compatibles, lo que te ayuda a mantener la generación y la moderación dentro de una integración de plataforma compartida.
Guarda el ID de tarea devuelto junto con la versión del contenido. Consulta su estado o configura un callback_url opcional para que una evaluación completada pueda actualizar un registro en tu sistema de publicación, herramienta de soporte o cola de revisión. Tu aplicación define el enrutamiento y lleva a cabo la acción de publicación o asignación de revisor.
Lee data.output.results de las respuestas de estado y output.results de las devoluciones de llamada, que omiten el envoltorio externo. Una tarea finished contiene una evaluación completada; flagged: true identifica un posible riesgo de contenido. Mantén las tareas failed en una ruta técnica de reintento separada.
Vuelve a evaluar las publicaciones editadas y las imágenes reemplazadas como versiones nuevas. Haz que el procesamiento de devoluciones de llamada sea seguro para repetirse, de modo que las entregas duplicadas actualicen el mismo registro de revisión, y asegúrate de que un resultado anterior no pueda sobrescribir una decisión más reciente.
Establece permisos de acceso y reglas de conservación para los registros de revisión, y consulta los términos de servicio aplicables antes de enviar datos de producción. La referencia de Poyo explica el contrato de la solicitud; la guía de webhooks cubre la integración de las devoluciones de llamada.
Preguntas frecuentes
¿Qué es la moderación de contenido generado por usuarios?
La moderación de contenido generado por usuarios es el proceso de revisar el material enviado por los usuarios, como publicaciones, comentarios, reseñas y fotos, frente a las reglas de una plataforma. Incluye detectar posibles infracciones, decidir cómo gestionarlas y resolver denuncias o apelaciones.
¿Cómo ayuda Poyo a un equipo pequeño de moderación?
Poyo proporciona una primera evaluación gratuita de texto e imágenes compatibles, con señales de categorías, seguimiento de tareas y devoluciones de llamada de finalización opcionales. Tu equipo puede utilizar esos resultados para dirigir los envíos mediante herramientas existentes y centrar a los revisores en los casos que necesitan contexto. Empieza con una superficie de contenido y unas reglas que tu equipo pueda aplicar de manera coherente.
¿Qué pasos de moderación podemos automatizar?
Tu aplicación puede enviar contenido, guardar ID de tareas, recuperar evaluaciones, gestionar devoluciones de llamada y actualizar registros de revisión. Después de probar las reglas con tus propios ejemplos, también puedes automatizar acciones de publicación o enrutamiento definidas. Poyo proporciona los resultados de la evaluación y la gestión de tareas; tu equipo configura las reglas empresariales, la escalación y las apelaciones.
¿Cómo podemos reducir la revisión manual repetitiva?
Mantén un registro por cada versión del contenido, asócialo con el ID de tarea de Poyo y haz que el procesamiento de devoluciones de llamada sea seguro para repetirse. Esto ayuda a que tu aplicación evite entradas de revisión duplicadas. Utiliza ejemplos etiquetados para ajustar el enrutamiento de categorías y examina por qué los envíos aceptables entran en la cola, sin dejar de comprobar las infracciones omitidas. Mide el efecto antes de ampliar la automatización.
¿Puede Poyo conectarse a nuestras herramientas de revisión existentes?
Utiliza consultas de estado o devoluciones de llamada de finalización para enviar las clasificaciones al sistema de publicación, herramienta de soporte o cola de revisión de tu aplicación. Incluye en el registro el ID de contenido, la versión, las señales de las categorías y la regla que debe aplicarse. Tu integración gestiona la asignación de revisores y las acciones de publicación, por lo que el equipo puede seguir utilizando sus herramientas habituales.
¿Cómo empezamos gratis?
Elige una superficie, define las reglas pertinentes y prueba textos o imágenes representativos en el Poyo Playground. Para esta prueba no se necesita código ni una clave de API creada manualmente. Las llamadas a Omni Moderation cuestan cero créditos; cuando el enrutamiento esté listo, conecta la API a tu flujo de trabajo existente y planifica por separado el almacenamiento y el tiempo de los revisores.
Utiliza la introducción a la moderación de contenido con IA para interpretar las señales y la guía de costes para planificar el trabajo en torno a las llamadas gratuitas.