Poyo ofrece a los equipos acceso gratuito a la moderación de contenido con IA para texto, imágenes y texto con una imagen. Puedes probar omni-moderation-latest de OpenAI en Playground, consultar los indicadores y las puntuaciones de las categorías y usar la misma cuenta de Poyo para incorporar la moderación a tu flujo de trabajo con modelos.
Para una comunidad, esto puede significar comprobar una publicación antes de publicarla. Para un producto de imágenes, puede significar evaluar una carga junto con su descripción. Para un asistente de IA, puede significar revisar un mensaje o una respuesta generada antes de decidir cómo presentarla.
Empieza con algunos ejemplos representativos en Playground. Cuando estés listo para integrar la solución, Poyo proporciona un ID de tarea, seguimiento del estado y una devolución de llamada opcional de finalización para que tu aplicación pueda conectar el resultado con sus reglas de publicación y revisión.
¿Qué es la moderación de contenido con IA?
La moderación de contenido con IA utiliza clasificación automatizada para ayudar a los equipos a evaluar los envíos de los usuarios según las reglas de su plataforma. Puede identificar posibles riesgos en textos e imágenes y proporcionar a los revisores y las aplicaciones un conjunto coherente de indicadores con los que trabajar.
Con Poyo, esos indicadores incluyen un indicador de riesgo general, indicadores de categorías individuales, puntuaciones de confianza y los tipos de entrada utilizados para cada categoría. Un sitio de debates puede utilizarlos para identificar comentarios que requieren atención, mientras que un producto fotográfico puede revisar imágenes antes de que entren en una galería pública.
Tu producto puede asignar el resultado a acciones como publicar, solicitar una edición o asignar una revisión humana. Esto proporciona al equipo un punto de partida definido y, al mismo tiempo, mantiene el control sobre sus propias reglas.
El objetivo aquí es evaluar el contenido en busca de posibles daños. Determinar si un texto o una imagen fue generado por IA es una tarea independiente.
¿Qué puede detectar Omni Moderation?
La integración de Omni Moderation de Poyo admite texto multilingüe, una imagen o texto junto con una imagen. El texto abarca 13 categorías y seis categorías también admiten imágenes. Esto proporciona a los equipos un conjunto compartido de campos para revisar comentarios, descripciones e imágenes cargadas.
| Grupo de riesgo | Categorías de respuesta | Texto | Imágenes |
|---|---|---|---|
| Acoso | harassment, harassment/threatening | Compatible | Solo texto |
| Odio | hate, hate/threatening | Compatible | Solo texto |
| Instrucciones ilícitas | illicit, illicit/violent | Compatible | Solo texto |
| Autolesiones | self-harm, self-harm/intent, self-harm/instructions | Compatible | Compatible |
| Contenido sexual | sexual | Compatible | Compatible |
| Contenido sexual que involucra a menores | sexual/minors | Compatible | Solo texto |
| Violencia | violence, violence/graphic | Compatible | Compatible |
Usa category_applied_input_types para ver qué entradas abarca cada resultado. Las categorías marcadas como Solo texto se aplican al texto proporcionado; una puntuación de cero en una categoría de imagen no compatible significa que no se evaluó para esa imagen.
Puedes ampliar esta revisión con tus propias reglas de marketplace o comunidad, como restricciones publicitarias y controles de calidad. Cuando un flujo de trabajo dependa de texto incrustado en una imagen, transcripciones de audio o fotogramas de vídeo seleccionados, prepara ese material por separado y envía el texto o la imagen compatibles para su evaluación. El resultado cubre las entradas proporcionadas.
La categoría sexual/minors es solo de texto. El material de abuso sexual infantil conocido o sospechado no debe enviarse a la API de Moderación de OpenAI; sigue la guía oficial de seguridad infantil para esa situación.
Consulta la documentación de Poyo Omni Moderation para conocer los formatos de solicitud y los campos compatibles.
¿Dónde encaja la moderación con IA en tu producto?
El mejor lugar para introducir la moderación es un momento específico en el que el contenido del usuario cambia de visibilidad o llega a otra persona.
Para una comunidad, ese momento puede ser cuando se publica un comentario. Para un servicio de intercambio de imágenes, puede ser cuando se añade una foto a una galería pública. Para un chatbot, puede ser cuando se muestra una respuesta del asistente. En cada caso, decide si los usuarios deben esperar el resultado o si el contenido puede aparecer mientras continúa la revisión.
| Situación del producto | Contenido que evaluar | Decisión que definir |
|---|---|---|
| Foro de debate | Una publicación o comentario | Publicar, solicitar una edición o retener para revisión |
| Galería pública de imágenes | Una imagen y su descripción | Mostrar públicamente, restringir la visibilidad o retener |
| Asistente de IA | Un mensaje del usuario o una respuesta generada | Continuar la interacción, revisar o aplicar la política de respuesta del producto |
| Marketplace | Una descripción y una imagen del producto | Permitir la publicación o solicitar comprobaciones adicionales |
Los mensajes privados también requieren una decisión de privacidad deliberada. Define qué revisa tu producto, quién puede ver el contenido y qué se informa a los usuarios antes de introducir un flujo de moderación.
Poyo integra la evaluación y el seguimiento de tareas en un único flujo de trabajo de API. Conecta el resultado con tus reglas de publicación y herramientas de revisión existentes para que cada envío siga el proceso que definas.
Prueba gratis la moderación de texto e imágenes con Poyo
Puedes comenzar en la página del modelo Omni Moderation. Playground ofrece un formulario, solicitudes de ejemplo y resultados estructurados. Inicia sesión para ejecutar una prueba; no necesitas crear ni pegar manualmente una clave de API en Playground. Se necesita una clave de API cuando tu propia aplicación llama a la API.
Empieza con un envío de texto
Inicia sesión, abre Playground e introduce el texto que quieres revisar en el campo Prompt. Aquí, Prompt significa el contenido que se está evaluando. No es una instrucción que pida al modelo comportarse como moderador.
Usa primero un ejemplo breve y cotidiano, como:
Este fin de semana estoy planeando hacer una excursión por el parque con unos amigos. ¿Alguien puede recomendar una ruta apta para principiantes?
Selecciona Run para solicitar una nueva evaluación. La página muestra inicialmente ejemplos registrados; cambiar la entrada no sustituye automáticamente el resultado de un ejemplo. Espera a que se complete tu nueva solicitud antes de interpretar su resultado.
Lee el indicador de riesgo general, las categorías individuales, las puntuaciones y los tipos de entrada aplicados. Después, prueba algunos ejemplos permitidos de tu contenido real, incluidos los idiomas y las situaciones con los que tu producto se encuentra habitualmente.
Añade una imagen
Para una evaluación basada únicamente en una imagen, borra el texto y añade una imagen en Image Urls, utilizando la entrada de imagen disponible. También puedes mantener una descripción en Prompt para revisar conjuntamente el texto y una imagen.
A nivel de API, Poyo acepta una URL de imagen HTTPS. El control de carga de Playground primero carga un archivo local seleccionado y después proporciona su URL a la solicitud de revisión. Para varias imágenes, envía una tarea independiente para cada una y asocia los resultados con la publicación original.
Si utilizas tu propia URL, debe ser accesible para el servicio de moderación. Un enlace que solo se abre después de iniciar sesión en un panel privado no proporcionará la imagen en sí.
Pasa de una prueba a una integración
Cuando los ejemplos sean útiles, crea una clave de API de Poyo e intégrala desde tu servidor. Mantén la clave fuera del código público del navegador.
Una solicitud de texto e imagen tiene esta estructura:
{
"model": "omni-moderation-latest",
"input": {
"prompt": "A view from this morning's hike.",
"image_urls": [
"https://your-image-host.example/photo.jpg"
]
}
}
Sustituye la URL de ejemplo por una imagen HTTPS real y accesible. La solicitud se envía a POST https://api.poyo.ai/api/generate/submit con tu clave de API de Poyo. Devuelve un ID de tarea; recupera el resultado completado mediante el endpoint de estado o configura una devolución de llamada de finalización. Este es un flujo de trabajo asíncrono, por lo que recibir un ID de tarea no equivale a recibir una evaluación finalizada.
Cómo leer el resultado
Hay dos preguntas independientes: ¿se completó el procesamiento y qué detectó el modelo?
| Campo | Significado | Cómo utilizarlo |
|---|---|---|
status | Indica si la tarea está esperando, en ejecución, finalizada o fallida | Determinar si hay una evaluación disponible |
flagged | Indica si el modelo señaló un posible riesgo | Iniciar una revisión o una decisión de enrutamiento |
categories | Un indicador verdadero o falso para cada categoría | Identificar el tipo de posible riesgo |
category_scores | Una señal de confianza para cada categoría, entre 0 y 1 | Comparar casos y evaluar reglas con tus propios ejemplos |
category_applied_input_types | Los tipos de entrada a los que se aplica el resultado de una categoría | Comprobar si contribuyeron texto, imágenes o ambos |
Para el endpoint de estado, los resultados de las categorías se encuentran en data.output.results. Una tarea con status: "finished" y flagged: true se completó correctamente e identificó un posible riesgo. Una tarea fallida no ha proporcionado una evaluación completada utilizable.
Una puntuación de 0.8 no debe presentarse como una garantía del 80% de que el contenido infringe tu política. Una puntuación alta puede indicar una fuerte confianza del modelo en una categoría, mientras que tus revisores deben seguir teniendo en cuenta el contexto y tus reglas.
Por ejemplo, una cuenta que describa un incidente violento puede activar una categoría de violencia aunque la cuenta sea apropiada para un debate de noticias. Una publicación promocional de apariencia normal puede no recibir ningún indicador de contenido dañino y, aun así, infringir la regla de una comunidad que prohíbe la publicidad. Ambos ejemplos muestran por qué la detección de categorías y la aplicación de políticas requieren decisiones independientes.
Crea reglas de revisión a partir de tus propios ejemplos
Usa Playground para crear un pequeño conjunto de evaluación con envíos habituales, infracciones claras y casos que necesiten contexto. Incluye tus idiomas habituales, estilos de imagen, descripciones y material citado. Los ejemplos sintéticos o adecuadamente permitidos constituyen un punto de partida útil.
Registra la decisión que tu equipo espera para cada elemento y, después, compárala con los indicadores de las categorías. Esto te ayuda a decidir qué envíos pueden seguir una ruta rutinaria y cuáles deberían llegar a un revisor.
Prueba también el flujo de trabajo completo: una tarea pendiente debe tener un estado de espera visible, un problema de procesamiento debe contar con una vía de reintento y un revisor debe poder corregir una decisión. El ID de tarea y los campos de estado de Poyo te ofrecen una forma de seguir ese proceso.
Elige umbrales específicos para cada categoría utilizando esos ejemplos y vuelve a evaluarlos cuando cambien tus patrones de contenido o el modelo subyacente.
Preguntas frecuentes
¿Qué es la moderación de contenido con IA?
La moderación de contenido con IA utiliza aprendizaje automático para evaluar textos e imágenes en busca de contenido potencialmente dañino. Devuelve indicadores que ayudan a una plataforma a aplicar sus reglas, decidir qué puede publicarse e identificar los envíos que necesitan revisión humana.
¿La moderación de contenido con IA es gratuita en Poyo?
Las llamadas de Omni Moderation de Poyo cuestan cero créditos para las entradas de texto e imágenes compatibles. Puedes probar la clasificación sin añadir un cargo de moderación por llamada y después utilizar el mismo modelo en tu aplicación. Otros modelos, el almacenamiento y la revisión humana tienen sus propios costes; la guía de moderación gratuita explica cómo planificarlos.
¿Cómo puedo probarlo sin escribir código?
Inicia sesión en el Poyo Playground, introduce texto, añade una imagen o combina ambos elementos y selecciona Run. Consulta los resultados de las categorías de la nueva tarea una vez que se complete. Playground gestiona la autenticación, por lo que no necesitas crear ni introducir manualmente una clave de API para probar ejemplos.
¿Qué resultados devuelve Poyo?
Las evaluaciones completadas incluyen un valor flagged general, indicadores de categorías individuales, puntuaciones de categorías y category_applied_input_types. En conjunto, estos campos muestran los posibles riesgos detectados y qué tipos de entrada proporcionados fueron evaluados. Utilízalos para configurar reglas de revisión e interpreta las puntuaciones como señales del modelo, no como decisiones de política garantizadas.
¿Cómo conecto la moderación con mi producto existente?
Envía contenido compatible utilizando tu clave de API de Poyo, guarda el ID de tarea junto con la versión del contenido y consulta el estado o configura una devolución de llamada de finalización. Tu aplicación puede entonces conectar el resultado con la publicación, una solicitud de cambios o una herramienta de revisión humana existente. Empieza con una superficie de contenido y prueba el enrutamiento antes de añadir más.
Empieza con el Poyo Omni Moderation Playground y compara sus resultados con las decisiones de tu equipo. Para un flujo de trabajo más profundo, consulta la guía de moderación de imágenes, la explicación sobre acceso gratuito y costes o la guía de moderación de UGC para equipos pequeños.