La API gratuita de moderación de imágenes de Poyo te ayuda a evaluar fotos de perfil, imágenes de la comunidad y cargas de productos antes de decidir cómo publicarlas. Con Omni Moderation, puedes revisar una imagen por sí sola o incluir su leyenda en la misma solicitud.
Empieza en el Playground para ver las categorías marcadas y las puntuaciones de tus propios ejemplos. Después, utiliza el seguimiento de tareas de Poyo y la devolución de llamada opcional de finalización para conectar esos resultados con las reglas de publicación y las herramientas de revisión de tu aplicación.
Esta guía explica las categorías de imágenes compatibles, cómo preparar una carga y cómo crear un recorrido claro desde el envío hasta la publicación o una revisión adicional. Puedes aplicar el proceso primero a una sola superficie de carga y ampliarlo a medida que tu equipo gane experiencia.
Qué debería hacer la moderación de imágenes para tu producto
Empieza por el lugar donde aparecen las imágenes y quién las verá.
Un avatar puede ser visible junto a cada comentario. Una foto de la comunidad puede aparecer en un feed público. Una imagen de producto puede estar junto a un anuncio que necesite comprobaciones adicionales a las de seguridad visual. Cada superficie puede requerir reglas diferentes y un nivel de precaución distinto antes de la publicación.
Por ejemplo, un producto podría aceptar una imagen histórica no gráfica dentro de un debate y, al mismo tiempo, rechazarla como foto de perfil. La imagen no ha cambiado; lo que ha cambiado es su ubicación y las reglas del producto.
Especifica qué debería ocurrir en tres casos: la imagen cumple las reglas, su significado no está claro o infringe claramente una regla. Define también un cuarto resultado para una evaluación no disponible. Un error de procesamiento no debe interpretarse silenciosamente como una aprobación.
Qué comprueba Omni Moderation en las imágenes
Poyo te ofrece acceso sin consumir créditos a seis categorías de riesgo de imágenes que abarcan contenido sexual, violencia y autolesiones. Cada solicitud acepta una URL de imagen HTTPS; añade una leyenda para evaluar el texto proporcionado junto con la imagen.
| Categoría | Qué aborda la señal |
|---|---|
sexual | Contenido sexual |
violence | Violencia |
violence/graphic | Violencia gráfica |
self-harm | Contenido de autolesiones |
self-harm/intent | Indicaciones de intención de autolesionarse |
self-harm/instructions | Instrucciones para autolesionarse |
Usa category_applied_input_types para saber si un resultado se aplica a la imagen, al texto proporcionado o a ambos. La entrada de texto admite 13 categorías, incluidas odio, acoso, instrucciones ilícitas y sexual/minors. Esas categorías exclusivas de texto evalúan el texto proporcionado; no son comprobaciones de imágenes. Para una solicitud que solo contenga una imagen, una puntuación de cero y una lista vacía de tipos de entrada para una categoría no compatible significan que no fue evaluada.
Para las reglas que dependen de palabras integradas en una imagen, añade un paso adecuado de extracción de texto y revisa el texto extraído. La calidad del producto, las marcas de agua, la información personal y las reglas sobre artículos prohibidos también requieren sus propias comprobaciones. Las cargas de vídeo y animaciones requieren un flujo separado de selección de fotogramas, y el audio requiere un procesamiento independiente; revisar fotogramas seleccionados no evalúa un vídeo completo ni su banda sonora.
Omni Moderation no es un detector especializado de CSAM, y sexual/minors solo admite texto. No envíes CSAM conocido o sospechado a la API de moderación de OpenAI; sigue las directrices oficiales de seguridad infantil.
La documentación de la API de Poyo describe las entradas compatibles y los campos de respuesta. Utiliza esta cobertura para elegir las comprobaciones de cada superficie de carga.
Prepara la carga antes de solicitar una revisión
Tu aplicación necesita un recurso de imagen que el servicio de moderación pueda recuperar. Un nombre de archivo como photo.jpg en el dispositivo de un usuario no es suficiente, y una página web que muestre una imagen no es necesariamente la URL de la imagen.
Mantén las cargas nuevas fuera de los feeds públicos mientras la revisión esté pendiente. Esta área de preparación puede formar parte de tu sistema de almacenamiento existente. Aplica controles de acceso y elige un método de entrega compatible que permita al servicio recuperar el archivo específico sin exponer toda tu cuenta de almacenamiento.
Si ese método utiliza una URL HTTPS temporal, deja tiempo suficiente para el procesamiento en cola y los reintentos. No incluyas credenciales de sesión en la URL y evita poner enlaces privados a imágenes en registros de acceso amplio.
Valida la carga antes de enviarla para la evaluación de contenido. Comprueba que sea un tipo de archivo esperado y que pueda decodificarse, y aplica límites de tamaño de archivo y dimensiones de imagen adecuados para tu aplicación y proveedor. Estas son comprobaciones de carga; una puntuación de moderación no valida la seguridad técnica de un archivo.
Registra un ID de contenido estable y su versión. Asocia el ID de tarea con esa versión para que un resultado no pueda aprobar accidentalmente una imagen que el usuario haya sustituido mientras la revisión estaba en curso.
Un flujo práctico de carga a publicación
Un proceso sencillo puede funcionar sin un gran equipo de moderación, siempre que los estados y las responsabilidades estén claramente definidos.
| Etapa | Qué sucede | Qué ve el usuario |
|---|---|---|
| Cargado | Guarda el archivo y asigna su versión de contenido | Carga recibida |
| Revisión pendiente | Envía la imagen y registra el ID de tarea | Esperando revisión |
| Evaluación completada | Lee el estado de la tarea, las categorías compatibles y las puntuaciones | La revisión continúa hasta que se toma una decisión del producto |
| Aprobado | Aplica las reglas del producto y hace visible la imagen | Publicado |
| Revisión humana | Retiene la imagen y asigna un revisor | Esperando una decisión |
| Rechazado o imposible de procesar | Explica la regla o el problema técnico y ofrece un siguiente paso adecuado | Un motivo para editar, volver a intentarlo o apelar |
Poyo proporciona la evaluación de categorías y el resultado de la tarea que conectan estas etapas. Utiliza el ID de tarea o la devolución de llamada de finalización para actualizar la carga correspondiente en tu aplicación y, después, aplica tus reglas para publicarla, retenerla para un revisor o solicitar un cambio. Tu sistema de publicación y tus herramientas de revisión existentes ejecutan esas acciones.
Mantén específicos los mensajes dirigidos al usuario. «Tu foto está esperando revisión» es útil mientras el procesamiento no haya terminado. «No pudimos procesar esta carga; inténtalo de nuevo» describe un problema técnico. Ninguno de los dos debe sustituirse por «Tu imagen infringe nuestras reglas» a menos que una decisión de contenido respalde realmente ese mensaje.
Envía una imagen mediante Poyo
Puedes probar una imagen en el Playground de Omni Moderation sin escribir código ni crear manualmente una clave de API. Inicia sesión, borra el texto si quieres realizar una comprobación solo de imagen, añade una imagen y selecciona Run. Al principio, utiliza el nuevo resultado de la tarea en lugar del ejemplo registrado que se muestra inicialmente.
Para una integración, realiza el envío desde tu servidor con una clave de API de Poyo:
curl -X POST https://api.poyo.ai/api/generate/submit \
-H "Authorization: Bearer YOUR_POYO_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "omni-moderation-latest",
"input": {
"image_urls": ["https://your-image-host.example/upload.jpg"]
}
}'
Sustituye el dominio de ejemplo por una URL HTTPS accesible que apunte al archivo de imagen. Para una prueba sin código con un archivo local, carga la imagen mediante el Playground; para las solicitudes de API, proporciona su URL alojada en input.image_urls.
Para incluir una leyenda, añade "prompt": "The caption being reviewed" dentro de input. Para varias imágenes en una publicación, envía tareas separadas y registra qué resultado corresponde a cada imagen. Aprobar una imagen no debería aprobar automáticamente las demás.
El envío devuelve un task_id. Recupera el estado mediante:
curl https://api.poyo.ai/api/generate/status/YOUR_TASK_ID \
-H "Authorization: Bearer YOUR_POYO_API_KEY"
Una tarea comienza con not_started, se ejecuta de forma asíncrona y termina con finished o failed. Para las tareas completadas, lee los resultados en data.output.results.
También puedes proporcionar un callback_url de nivel superior en el envío. El cuerpo de la devolución de llamada es el objeto de datos de estado sin el envoltorio externo, por lo que los resultados están en output.results. Verifica las devoluciones de llamada mediante las directrices de webhooks de Poyo y haz que tu controlador tolere entregas repetidas.
Convierte la evaluación en una decisión
Empieza con una regla en lenguaje sencillo para cada categoría relevante para la superficie. Después, evalúa si la señal del modelo ayuda a aplicar esa regla.
Una imagen que infrinja claramente tu política puede rechazarse después de realizar las comprobaciones correspondientes. Una imagen aceptable puede publicarse una vez finalizadas todas las comprobaciones necesarias. Los casos ambiguos deberían permanecer en revisión en lugar de verse obligados a tomar una decisión porque ha expirado un temporizador.
Una puntuación alta es un motivo para examinar la categoría correspondiente. No es una garantía porcentual de que exista una infracción de la política. La interpretación puede depender de si la imagen es una obra de arte, una ilustración médica, una fotografía de noticias o una foto casual de un usuario.
Utiliza tus propios ejemplos etiquetados para elegir los umbrales de enrutamiento. Comprueba tanto las imágenes aceptables que se retienen innecesariamente como las imágenes prohibidas que el flujo no detecta. Si cambias un umbral, compara los resultados con tu política anterior antes de ampliar las acciones automáticas.
Registra suficiente información para explicar las decisiones: versión del contenido, ID de tarea, señales de las categorías, regla aplicada, resultado de la revisión si lo hay y hora de la decisión. Establece políticas de conservación y controles de acceso para este registro en lugar de almacenar indefinidamente todas las imágenes sin procesar.
Gestiona errores, ediciones y apelaciones
No se puede recuperar una imagen. Comprueba que la URL apunte a la propia imagen, siga siendo válida y sea accesible sin una sesión de usuario. Mantén la carga pendiente mientras resuelves el problema técnico.
Una solicitud sigue ejecutándose cuando la página deja de esperar. Conserva el ID de tarea y comprueba su estado. Enviar inmediatamente un duplicado puede dejar dos tareas revisando la misma versión. Utiliza reintentos limitados y un mecanismo de respaldo definido cuando el procesamiento siga sin estar disponible.
Un usuario sustituye el archivo o cambia su leyenda. Trata el cambio como una nueva versión que debe revisarse. Una aprobación anterior no debería autorizar contenido nuevo. Vuelve a comprobar las entradas relevantes y asegúrate de que las devoluciones de llamada tardías de la versión anterior no puedan publicar la nueva.
Un usuario impugna la decisión. Proporciona una vía de apelación con suficiente contexto para que una persona pueda evaluar el contenido y la regla aplicada. Una apelación aceptada debería actualizar el estado de publicación y dejar una corrección auditable.
Una publicación contiene varias imágenes. Haz explícita la regla de publicación: por ejemplo, espera hasta que se completen todas las tareas de imágenes necesarias o permite que el usuario elimine la imagen que requiere revisión. No interpretes un resultado satisfactorio como una revisión de toda la publicación.
Preguntas frecuentes
¿Qué es la moderación de imágenes?
La moderación de imágenes es el proceso de revisar imágenes conforme a las reglas de contenido de una plataforma. Puede combinar comprobaciones automatizadas con criterio humano para decidir si una carga debe publicarse, quedar retenida para revisión o rechazarse.
¿La moderación de imágenes es gratuita en Poyo?
Las llamadas de imágenes de Omni Moderation de Poyo cuestan cero créditos. Puedes probar una evaluación de imágenes compatible en el Playground y después utilizarla en tu aplicación sin un cargo de moderación por llamada. Planifica por separado el almacenamiento y la entrega de imágenes, así como cualquier revisión humana; la guía de acceso gratuito explica la diferencia.
¿Puedo revisar una imagen y su leyenda conjuntamente?
Sí. Añade tanto input.image_urls con una URL de imagen HTTPS como input.prompt con la leyenda en la misma solicitud. En el Playground, proporciona la imagen y el texto conjuntamente. Lee category_applied_input_types para ver qué señales se aplican al texto proporcionado, a la imagen o a ambos.
¿Qué riesgos de las imágenes puedo comprobar?
Omni Moderation admite seis categorías de imágenes que abarcan contenido sexual, violencia, violencia gráfica, autolesiones, intención de autolesionarse e instrucciones para autolesionarse. Poyo devuelve indicadores y puntuaciones de las categorías que puedes utilizar para enrutar las cargas de acuerdo con tus reglas. La sección de capacidades anterior explica la cobertura de entradas y el procesamiento adicional necesario para otros requisitos.
¿Cómo recibo el resultado de imagen completado?
Guarda el ID de tarea de Poyo devuelto y consulta su estado, o proporciona un callback_url para recibir una notificación de finalización. Lee data.output.results en las respuestas de estado o output.results en las devoluciones de llamada. Relaciona el resultado con la versión de la imagen cargada y, después, deja que tu aplicación la publique o la envíe a tu herramienta de revisión existente.
¿Cómo puedo probar la moderación de imágenes sin código?
Inicia sesión en el Playground de Poyo, añade una imagen, introduce opcionalmente su leyenda y selecciona Run. Para una prueba solo de imagen, borra el campo de texto. Inspecciona la tarea recién completada y prueba ejemplos representativos permitidos antes de configurar reglas de publicación automática.
Prueba una imagen en el Playground de Poyo y, después, conecta el resultado con una regla de publicación que tu equipo pueda explicar. La introducción a la moderación con IA explica los campos de respuesta y la guía de moderación de UGC aborda el proceso más amplio del equipo.