A API gratuita de moderação de imagens do Poyo ajuda você a avaliar fotos de perfil, imagens da comunidade e uploads de produtos antes de decidir como publicá-los. Com o Omni Moderation, você pode revisar uma imagem sozinha ou incluir sua legenda na mesma solicitação.
Comece no Playground para ver sinalizações e pontuações de categorias nos seus próprios exemplos. Depois, use o acompanhamento de tarefas do Poyo e o callback opcional de conclusão para conectar esses resultados às regras de publicação e às ferramentas de revisão da sua aplicação.
Este guia explica as categorias de imagem compatíveis, como preparar um upload e como criar um caminho claro da submissão à publicação ou à revisão adicional. Você pode aplicar o processo primeiro a uma única superfície de upload e expandi-lo à medida que sua equipe ganha experiência.
O que a moderação de imagens deve fazer pelo seu produto
Comece pelo local onde as imagens aparecem e por quem as verá.
Um avatar pode ficar visível ao lado de todos os comentários. Uma foto da comunidade pode aparecer em um feed público. Uma imagem de produto pode ficar ao lado de um anúncio que exige verificações além da segurança visual. Cada superfície pode exigir regras diferentes e um nível diferente de cautela antes da publicação.
Por exemplo, um produto pode aceitar uma imagem histórica não explícita dentro de uma discussão e recusá-la como foto de perfil. A imagem não mudou; o local onde ela aparece e as regras do produto mudaram.
Anote o que deve acontecer em três situações: a imagem atende às regras, seu significado não está claro ou ela viola claramente uma regra. Defina também um quarto resultado para uma avaliação indisponível. Um erro de processamento não deve ser interpretado silenciosamente como uma aprovação.
O que o Omni Moderation verifica em imagens
O Poyo oferece acesso sem consumir créditos a seis categorias de risco de imagem que abrangem conteúdo sexual, violência e automutilação. Cada solicitação aceita uma URL de imagem HTTPS; adicione uma legenda para avaliar o texto fornecido junto com a imagem.
| Categoria | Ao que o sinal se refere |
|---|---|
sexual | Conteúdo sexual |
violence | Violência |
violence/graphic | Violência explícita |
self-harm | Conteúdo de automutilação |
self-harm/intent | Indícios de intenção de automutilação |
self-harm/instructions | Instruções de automutilação |
Use category_applied_input_types para saber se um resultado se aplica à imagem, ao texto fornecido ou a ambos. A entrada de texto é compatível com 13 categorias, incluindo ódio, assédio, instruções ilícitas e sexual/minors. Essas categorias exclusivas de texto avaliam o texto fornecido; elas não são verificações de imagem. Em uma solicitação somente de imagem, uma pontuação zero e uma lista vazia de tipos de entrada para uma categoria incompatível significam que ela não foi avaliada.
Para regras que dependem de palavras incorporadas em uma imagem, adicione uma etapa adequada de extração de texto e revise o texto extraído. Qualidade do produto, marcas d'água, informações pessoais e regras sobre itens proibidos também exigem suas próprias verificações. Uploads de vídeo e animações exigem um fluxo separado de seleção de quadros, e o áudio exige processamento separado; revisar quadros selecionados não avalia um vídeo inteiro nem sua trilha sonora.
O Omni Moderation não é um detector dedicado de CSAM, e sexual/minors oferece suporte apenas a texto. Não envie CSAM conhecido ou suspeito para a API de Moderação da OpenAI; siga as orientações oficiais de segurança infantil.
A documentação da API do Poyo descreve as entradas compatíveis e os campos de resposta. Use essa cobertura para escolher as verificações de cada superfície de upload.
Prepare o upload antes de solicitar uma revisão
Sua aplicação precisa de um recurso de imagem que o serviço de moderação consiga buscar. Um nome de arquivo como photo.jpg no dispositivo do usuário não é suficiente, e uma página da Web que exibe uma imagem não é necessariamente a URL da imagem.
Mantenha os novos uploads fora dos feeds públicos enquanto a revisão estiver pendente. Essa área de armazenamento temporário pode fazer parte do seu sistema de armazenamento existente. Aplique controles de acesso e escolha um método de entrega compatível que permita ao serviço recuperar o arquivo específico sem expor toda a sua conta de armazenamento.
Se esse método usar uma URL HTTPS temporária, permita tempo suficiente para o processamento enfileirado e as tentativas novamente. Não inclua credenciais de sessão na URL e evite colocar links de imagens privadas em registros amplamente acessíveis.
Valide o upload antes de enviá-lo para a avaliação de conteúdo. Verifique se ele é de um tipo de arquivo esperado e pode ser decodificado, e aplique limites de tamanho de arquivo e dimensões de imagem adequados à sua aplicação e ao seu provedor. Essas são verificações de upload; uma pontuação de moderação não valida a segurança técnica de um arquivo.
Registre um ID de conteúdo estável e uma versão. Associe o ID da tarefa a essa versão para que um resultado não possa aprovar acidentalmente uma imagem que o usuário substituiu enquanto a revisão estava em andamento.
Um fluxo prático do upload à publicação
Um processo simples pode funcionar sem uma grande equipe de moderação, desde que os estados e as responsabilidades sejam explícitos.
| Etapa | O que acontece | O que o usuário vê |
|---|---|---|
| Enviado | Salve o arquivo e atribua sua versão de conteúdo | Upload recebido |
| Revisão pendente | Envie a imagem e registre o ID da tarefa | Aguardando revisão |
| Avaliação concluída | Leia o status da tarefa, as categorias compatíveis e as pontuações | A revisão continua até que uma decisão do produto seja tomada |
| Aprovado | Aplique as regras do produto e torne a imagem visível | Publicado |
| Revisão humana | Mantenha a imagem retida e atribua um revisor | Aguardando uma decisão |
| Rejeitado ou não foi possível processar | Explique a regra ou o problema técnico e ofereça uma próxima etapa adequada | Um motivo para editar, tentar novamente ou recorrer |
O Poyo fornece a avaliação das categorias e o resultado da tarefa que conectam essas etapas. Use o ID da tarefa ou o callback de conclusão para atualizar o upload correspondente na sua aplicação e, em seguida, aplique suas regras para publicá-lo, mantê-lo retido para um revisor ou solicitar uma alteração. Seu sistema de publicação e suas ferramentas de revisão existentes executam essas ações.
Mantenha as mensagens exibidas ao usuário específicas. “Sua foto está aguardando revisão” é útil enquanto o processamento não foi concluído. “Não foi possível processar este upload; tente novamente” descreve um problema técnico. Nenhuma das duas mensagens deve ser substituída por “Sua imagem viola nossas regras” a menos que uma decisão de conteúdo realmente justifique essa mensagem.
Envie uma imagem pelo Poyo
Você pode testar uma imagem no Playground do Omni Moderation sem escrever código ou criar manualmente uma chave de API. Entre, limpe o texto se quiser fazer uma verificação somente de imagem, adicione uma imagem e selecione Executar. Use o novo resultado da tarefa em vez do exemplo registrado que é exibido inicialmente.
Para uma integração, envie a solicitação do seu servidor usando uma chave de API do Poyo:
curl -X POST https://api.poyo.ai/api/generate/submit \
-H "Authorization: Bearer YOUR_POYO_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "omni-moderation-latest",
"input": {
"image_urls": ["https://your-image-host.example/upload.jpg"]
}
}'
Substitua o domínio de exemplo por uma URL HTTPS acessível que aponte para o arquivo de imagem. Para um teste sem código com um arquivo local, carregue a imagem pelo Playground; para solicitações de API, forneça a URL hospedada em input.image_urls.
Para incluir uma legenda, adicione "prompt": "The caption being reviewed" dentro de input. Para várias imagens em uma publicação, envie tarefas separadas e registre qual resultado pertence a cada imagem. Aprovar uma imagem não deve aprovar automaticamente as demais.
A submissão retorna um task_id. Recupere o status usando:
curl https://api.poyo.ai/api/generate/status/YOUR_TASK_ID \
-H "Authorization: Bearer YOUR_POYO_API_KEY"
Uma tarefa começa com not_started, é executada de forma assíncrona e termina com finished ou failed. Para tarefas concluídas, leia os resultados em data.output.results.
Você também pode fornecer um callback_url no nível superior durante a submissão. O corpo do callback é o objeto de dados de status sem o wrapper externo, portanto os resultados ficam em output.results. Verifique os callbacks usando as orientações de webhook do Poyo e faça seu manipulador aceitar entregas repetidas.
Transforme a avaliação em uma decisão
Comece com uma regra em linguagem simples para cada categoria relevante à superfície. Depois, avalie se o sinal do modelo ajuda a aplicar essa regra.
Uma imagem que viola claramente sua política pode ser rejeitada após as verificações adequadas. Uma imagem aceitável pode ser publicada quando todas as verificações obrigatórias forem concluídas. Casos ambíguos devem permanecer em revisão, em vez de serem forçados a uma decisão porque um cronômetro expirou.
Uma pontuação alta é um motivo para examinar a categoria correspondente. Ela não é uma garantia percentual de violação de uma política. A interpretação pode depender de a imagem ser uma obra de arte, uma ilustração médica, uma fotografia jornalística ou uma foto casual de usuário.
Use seus próprios exemplos rotulados para escolher os limites de encaminhamento. Verifique tanto as imagens aceitáveis retidas sem necessidade quanto as imagens proibidas que o fluxo não identificou. Se você alterar um limite, compare os resultados com sua política anterior antes de ampliar as ações automáticas.
Registre informações suficientes para explicar as decisões: versão do conteúdo, ID da tarefa, sinais das categorias, regra aplicada, resultado do revisor, se houver, e horário da decisão. Defina políticas de retenção e controles de acesso para esse registro, em vez de armazenar indefinidamente todas as imagens originais.
Lide com falhas, edições e recursos
Não é possível recuperar uma imagem. Verifique se a URL aponta para a própria imagem, continua válida e pode ser acessada sem uma sessão de usuário. Mantenha o upload pendente enquanto resolve o problema técnico.
Uma solicitação ainda está em execução quando a página para de esperar. Preserve o ID da tarefa e verifique seu status. Enviar uma duplicata imediatamente pode deixar duas tarefas revisando a mesma versão. Use novas tentativas limitadas e um fallback definido quando o processamento continuar indisponível.
Um usuário substitui o arquivo ou altera a legenda. Trate a alteração como uma nova versão que precisa ser revisada. Uma aprovação antiga não deve autorizar conteúdo novo. Verifique novamente as entradas relevantes e garanta que callbacks tardios da versão antiga não possam publicar a nova.
Um usuário contesta a decisão. Ofereça um caminho de recurso com contexto suficiente para que uma pessoa avalie o conteúdo e a regra aplicada. Um recurso bem-sucedido deve atualizar o estado de publicação e deixar uma correção auditável.
Uma publicação contém várias imagens. Torne a regra de publicação explícita: por exemplo, aguarde a conclusão de todas as tarefas de imagem obrigatórias ou permita que o usuário remova a imagem que precisa de revisão. Não interprete um resultado bem-sucedido como uma revisão da publicação inteira.
Perguntas frequentes
O que é moderação de imagens?
Moderação de imagens é o processo de revisar imagens de acordo com as regras de conteúdo de uma plataforma. Ela pode combinar verificações automatizadas com julgamento humano para decidir se um upload deve ser publicado, mantido para revisão ou rejeitado.
A moderação de imagens é gratuita no Poyo?
As chamadas de imagem do Omni Moderation do Poyo custam zero créditos. Você pode testar uma avaliação de imagem compatível no Playground e depois usá-la na sua aplicação sem uma cobrança de moderação por chamada. Planeje separadamente o armazenamento e a entrega de imagens, além de qualquer revisão humana; o guia de acesso gratuito explica a diferença.
Posso revisar uma imagem e sua legenda juntas?
Sim. Adicione input.image_urls com uma URL de imagem HTTPS e input.prompt com a legenda na mesma solicitação. No Playground, forneça a imagem e o texto juntos. Leia category_applied_input_types para ver quais sinais se aplicam ao texto fornecido, à imagem ou a ambos.
Quais riscos de imagem posso verificar?
O Omni Moderation oferece suporte a seis categorias de imagem que abrangem conteúdo sexual, violência, violência explícita, automutilação, intenção de automutilação e instruções de automutilação. O Poyo retorna sinalizações e pontuações de categorias que você pode usar para encaminhar uploads de acordo com suas regras. A seção sobre recursos acima explica a cobertura de entradas e o processamento adicional para outros requisitos.
Como recebo o resultado concluído da imagem?
Salve o ID da tarefa do Poyo retornado e consulte seu status, ou forneça um callback_url para receber uma notificação de conclusão. Leia data.output.results nas respostas de status ou output.results nos callbacks. Associe o resultado à versão da imagem enviada e deixe sua aplicação publicá-la ou encaminhá-la à ferramenta de revisão existente.
Como posso testar a moderação de imagens sem código?
Entre no Playground do Poyo, adicione uma imagem, insira opcionalmente sua legenda e selecione Executar. Para um teste somente de imagem, limpe o campo de texto. Inspecione a tarefa recém-concluída e experimente exemplos permitidos representativos antes de configurar regras de publicação automática.
Teste uma imagem no Playground do Poyo e depois conecte o resultado a uma regra de publicação que sua equipe consiga explicar. A introdução à moderação com IA explica os campos de resposta, e o guia de moderação de UGC aborda o processo mais amplo da equipe.