A API gratuita de moderação de imagens da Poyo ajuda-te a avaliar fotografias de perfil, imagens da comunidade e imagens de produtos antes de decidires como as publicar. Com o Omni Moderation, podes rever uma imagem isoladamente ou incluir a respetiva legenda no mesmo pedido.
Começa no Playground para veres as categorias assinaladas e as pontuações dos teus próprios exemplos. Depois, usa o acompanhamento de tarefas da Poyo e o callback opcional de conclusão para ligar esses resultados às regras de publicação e às ferramentas de revisão da tua aplicação.
Este guia explica as categorias de imagem suportadas, como preparar um carregamento e como construir um percurso claro desde o envio até à publicação ou a uma revisão adicional. Podes aplicar o processo primeiro a uma única superfície de carregamento e alargá-lo depois, à medida que a tua equipa ganha experiência.
O que a moderação de imagens deve fazer pelo teu produto
Começa pelo local onde as imagens aparecem e por quem as vai ver.
Um avatar pode estar visível junto a todos os comentários. Uma fotografia da comunidade pode surgir num feed público. Uma imagem de produto pode estar ao lado de um anúncio que exige verificações para além da segurança visual. Cada superfície pode exigir regras diferentes e um nível de cautela diferente antes da publicação.
Por exemplo, um produto pode aceitar uma imagem histórica sem conteúdo explícito dentro de uma discussão, mas recusá-la como fotografia de perfil. A imagem não mudou; mudaram a sua colocação e as regras do produto.
Define o que deve acontecer em três resultados: a imagem cumpre as regras, o seu significado é pouco claro ou viola claramente uma regra. Define ainda um quarto resultado para uma avaliação indisponível. Um erro de processamento não deve ser interpretado, em silêncio, como uma aprovação.
O que o Omni Moderation verifica nas imagens
A Poyo dá-te acesso sem custo (zero créditos) a seis categorias de risco em imagens, que abrangem conteúdo sexual, violência e automutilação. Cada pedido aceita um URL HTTPS de imagem; acrescenta uma legenda para avaliar o texto fornecido em conjunto com a imagem.
| Categoria | Sobre o que trata o sinal |
|---|---|
sexual | Conteúdo sexual |
violence | Violência |
violence/graphic | Violência explícita |
self-harm | Conteúdo de automutilação |
self-harm/intent | Indícios de intenção de automutilação |
self-harm/instructions | Instruções de automutilação |
Usa category_applied_input_types para ver se um resultado se aplica à imagem, ao texto fornecido ou a ambos. A entrada de texto suporta 13 categorias, incluindo ódio, assédio, instruções ilícitas e sexual/minors. Essas categorias exclusivas de texto avaliam o texto fornecido; não são verificações de imagem. Num pedido só com imagem, uma pontuação zero e uma lista vazia de tipos de entrada para uma categoria não suportada significam que não foi avaliada.
Para regras que dependem de palavras incorporadas numa imagem, acrescenta um passo adequado de extração de texto e revê o texto extraído. A qualidade do produto, as marcas de água, as informações pessoais e as regras sobre artigos proibidos também precisam das suas próprias verificações. Os vídeos e os carregamentos animados exigem um workflow separado de seleção de frames, e o áudio exige processamento à parte; rever frames selecionados não avalia um vídeo inteiro nem a sua banda sonora.
O Omni Moderation não é um detetor dedicado de CSAM, e sexual/minors suporta apenas texto. Não envies para a API de Moderation da OpenAI material de abuso sexual de menores, conhecido ou suspeito; segue as orientações oficiais de segurança infantil.
A documentação da API da Poyo descreve as entradas suportadas e os campos da resposta. Usa esta cobertura para escolheres as verificações de cada superfície de carregamento.
Prepara o carregamento antes de pedires uma revisão
A tua aplicação precisa de um recurso de imagem que o serviço de moderação consiga obter. Um nome de ficheiro como photo.jpg no dispositivo de um utilizador não é suficiente, e uma página web que mostra uma imagem não é necessariamente o URL da imagem.
Mantém os novos carregamentos fora dos feeds públicos enquanto a revisão estiver pendente. Esta área de preparação pode fazer parte do teu sistema de armazenamento atual. Aplica controlos de acesso e escolhe um método de entrega suportado que permita ao serviço obter o ficheiro específico sem expor toda a tua conta de armazenamento.
Se esse método usar um URL HTTPS temporário, deixa tempo suficiente para o processamento em fila e para as repetições. Não incluas credenciais de sessão no URL e evita colocar ligações de imagens privadas em registos de acesso alargado.
Valida o carregamento antes de o enviares para avaliação de conteúdo. Verifica se é um tipo de ficheiro esperado e se pode ser descodificado, e aplica limites de tamanho de ficheiro e de dimensões da imagem adequados à tua aplicação e ao fornecedor. Estas são verificações de carregamento; uma pontuação de moderação não valida a segurança técnica de um ficheiro.
Regista um ID de conteúdo e uma versão estáveis. Associa o ID da tarefa a essa versão, para que um resultado não possa aprovar por engano uma imagem que o utilizador substituiu enquanto a revisão decorria.
Um workflow prático do carregamento à publicação
Um processo simples pode funcionar sem uma grande equipa de moderação, desde que os estados e as responsabilidades sejam explícitos.
| Fase | O que acontece | O que o utilizador vê |
|---|---|---|
| Carregado | Guardar o ficheiro e atribuir a sua versão de conteúdo | Carregamento recebido |
| Revisão pendente | Submeter a imagem e registar o ID da tarefa | A aguardar revisão |
| Avaliação concluída | Ler o estado da tarefa, as categorias suportadas e as pontuações | A revisão continua até haver uma decisão do produto |
| Aprovado | Aplicar as regras do produto e tornar a imagem visível | Publicado |
| Revisão humana | Reter a imagem e atribuir um revisor | A aguardar uma decisão |
| Rejeitado ou impossível de processar | Explicar a regra ou o problema técnico e propor um passo seguinte adequado | Um motivo para editar, tentar de novo ou recorrer |
A Poyo fornece a avaliação por categorias e o resultado da tarefa que ligam estas fases. Usa o ID da tarefa ou o callback de conclusão para atualizar o carregamento correspondente na tua aplicação e, depois, aplica as tuas regras para o publicar, retê-lo para um revisor ou pedir uma alteração. O teu sistema de publicação e as tuas ferramentas de revisão atuais executam essas ações.
Mantém as mensagens para o utilizador específicas. “A tua fotografia está a aguardar revisão” é útil enquanto o processamento não estiver concluído. “Não conseguimos processar este carregamento; tenta novamente” descreve um problema técnico. Nenhuma delas deve ser substituída por “A tua imagem viola as nossas regras”, a menos que uma decisão sobre o conteúdo justifique realmente essa mensagem.
Submeter uma imagem através da Poyo
Podes testar uma imagem no Playground do Omni Moderation sem escreveres código nem criares manualmente uma chave de API. Inicia sessão, limpa o texto se quiseres uma verificação só de imagem, adiciona uma imagem e seleciona Run. Usa o resultado da nova tarefa e não o exemplo gravado que é mostrado inicialmente.
Para uma integração, submete a partir do teu servidor com uma chave de API da Poyo:
curl -X POST https://api.poyo.ai/api/generate/submit \
-H "Authorization: Bearer YOUR_POYO_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "omni-moderation-latest",
"input": {
"image_urls": ["https://your-image-host.example/upload.jpg"]
}
}'
Substitui o domínio de exemplo por um URL HTTPS acessível que aponte para o ficheiro da imagem. Para um teste sem código com um ficheiro local, carrega a imagem através do Playground; nos pedidos à API, indica o URL onde está alojada em input.image_urls.
Para incluir uma legenda, adiciona "prompt": "The caption being reviewed" dentro de input. Para várias imagens numa publicação, submete tarefas separadas e regista a que imagem pertence cada resultado. Aprovar uma imagem não deve aprovar automaticamente as restantes.
A submissão devolve um task_id. Consulta o estado com:
curl https://api.poyo.ai/api/generate/status/YOUR_TASK_ID \
-H "Authorization: Bearer YOUR_POYO_API_KEY"
Uma tarefa começa com not_started, é executada de forma assíncrona e termina com finished ou failed. Nas tarefas concluídas, lê os resultados em data.output.results.
Também podes indicar um callback_url de nível superior na submissão. O corpo do callback é o objeto de dados do estado sem o invólucro exterior, pelo que os resultados ficam em output.results. Verifica os callbacks com as orientações de webhook da Poyo e faz com que o teu handler tolere entregas repetidas.
Transforma a avaliação numa decisão
Começa com uma regra em linguagem simples para cada categoria que seja relevante para a superfície. Depois, avalia se o sinal do modelo ajuda a aplicar essa regra.
Uma imagem que viole claramente a tua política pode ser rejeitada depois das verificações adequadas. Uma imagem aceitável pode ser publicada assim que todas as verificações necessárias terminarem. Os casos ambíguos devem permanecer em revisão, em vez de serem forçados a uma decisão só porque um temporizador expirou.
Uma pontuação alta é um motivo para examinares a categoria correspondente. Não é uma garantia percentual de uma violação da política. A interpretação pode depender de a imagem ser uma obra de arte, uma ilustração médica, uma fotografia jornalística ou uma fotografia casual de um utilizador.
Usa os teus próprios exemplos etiquetados para escolher os limiares de encaminhamento. Verifica as imagens aceitáveis retidas desnecessariamente, bem como as imagens proibidas que o workflow deixou passar. Se alterares um limiar, compara os resultados com a política anterior antes de alargares as ações automáticas.
Regista informação suficiente para explicar as decisões: versão do conteúdo, ID da tarefa, sinais por categoria, regra aplicada, resultado do revisor, se existir, e hora da decisão. Define a retenção e os controlos de acesso deste registo, em vez de guardares todas as imagens originais indefinidamente.
Lidar com falhas, edições e recursos
Não é possível obter uma imagem. Verifica se o URL aponta para a própria imagem, se continua válido e se é acessível sem uma sessão de utilizador. Mantém o carregamento pendente enquanto resolves o problema técnico.
Um pedido ainda está em execução quando a página deixa de esperar. Guarda o ID da tarefa e consulta o respetivo estado. Submeter logo um duplicado pode deixar duas tarefas a rever a mesma versão. Usa repetições limitadas e uma alternativa definida para quando o processamento continuar indisponível.
Um utilizador substitui o ficheiro ou altera a legenda. Trata a alteração como uma nova versão sujeita a revisão. Uma aprovação antiga não deve autorizar conteúdo novo. Volta a verificar as entradas relevantes e garante que os callbacks tardios da versão antiga não conseguem publicar a nova.
Um utilizador contesta a decisão. Disponibiliza uma via de recurso com contexto suficiente para uma pessoa avaliar o conteúdo e a regra aplicada. Um recurso bem-sucedido deve atualizar o estado de publicação e deixar uma correção auditável.
Uma publicação contém várias imagens. Torna a regra de publicação explícita: por exemplo, esperar até todas as tarefas de imagem necessárias estarem concluídas ou permitir que o utilizador remova a imagem que precisa de revisão. Não interpretes um resultado bem-sucedido como uma revisão da publicação inteira.
Perguntas frequentes
O que é a moderação de imagens?
A moderação de imagens é o processo de rever imagens de acordo com as regras de conteúdo de uma plataforma. Pode combinar verificações automáticas com o julgamento humano para decidir se um carregamento deve ser publicado, retido para revisão ou rejeitado.
A moderação de imagens é gratuita na Poyo?
As chamadas de imagem do Omni Moderation na Poyo custam zero créditos. Podes testar uma avaliação de imagem suportada no Playground e depois usá-la na tua aplicação sem qualquer custo de moderação por chamada. Planeia à parte o armazenamento e a entrega das imagens e qualquer revisão humana; o guia de acesso gratuito explica a diferença.
Posso rever uma imagem e a respetiva legenda em conjunto?
Sim. Adiciona ao mesmo pedido input.image_urls, com um URL HTTPS de imagem, e input.prompt, com a legenda. No Playground, indica a imagem e o texto em conjunto. Lê category_applied_input_types para ver que sinais se aplicam ao texto fornecido, à imagem ou a ambos.
Que riscos de imagem posso verificar?
O Omni Moderation suporta seis categorias de imagem, que abrangem conteúdo sexual, violência, violência explícita, automutilação, intenção de automutilação e instruções de automutilação. A Poyo devolve as categorias assinaladas e as pontuações, que podes usar para encaminhar os carregamentos de acordo com as tuas regras. A secção de capacidades acima explica a cobertura das entradas e o processamento adicional para outros requisitos.
Como recebo o resultado concluído da imagem?
Guarda o ID da tarefa da Poyo devolvido e consulta o respetivo estado, ou indica um callback_url para receberes uma notificação de conclusão. Lê data.output.results nas respostas de estado ou output.results nos callbacks. Associa o resultado à versão da imagem carregada e deixa que seja a tua aplicação a publicá-la ou a enviá-la para a tua ferramenta de revisão atual.
Como posso testar a moderação de imagens sem código?
Inicia sessão no Playground da Poyo, adiciona uma imagem, introduz a legenda se quiseres e seleciona Run. Para um teste só com imagem, limpa o campo de texto. Inspeciona a tarefa recém-concluída e experimenta exemplos representativos de conteúdo permitido antes de configurares regras de publicação automática.
Experimenta uma imagem no Playground da Poyo e liga depois o resultado a uma regra de publicação que a tua equipa saiba explicar. A introdução à moderação com IA explica os campos da resposta e o guia de moderação de UGC abrange o processo mais alargado da equipa.