O Poyo oferece às equipas acesso grátis à moderação de conteúdo com IA para texto, imagens e texto acompanhado de uma imagem. Podes experimentar o omni-moderation-latest da OpenAI no Playground, analisar os indicadores de categoria e as pontuações e usar a mesma conta Poyo para integrar a moderação no teu workflow de modelos.
Numa comunidade, isto pode significar verificar uma publicação antes de ela ser publicada. Num produto de imagem, pode significar avaliar um carregamento juntamente com a sua legenda. Num assistente de IA, pode significar rever uma mensagem ou uma resposta gerada antes de decidires como a apresentar.
Começa com alguns exemplos representativos no Playground. Quando estiveres pronto para integrar, o Poyo disponibiliza um ID de tarefa, o acompanhamento do estado e um callback opcional de conclusão, para que a tua aplicação possa ligar o resultado às suas regras de publicação e de revisão.
Os nomes dos botões e dos campos seguem a interface em português europeu. Os campos do modelo, como Image Urls, mantêm o nome em inglês.
O que é a moderação de conteúdo com IA
A moderação de conteúdo com IA usa classificação automática para ajudar as equipas a avaliar o que os utilizadores submetem face às regras da plataforma. Consegue identificar riscos potenciais em texto e imagens, dando a revisores e aplicações um conjunto coerente de sinais com que trabalhar.
No Poyo, esses sinais incluem um indicador de risco global, indicadores por categoria, pontuações de confiança e os tipos de entrada considerados em cada categoria. Um fórum de discussão pode usá-los para identificar comentários que merecem atenção, enquanto um produto de fotografia pode rever as imagens antes de entrarem numa galeria pública.
O teu produto pode associar o resultado a ações como publicar, pedir uma edição ou atribuir uma revisão humana. Isto dá à equipa um ponto de partida definido, sem perder o controlo sobre as suas próprias regras.
O objetivo aqui é avaliar se um conteúdo pode ser prejudicial. Determinar se um texto ou uma imagem foi gerado por IA é outra tarefa.
O que o Omni Moderation consegue detetar
A integração do Omni Moderation no Poyo suporta texto multilingue, uma imagem ou texto em conjunto com uma imagem. O texto abrange 13 categorias, e seis delas também suportam imagens. Assim, as equipas passam a ter um conjunto comum de campos para rever comentários, legendas e imagens carregadas.
| Grupo de risco | Categorias na resposta | Texto | Imagens |
|---|---|---|---|
| Assédio | harassment, harassment/threatening | Suportado | Só texto |
| Ódio | hate, hate/threatening | Suportado | Só texto |
| Instruções ilícitas | illicit, illicit/violent | Suportado | Só texto |
| Automutilação | self-harm, self-harm/intent, self-harm/instructions | Suportado | Suportado |
| Conteúdo sexual | sexual | Suportado | Suportado |
| Conteúdo sexual envolvendo menores | sexual/minors | Suportado | Só texto |
| Violência | violence, violence/graphic | Suportado | Suportado |
Usa category_applied_input_types para ver que entradas cada resultado abrange. As categorias marcadas como só texto aplicam-se ao texto fornecido; uma pontuação zero numa categoria de imagem não suportada significa que essa imagem não foi avaliada nessa categoria.
Podes alargar esta revisão com as tuas próprias regras de marketplace ou de comunidade, como restrições de publicidade e verificações de qualidade. Quando um workflow depende de texto incorporado numa imagem, de transcrições de áudio ou de frames de vídeo selecionados, prepara esse material à parte e submete o texto ou a imagem suportados para avaliação. O resultado abrange as entradas fornecidas.
A categoria sexual/minors é só para texto. Material de abuso sexual de crianças, conhecido ou suspeito, não pode ser submetido à Moderation API da OpenAI; nessa situação, segue as orientações oficiais de segurança infantil.
Consulta a documentação do Poyo Omni Moderation para ver os formatos de pedido e os campos suportados.
Onde a moderação com IA se encaixa no teu produto
O melhor sítio para introduzir a moderação é um momento concreto em que o conteúdo do utilizador muda de visibilidade ou chega a outra pessoa.
Numa comunidade, esse momento pode ser a publicação de um comentário. Num serviço de partilha de imagens, pode ser a adição de uma fotografia a uma galeria pública. Num chatbot, pode ser a apresentação da resposta do assistente. Em cada caso, decide se os utilizadores têm de esperar por um resultado ou se o conteúdo pode aparecer enquanto a revisão continua.
| Situação do produto | Conteúdo a avaliar | Decisão a definir |
|---|---|---|
| Fórum de discussão | Uma publicação ou um comentário | Publicar, pedir uma edição ou reter para revisão |
| Galeria pública de imagens | Uma imagem e a sua legenda | Mostrar publicamente, restringir a visibilidade ou reter |
| Assistente de IA | Uma mensagem do utilizador ou uma resposta gerada | Continuar a interação, rever ou aplicar a política de resposta do produto |
| Marketplace | Uma descrição e uma imagem do produto | Permitir o anúncio ou pedir mais verificações |
As mensagens privadas exigem também uma decisão ponderada sobre privacidade. Define o que o teu produto revê, quem pode ver o conteúdo e o que se diz aos utilizadores antes de introduzires um workflow de moderação.
O Poyo reúne a avaliação e o acompanhamento das tarefas num único workflow de API. Liga o resultado às tuas regras de publicação e às ferramentas dos revisores que já tens, para que cada submissão siga o processo que definiste.
Experimenta a moderação grátis de texto e imagens com o Poyo
Podes começar na página do modelo Omni Moderation. O Playground oferece um formulário, pedidos de exemplo e resultados estruturados. Inicia sessão para executar um teste; não precisas de criar nem colar manualmente uma chave de API no Playground. A chave de API só é necessária quando a tua própria aplicação chama a API.
Começa com um texto
Inicia sessão, abre o Playground e escreve o texto que queres rever no campo Prompt. Aqui, Prompt significa o conteúdo a avaliar. Não é uma instrução a pedir ao modelo que se comporte como moderador.
Começa com um exemplo curto e banal, como:
I'm planning a hike in the park with friends this weekend. Does anyone have a beginner-friendly route to recommend?
(Estou a planear uma caminhada no parque com amigos este fim de semana. Alguém tem um percurso para principiantes para recomendar?)
Seleciona Executar para pedir uma nova avaliação. A página mostra inicialmente exemplos registados; alterar a entrada não substitui automaticamente o resultado de um exemplo. Espera que o teu novo pedido termine antes de interpretares o respetivo resultado.
Lê o indicador de risco global, as categorias individuais, as pontuações e os tipos de entrada aplicados. Depois, experimenta alguns exemplos permitidos tirados do teu conteúdo real, incluindo os idiomas e as situações que o teu produto encontra com regularidade.
Junta uma imagem
Para avaliar só uma imagem, limpa o texto e adiciona uma imagem em Image Urls, usando a entrada de imagem disponível. Também podes manter uma legenda no Prompt para rever texto e imagem em conjunto.
Ao nível da API, o Poyo aceita um único URL HTTPS de imagem. O controlo de carregamento do Playground carrega primeiro o ficheiro local selecionado e depois fornece o respetivo URL ao pedido de revisão. Para várias imagens, submete uma tarefa separada para cada uma e associa os resultados à publicação original.
Se usares o teu próprio URL, tem de estar acessível ao serviço de moderação. Uma ligação que só abre depois de iniciares sessão num dashboard privado não fornece a imagem em si.
Passa de um teste a uma integração
Quando os exemplos forem úteis, cria uma chave de API do Poyo e integra a partir do teu servidor. Mantém a chave fora do código público do navegador.
Um pedido com texto e imagem tem esta forma:
{
"model": "omni-moderation-latest",
"input": {
"prompt": "A view from this morning's hike.",
"image_urls": [
"https://your-image-host.example/photo.jpg"
]
}
}
Substitui o URL de exemplo por uma imagem HTTPS real e acessível. O pedido vai para POST https://api.poyo.ai/api/generate/submit com a tua chave de API do Poyo. Devolve um ID de tarefa; obtém o resultado concluído através do endpoint de estado ou configura um callback de conclusão. Este é um workflow assíncrono, por isso receber um ID de tarefa não equivale a receber uma avaliação terminada.
Como ler o resultado
Há duas perguntas distintas: o processamento terminou e o que detetou o modelo?
| Campo | Significado | Como o usar |
|---|---|---|
status | Se a tarefa está à espera, em execução, terminada ou falhada | Decidir se já existe uma avaliação disponível |
flagged | Se o modelo assinalou um risco potencial | Iniciar uma revisão ou uma decisão de encaminhamento |
categories | Um indicador verdadeiro ou falso para cada categoria | Identificar o tipo de risco potencial |
category_scores | Um sinal de confiança para cada categoria, entre 0 e 1 | Comparar casos e avaliar regras com os teus próprios exemplos |
category_applied_input_types | Os tipos de entrada a que o resultado de uma categoria se aplica | Verificar se contribuíram texto, imagens ou ambos |
No endpoint de estado, os resultados por categoria estão em data.output.results. Uma tarefa com status: "finished" e flagged: true terminou com sucesso e identificou um risco potencial. Uma tarefa falhada não entregou uma avaliação concluída utilizável.
Uma pontuação de 0,8 não deve ser apresentada como uma garantia de 80% de que o conteúdo viola a tua política. Uma pontuação alta pode indicar grande confiança do modelo numa categoria, mas os teus revisores continuam a ter de considerar o contexto e as tuas regras.
Por exemplo, o relato de um incidente violento pode ativar uma categoria de violência, mesmo que o relato seja adequado para uma discussão noticiosa. Uma publicação promocional de aspeto normal pode não receber qualquer indicador de conteúdo prejudicial e, mesmo assim, violar a regra de uma comunidade que proíbe publicidade. Os dois exemplos mostram por que razão a deteção de categorias e a aplicação de políticas exigem decisões separadas.
Cria regras de revisão a partir dos teus exemplos
Usa o Playground para montar um pequeno conjunto de avaliação com submissões normais, violações claras e casos que precisam de contexto. Inclui os idiomas, os estilos de imagem, as legendas e o material citado mais comuns no teu caso. Exemplos sintéticos ou devidamente autorizados são um bom ponto de partida.
Regista a decisão que a tua equipa espera para cada item e compara-a com os sinais das categorias. Isto ajuda-te a escolher que submissões podem seguir um caminho de rotina e quais devem chegar a um revisor.
Testa também o workflow completo: uma tarefa pendente deve ter um estado de espera visível, um problema de processamento deve ter um caminho de nova tentativa e um revisor deve poder corrigir uma decisão. O ID da tarefa e os campos de estado do Poyo dão-te uma forma de acompanhar esse processo.
Escolhe limiares específicos por categoria com base nesses exemplos e volta a avaliá-los quando os padrões do teu conteúdo ou o modelo subjacente mudarem.
Perguntas frequentes
O que é a moderação de conteúdo com IA?
A moderação de conteúdo com IA usa machine learning para avaliar texto e imagens à procura de conteúdo potencialmente prejudicial. Devolve sinais que ajudam uma plataforma a aplicar as suas regras, a decidir o que pode ser publicado e a identificar submissões que precisam de revisão humana.
A moderação de conteúdo com IA é grátis no Poyo?
As chamadas ao Omni Moderation no Poyo custam zero créditos para entradas de texto e imagem suportadas. Podes testar a classificação sem um custo de moderação por chamada e depois usar o mesmo modelo na tua aplicação. Outros modelos, o armazenamento e a revisão humana têm os seus próprios custos; o guia sobre moderação grátis explica como os planear.
Como posso experimentar sem escrever código?
Inicia sessão no Poyo Playground, escreve texto, adiciona uma imagem ou combina as duas coisas e seleciona Executar. Depois de a tarefa terminar, analisa os resultados por categoria. O Playground trata da autenticação, por isso não precisas de criar nem de introduzir manualmente uma chave de API para experimentar os exemplos.
Que resultados devolve o Poyo?
As avaliações concluídas incluem um valor global flagged, indicadores por categoria, pontuações por categoria e category_applied_input_types. Em conjunto, estes campos mostram os riscos potenciais detetados e quais os tipos de entrada fornecidos que foram avaliados. Usa-os para configurar regras de revisão e interpreta as pontuações como sinais do modelo, não como decisões de política garantidas.
Como ligo a moderação ao meu produto atual?
Submete o conteúdo suportado com a tua chave de API do Poyo, guarda o ID da tarefa juntamente com a versão do conteúdo e consulta o estado ou configura um callback de conclusão. A tua aplicação pode então ligar o resultado à publicação, a um pedido de alterações ou a uma ferramenta de revisão humana que já uses. Começa por uma única superfície de conteúdo e testa o encaminhamento antes de acrescentares mais.
Começa pelo Poyo Omni Moderation Playground e compara os resultados com as decisões da tua equipa. Para um workflow mais completo, lê o guia de moderação de imagens, a explicação sobre o acesso grátis e os custos ou o guia de moderação de UGC para equipas pequenas.