O Poyo oferece às equipes acesso gratuito à moderação de conteúdo com IA para textos, imagens e textos com uma imagem. Você pode experimentar o omni-moderation-latest da OpenAI no Playground, inspecionar sinalizações e pontuações de categorias e usar a mesma conta Poyo para incorporar a moderação ao seu fluxo de trabalho com modelos.
Para uma comunidade, isso pode significar verificar uma publicação antes da publicação. Para um produto de imagens, pode significar avaliar um upload com sua legenda. Para um assistente de IA, pode significar revisar uma mensagem ou resposta gerada antes de decidir como apresentá-la.
Comece com alguns exemplos representativos no Playground. Quando estiver pronto para integrar, o Poyo fornece um ID de tarefa, acompanhamento de status e um callback opcional de conclusão para que seu aplicativo possa conectar o resultado às suas regras de publicação e revisão.
O que é moderação de conteúdo com IA
A moderação de conteúdo com IA usa classificação automatizada para ajudar as equipes a avaliar envios de usuários de acordo com as regras da plataforma. Ela pode identificar possíveis riscos em textos e imagens, fornecendo a revisores e aplicativos um conjunto consistente de sinais para trabalhar.
Com o Poyo, esses sinais incluem uma sinalização geral de risco, sinalizações individuais de categorias, pontuações de confiança e os tipos de entrada usados para cada categoria. Um site de discussões pode usá-los para identificar comentários que precisam de atenção, enquanto um produto de fotos pode revisar imagens antes que elas entrem em uma galeria pública.
Seu produto pode mapear o resultado para ações como publicar, solicitar uma edição ou atribuir uma revisão humana. Isso fornece à equipe um ponto de partida definido, preservando o controle sobre suas próprias regras.
O objetivo aqui é avaliar o conteúdo quanto a possíveis danos. Determinar se um texto ou uma imagem foi gerado por IA é uma tarefa separada.
O que o Omni Moderation pode detectar
A integração do Poyo com o Omni Moderation oferece suporte a textos multilíngues, uma imagem ou texto junto com uma imagem. O texto abrange 13 categorias, e seis categorias também oferecem suporte a imagens. Isso fornece às equipes um conjunto compartilhado de campos para revisar comentários, legendas e imagens enviadas.
| Grupo de risco | Categorias de resposta | Texto | Imagens |
|---|---|---|---|
| Assédio | harassment, harassment/threatening | Suportado | Somente texto |
| Ódio | hate, hate/threatening | Suportado | Somente texto |
| Instruções ilícitas | illicit, illicit/violent | Suportado | Somente texto |
| Automutilação | self-harm, self-harm/intent, self-harm/instructions | Suportado | Suportado |
| Conteúdo sexual | sexual | Suportado | Suportado |
| Conteúdo sexual envolvendo menores | sexual/minors | Suportado | Somente texto |
| Violência | violence, violence/graphic | Suportado | Suportado |
Use category_applied_input_types para ver quais entradas cada resultado abrange. As categorias marcadas como Somente texto se aplicam ao texto fornecido; uma pontuação zero em uma categoria de imagem sem suporte significa que ela não foi avaliada para aquela imagem.
Você pode ampliar essa revisão com suas próprias regras de marketplace ou comunidade, como restrições de publicidade e verificações de qualidade. Quando um fluxo de trabalho depende de texto incorporado em uma imagem, transcrições de áudio ou quadros de vídeo selecionados, prepare esse material separadamente e envie o texto ou a imagem compatível para avaliação. O resultado abrange as entradas fornecidas.
A categoria sexual/minors aceita somente texto. Material conhecido ou suspeito de abuso sexual infantil não deve ser enviado à API de Moderação da OpenAI; siga as orientações oficiais de segurança infantil nessa situação.
Consulte a documentação do Poyo Omni Moderation para ver os formatos de solicitação e os campos compatíveis.
Onde a moderação com IA se encaixa no seu produto
O melhor lugar para introduzir a moderação é um momento específico em que o conteúdo do usuário muda de visibilidade ou chega a outra pessoa.
Para uma comunidade, esse momento pode ser a publicação de um comentário. Para um serviço de compartilhamento de imagens, pode ser a adição de uma foto a uma galeria pública. Para um chatbot, pode ser a exibição de uma resposta do assistente. Em cada caso, decida se os usuários precisam esperar um resultado ou se o conteúdo pode aparecer enquanto a revisão continua.
| Situação do produto | Conteúdo a avaliar | Decisão a definir |
|---|---|---|
| Fórum de discussões | Uma publicação ou comentário | Publicar, solicitar uma edição ou manter em revisão |
| Galeria pública de imagens | Uma imagem e sua legenda | Exibir publicamente, restringir a visibilidade ou manter em revisão |
| Assistente de IA | Uma mensagem do usuário ou resposta gerada | Continuar a interação, revisar ou aplicar a política de resposta do produto |
| Marketplace | Uma descrição e uma imagem do produto | Permitir o anúncio ou solicitar verificações adicionais |
As mensagens privadas também exigem uma decisão deliberada de privacidade. Defina o que seu produto revisa, quem pode ver o conteúdo e o que é informado aos usuários antes de introduzir um fluxo de moderação.
O Poyo reúne a avaliação e o acompanhamento de tarefas em um único fluxo de API. Conecte o resultado às suas regras de publicação e ferramentas de revisão existentes, para que cada envio siga o processo que você definir.
Experimente gratuitamente a moderação de textos e imagens com o Poyo
Você pode começar na página do modelo Omni Moderation. O Playground oferece um formulário, solicitações de exemplo e resultados estruturados. Entre para executar um teste; não é necessário criar ou colar manualmente uma chave de API no Playground. Uma chave de API é necessária quando seu próprio aplicativo chama a API.
Comece com um envio de texto
Entre, abra o Playground e insira o texto que deseja revisar no campo Prompt. Aqui, Prompt significa o conteúdo que está sendo avaliado. Não é uma instrução solicitando que o modelo se comporte como um moderador.
Use primeiro um exemplo curto e comum, como:
Estou planejando fazer uma trilha no parque com amigos neste fim de semana. Alguém recomenda uma rota adequada para iniciantes?
Selecione Run para solicitar uma nova avaliação. Inicialmente, a página mostra exemplos registrados; alterar a entrada não substitui automaticamente o resultado de um exemplo. Aguarde a conclusão da nova solicitação antes de interpretar a saída.
Leia a sinalização geral de risco, as categorias individuais, as pontuações e os tipos de entrada aplicados. Depois, experimente alguns exemplos permitidos do seu conteúdo real, incluindo os idiomas e as situações que seu produto encontra regularmente.
Adicione uma imagem
Para uma avaliação somente de imagem, limpe o texto e adicione uma imagem em Image Urls, usando a entrada de imagem disponível. Você também pode manter uma legenda em Prompt para revisar o texto e a imagem em conjunto.
No nível da API, o Poyo aceita uma URL HTTPS de imagem. O controle de upload do Playground primeiro envia um arquivo local selecionado e depois fornece sua URL à solicitação de revisão. Para várias imagens, envie uma tarefa separada para cada uma e associe os resultados à publicação original.
Se você usar sua própria URL, ela deverá estar acessível ao serviço de moderação. Um link que só abre depois que você entra em um painel privado não fornecerá a imagem em si.
Passe do teste à integração
Quando os exemplos forem úteis, crie uma chave de API do Poyo e integre a partir do seu servidor. Mantenha a chave fora do código público do navegador.
Uma solicitação de texto e imagem tem este formato:
{
"model": "omni-moderation-latest",
"input": {
"prompt": "A view from this morning's hike.",
"image_urls": [
"https://your-image-host.example/photo.jpg"
]
}
}
Substitua a URL de exemplo por uma imagem HTTPS real e acessível. A solicitação é enviada para POST https://api.poyo.ai/api/generate/submit com sua chave de API do Poyo. Ela retorna um ID de tarefa; recupere o resultado concluído pelo endpoint de status ou configure um callback de conclusão. Este é um fluxo assíncrono, portanto receber um ID de tarefa não é o mesmo que receber uma avaliação concluída.
Como ler o resultado
Há duas perguntas separadas: o processamento foi concluído e o que o modelo detectou?
| Campo | Significado | Como usá-lo |
|---|---|---|
status | Indica se a tarefa está aguardando, em execução, concluída ou falhou | Decidir se uma avaliação está disponível |
flagged | Indica se o modelo sinalizou um possível risco | Iniciar uma decisão de revisão ou encaminhamento |
categories | Uma sinalização verdadeira ou falsa para cada categoria | Identificar o tipo de possível risco |
category_scores | Um sinal de confiança para cada categoria, entre 0 e 1 | Comparar casos e avaliar regras com seus próprios exemplos |
category_applied_input_types | Os tipos de entrada aos quais o resultado de uma categoria se aplica | Verificar se texto, imagens ou ambos contribuíram |
Para o endpoint de status, os resultados das categorias ficam em data.output.results. Uma tarefa com status: "finished" e flagged: true foi concluída com sucesso e identificou um possível risco. Uma tarefa com falha não forneceu uma avaliação concluída utilizável.
Uma pontuação de 0.8 não deve ser apresentada como uma garantia de 80% de que o conteúdo viola sua política. Uma pontuação alta pode indicar forte confiança do modelo em uma categoria, enquanto seus revisores ainda precisam considerar o contexto e suas regras.
Por exemplo, uma conta que descreve um incidente violento pode acionar uma categoria de violência mesmo que a conta seja apropriada para uma discussão sobre notícias. Uma publicação promocional de aparência normal pode não receber uma sinalização de conteúdo prejudicial e ainda violar a regra de uma comunidade contra publicidade. Ambos os exemplos mostram por que a detecção de categorias e a aplicação de políticas exigem decisões separadas.
Crie regras de revisão com seus próprios exemplos
Use o Playground para criar um pequeno conjunto de avaliação com envios comuns, violações claras e casos que precisam de contexto. Inclua seus idiomas, estilos de imagem, legendas e materiais citados mais frequentes. Exemplos sintéticos ou devidamente permitidos são um ponto de partida útil.
Registre a decisão que sua equipe espera para cada item e depois compare-a com os sinais das categorias. Isso ajuda a escolher quais envios podem seguir um caminho rotineiro e quais devem chegar a um revisor.
Teste também o fluxo de trabalho completo: uma tarefa pendente deve ter um estado de espera visível, um problema de processamento deve ter um caminho de nova tentativa e um revisor deve poder corrigir uma decisão. O ID da tarefa e os campos de status do Poyo oferecem uma forma de acompanhar esse processo.
Escolha limites específicos por categoria usando esses exemplos e reavalie-os quando os padrões do seu conteúdo ou o modelo subjacente mudarem.
Perguntas frequentes
O que é moderação de conteúdo com IA?
A moderação de conteúdo com IA usa aprendizado de máquina para avaliar textos e imagens quanto a conteúdo potencialmente prejudicial. Ela retorna sinais que ajudam uma plataforma a aplicar suas regras, decidir o que pode ser publicado e identificar envios que precisam de revisão humana.
A moderação de conteúdo com IA é gratuita no Poyo?
As chamadas do Omni Moderation do Poyo não custam créditos para entradas de texto e imagem compatíveis. Você pode testar a classificação sem adicionar uma cobrança de moderação por chamada e depois usar o mesmo modelo no seu aplicativo. Outros modelos, armazenamento e revisão humana têm seus próprios custos; o guia de moderação gratuita explica como planejá-los.
Como posso experimentar sem escrever código?
Entre no Poyo Playground, insira um texto, adicione uma imagem ou combine ambos e selecione Run. Inspecione os resultados das categorias da nova tarefa depois que ela for concluída. O Playground gerencia a autenticação, portanto não é necessário criar ou inserir manualmente uma chave de API para experimentar exemplos.
Quais resultados o Poyo retorna?
As avaliações concluídas incluem um valor geral de flagged, sinalizações de categorias individuais, pontuações de categorias e category_applied_input_types. Juntos, esses campos mostram os possíveis riscos detectados e quais tipos de entrada fornecidos foram avaliados. Use-os para configurar regras de revisão e interprete as pontuações como sinais do modelo, não como decisões de política garantidas.
Como conecto a moderação ao meu produto existente?
Envie conteúdo compatível usando sua chave de API do Poyo, salve o ID da tarefa com a versão do conteúdo e consulte o status ou configure um callback de conclusão. Seu aplicativo poderá então conectar o resultado à publicação, a uma solicitação de alterações ou a uma ferramenta de revisão humana existente. Comece com uma superfície de conteúdo e teste o encaminhamento antes de adicionar outras.
Comece pelo Poyo Omni Moderation Playground e compare os resultados com as decisões da sua equipe. Para um fluxo de trabalho mais aprofundado, leia o guia de moderação de imagens, a explicação sobre acesso gratuito e custos ou o guia de moderação de UGC para equipes pequenas.