Poyo ajuda equipes pequenas a adicionar verificações gratuitas de IA à moderação de conteúdo gerado pelo usuário. Você pode avaliar publicações, comentários, avaliações e imagens estáticas com Omni Moderation e, em seguida, conectar os resultados das categorias às regras e ferramentas de revisão que sua equipe já utiliza.
O benefício prático é uma primeira avaliação repetível: envie conteúdo compatível, acompanhe a tarefa e recupere o resultado ou receba um callback de conclusão. Sua equipe pode usar esses sinais para encaminhar envios rotineiros e concentrar a atenção humana nos casos que precisam de contexto.
Comece com uma superfície de conteúdo e alguns exemplos representativos no Playground. Este guia mostra como conectar verificações gratuitas às regras de publicação, à responsabilidade pela revisão e aos recursos de contestação dos usuários, para que o processo continue administrável à medida que os envios aumentam.
Identifique o conteúdo e as decisões pelas quais você realmente é responsável
Conteúdo gerado pelo usuário, ou UGC, inclui materiais que as pessoas enviam para seu produto: publicações da comunidade, comentários, fotos de perfil, avaliações de produtos, descrições de anúncios e imagens enviadas.
Faça um inventário antes de escolher uma ferramenta. Registre onde cada tipo aparece, quem pode vê-lo, se os usuários podem editá-lo e com que rapidez é necessária uma decisão. Uma imagem de perfil exibida publicamente tem consequências diferentes de um rascunho visível apenas para seu autor.
Escolha uma superfície conectada às suas ferramentas de publicação existentes, como comentários no seu aplicativo ou fotos de produtos na sua loja. A avaliação do Poyo pode alimentar essas ferramentas por meio de resultados de tarefas e callbacks. Se você também gerencia conteúdo em uma plataforma social externa, use a integração autorizada dessa plataforma para realizar ações de publicação ou remoção.
A Trust & Safety Professional Association descreve a moderação como aplicação de políticas apoiada por operações, produto e engenharia. Em uma empresa pequena, uma pessoa pode desempenhar várias dessas funções. As responsabilidades ainda precisam ser explícitas.
Comece com regras que as pessoas possam aplicar
Uma regra útil identifica o comportamento, explica seu escopo e declara a ação disponível. “Mantenha a comunidade segura” expressa uma intenção, mas não resolve um envio difícil.
Por exemplo, um produto poderia escrever: “Ameaças diretas contra outro membro são proibidas. Mantenha ameaças suspeitas em espera para revisão e use o processo de escalonamento quando o caso exigir atenção urgente.” Isso fornece aos revisores uma categoria específica e uma próxima ação.
Mantenha suas regras separadas dos nomes das categorias do modelo. Uma comunidade pode proibir publicidade repetitiva mesmo que um modelo de conteúdo nocivo não retorne nenhum sinal relevante. Uma comunidade de notícias pode permitir discussões apropriadas sobre violência e, ainda assim, proibir ameaças contra membros.
| Área da política | O que a equipe deve definir |
|---|---|
| Ameaças e assédio | Qual comportamento viola as regras e como ele é escalonado |
| Conteúdo sexual ou gráfico | O que é permitido em cada superfície e o que exige revisão |
| Spam e publicidade | Limites para repetição, links ou promoção |
| Informações pessoais | O que pode ser compartilhado e como a exposição é tratada |
| Publicações fora do tema ou de baixa qualidade | Se devem ser movidas, editadas, recusadas ou devolvidas para alterações |
| Decisões contestadas | Quem analisa os recursos e o que pode ser corrigido |
Combine as categorias de conteúdo nocivo compatíveis com o Omni Moderation com as verificações que seu produto já utiliza. Spam, informações pessoais, qualidade das publicações e recursos precisam de regras, ferramentas ou revisores dedicados. Atribuir cada requisito a uma etapa específica torna o processo geral mais fácil de operar.
Teste a redação com alguns exemplos. Se dois revisores aplicarem a mesma regra de maneiras diferentes, esclareça a regra antes de esperar que a automação torne a decisão consistente.
Escolha quando a moderação acontece
O momento afeta tanto a exposição quanto a experiência do usuário. Defina-o para cada superfície de conteúdo.
Antes da publicação. O conteúdo permanece pendente até que as verificações e decisões necessárias sejam concluídas. Isso pode ser adequado para uploads públicos de imagens ou envios que sua equipe decidiu inspecionar primeiro. Isso também significa que os usuários precisam de uma explicação clara sobre a espera.
Após a publicação. O conteúdo aparece e é avaliado posteriormente. Isso reduz o atrito inicial, mas o material proibido pode ficar visível até que uma ação seja tomada. A equipe precisa de um processo de resposta compatível com essa exposição.
Após uma denúncia. Os usuários sinalizam um problema e a equipe o analisa. As denúncias ajudam a revelar contexto e casos não identificados, mas conteúdos que ninguém denuncia podem permanecer sem análise.
Um processo misto pode ser prático. Por exemplo, uma equipe poderia manter novas fotos de perfil em espera antes da publicação, executar verificações rotineiras de texto nos comentários e continuar aceitando denúncias em ambos. Este é um exemplo de design, não uma política universal.
Para uma visão geral dessas abordagens, consulte o guia de moderação de conteúdo da Stream. Escolha com base no seu público, na exposição e na capacidade de revisão disponível.
Adicione verificações gratuitas de IA ao seu fluxo de moderação
Poyo reúne texto multilíngue, uma única imagem HTTPS ou texto com uma imagem em um único fluxo de tarefas. O texto é compatível com 13 categorias de risco; as imagens são compatíveis com seis, abrangendo conteúdo sexual, violência e automutilação. Sinais e pontuações de categorias fornecem ao seu aplicativo indicações para decidir quais envios podem seguir regras rotineiras e quais precisam de uma análise mais cuidadosa.
Use a visão geral das categorias para mapear cada verificação para sua entrada compatível. As categorias exclusivas de texto não avaliam os pixels das imagens. Se sua política depender de texto incorporado, áudio, vídeo ou detecção especializada, adicione uma etapa de processamento separada apropriada. Para cobertura de imagens e tratamento de segurança infantil, consulte o guia de moderação de imagens.
Uma sequência prática é:
- Receba um envio e registre seu ID de conteúdo e versão.
- Valide o texto ou arquivo enviado para seu aplicativo.
- Envie o texto ou imagem compatível para o Poyo e salve o ID da tarefa.
- Recupere o resultado concluído ou receba o callback de conclusão.
- Aplique suas regras para publicar, solicitar alterações, rejeitar ou atribuir a um revisor.
- Registre a decisão e mantenha caminhos para denúncias e recursos.
O ID da tarefa do Poyo ajuda a associar uma avaliação ao envio correto. Callbacks de conclusão podem acionar a próxima etapa no seu aplicativo ou ferramenta de revisão existente. Configure como cada sinal compatível é mapeado para uma ação de negócio, com revisão humana para casos que precisam de contexto ou escalonamento.
Crie uma fila de revisão que uma equipe pequena consiga administrar
Para um piloto, sua ferramenta existente de suporte ou administração pode ser suficiente. Cada item de revisão deve conter informações suficientes para uma decisão sem obrigar o revisor a reconstruir todo o histórico.
Inclua o conteúdo ou uma forma controlada de inspecioná-lo, o contexto relevante, a regra em consideração, os sinais do modelo, a versão do conteúdo e qualquer decisão anterior necessária para este caso. Adicione um responsável e um status para que duas pessoas não trabalhem sem saber no mesmo item.
Status úteis incluem avaliação pendente, revisão humana pendente, aprovado, rejeitado e contestado. A falha técnica deve ser rastreada separadamente, porque “não foi possível recuperar a imagem” não é uma conclusão sobre a política de conteúdo.
Defina prioridades que sua equipe consiga realmente manter. Uma ameaça potencialmente grave pode exigir escalonamento mais rápido do que uma decisão incerta sobre uma foto de produto. Defina a pessoa responsável e um substituto, incluindo o que acontece quando nenhum dos dois está disponível.
Se a fila crescer, examine a causa antes de flexibilizar as regras. Pode haver sinalizações falsas demais, políticas pouco claras, tarefas duplicadas ou um novo padrão de conteúdo que a equipe ainda não avaliou. Cada problema exige uma resposta diferente.
Mantenha o contexto e os recursos de contestação no processo
Um sinal automatizado pode não captar por que um usuário publicou algo. Assédio citado em uma reclamação, uma discussão sobre um evento histórico e uma imagem educacional podem exigir contexto que a primeira avaliação não captura completamente.
Quando um revisor tomar uma decisão, registre a regra aplicada e o motivo. A linguagem voltada ao usuário deve explicar o que acontece em seguida sem reproduzir desnecessariamente material nocivo.
Por exemplo, “Sua imagem está aguardando revisão porque pode se enquadrar em nossa regra de conteúdo gráfico” descreve um caso pendente. “Não foi possível concluir a verificação da imagem; seu upload permanece privado enquanto tentamos novamente” descreve um atraso técnico. Essas mensagens dão aos usuários expectativas diferentes e úteis.
Ofereça uma via de recurso para decisões que possam ser contestadas. O revisor deve ver a versão original do conteúdo, o contexto relevante, o motivo anterior e qualquer nova explicação do usuário. Quando a equipe disponível permitir, use outra pessoa para analisar o recurso.
Se a decisão mudar, atualize a visibilidade efetiva do conteúdo e qualquer ação relacionada à conta. Enviar um pedido de desculpas sem restaurar o estado pretendido deixa o erro subjacente sem solução.
Evite tratar críticas como violação de política simplesmente porque são negativas. Para produtos baseados em avaliações, a discussão da Bazaarvoice sobre moderação de UGC destaca a importância de preservar feedback negativo autêntico. Suas regras devem distinguir uma experiência crítica de cliente de abuso ou divulgações proibidas.
Meça a qualidade das decisões e a carga de trabalho
Comece com métricas que ajudem a equipe a encontrar um problema específico. Volume de envios, avaliações concluídas, falhas de processamento e revisões pendentes descrevem a carga de trabalho. Tempo de resposta da revisão e resultados dos recursos descrevem o que os usuários vivenciam.
Para avaliar a classificação e o encaminhamento, rotule uma amostra permitida com as decisões esperadas pela sua política. Inclua tanto conteúdo sinalizado pelo fluxo quanto conteúdo que ele permitiu; observar apenas a fila de revisão não pode revelar tudo o que o sistema deixou passar.
O exemplo a seguir é inteiramente ilustrativo e não descreve o desempenho do Poyo ou de benchmarks de modelos:
| Em uma amostra de 100 envios | Enviados para revisão | Não enviados para revisão | Total |
|---|---|---|---|
| Violações de política rotuladas por humanos | 18 | 2 | 20 |
| Conteúdo aceitável rotulado por humanos | 8 | 72 | 80 |
| Total | 26 | 74 | 100 |
Três perguntas diferentes surgem dessa amostra:
- Quanto da fila era relevante? Dos 26 itens sinalizados, 18 foram rotulados como violações: 18 ÷ 26, aproximadamente 69,2%.
- Quantas violações foram detectadas? Das 20 violações rotuladas, 18 foram sinalizadas: 18 ÷ 20, ou 90%.
- Com que frequência conteúdo aceitável foi sinalizado? Dos 80 itens aceitáveis, oito foram sinalizados: 8 ÷ 80, ou 10%.
Essas métricas têm denominadores diferentes e não devem ser combinadas em uma única afirmação de “precisão”. Analise os casos por trás delas. A equipe pode precisar de uma regra mais clara, um limite diferente, uma verificação separada ou mais contexto.
Nas operações em produção, conte também os recursos não resolvidos e observe a idade do item mais antigo em espera. Uma alta contagem de conclusões pode esconder um pequeno conjunto de casos que está esperando há tempo demais.
Conecte o Poyo às suas ferramentas de revisão existentes
Use o Omni Moderation Playground para testar os idiomas e estilos de imagem que seus usuários enviam. Entre, execute exemplos representativos e inspecione os resultados das categorias sem escrever código ou criar manualmente uma chave de API.
Para solicitações do aplicativo, use sua chave de API do Poyo com POST /api/generate/submit, model: "omni-moderation-latest" e os campos de texto ou imagem compatíveis. As mesmas credenciais do Poyo podem acessar outros modelos compatíveis, ajudando você a manter geração e moderação em uma integração de plataforma compartilhada.
Salve o ID da tarefa retornado com a versão do conteúdo. Consulte seu status ou configure um callback_url opcional para que uma avaliação concluída possa atualizar um registro no seu sistema de publicação, ferramenta de suporte ou fila de revisão. Seu aplicativo define o encaminhamento e executa a ação de publicação ou atribuição de revisor.
Leia data.output.results nas respostas de status e output.results nos callbacks, que omitem o wrapper externo. Uma tarefa finished contém uma avaliação concluída; flagged: true identifica um risco potencial de conteúdo. Mantenha tarefas failed em um caminho técnico separado de nova tentativa.
Reavalie publicações editadas e imagens substituídas como novas versões. Torne o tratamento de callbacks seguro para repetição, para que entregas duplicadas atualizem o mesmo registro de revisão, e garanta que um resultado mais antigo não possa substituir uma decisão mais recente.
Defina permissões de acesso e regras de retenção para os registros de revisão e verifique os termos de serviço aplicáveis antes de enviar dados de produção. A referência do Poyo explica o contrato da solicitação; as orientações sobre webhooks abrangem a integração de callbacks.
Perguntas frequentes
O que é moderação de conteúdo gerado pelo usuário?
Moderação de conteúdo gerado pelo usuário é o processo de analisar materiais enviados pelos usuários, como publicações, comentários, avaliações e fotos, em relação às regras de uma plataforma. Isso inclui detectar possíveis violações, decidir como lidar com elas e resolver denúncias ou recursos.
Como o Poyo ajuda uma pequena equipe de moderação?
O Poyo oferece uma primeira avaliação gratuita de textos e imagens compatíveis, com sinais de categorias, acompanhamento de tarefas e callbacks opcionais de conclusão. Sua equipe pode usar esses resultados para encaminhar envios pelas ferramentas existentes e concentrar os revisores nos casos que precisam de contexto. Comece com uma superfície de conteúdo e regras que sua equipe consiga aplicar de forma consistente.
Quais etapas de moderação podemos automatizar?
Seu aplicativo pode enviar conteúdo, salvar IDs de tarefas, recuperar avaliações, processar callbacks e atualizar registros de revisão. Depois de testar as regras com seus próprios exemplos, você também pode automatizar ações de publicação ou encaminhamento definidas. O Poyo fornece resultados de avaliação e gerenciamento de tarefas; sua equipe configura as regras de negócio, o escalonamento e os recursos de contestação.
Como podemos reduzir a revisão manual repetitiva?
Mantenha um registro por versão do conteúdo, associe-o ao ID da tarefa do Poyo e torne o processamento de callbacks seguro para repetição. Isso ajuda seu aplicativo a evitar entradas de revisão duplicadas. Use exemplos rotulados para ajustar o encaminhamento por categoria e examine por que envios aceitáveis entram na fila, enquanto continua verificando violações não detectadas. Meça o efeito antes de ampliar a automação.
O Poyo pode se conectar às nossas ferramentas de revisão existentes?
Use consultas de status ou callbacks de conclusão para enviar classificações ao sistema de publicação, ferramenta de suporte ou fila de revisão do seu aplicativo. Inclua o ID do conteúdo, a versão, os sinais das categorias e a regra a ser aplicada no registro. Sua integração gerencia a atribuição de revisores e as ações de publicação, para que a equipe possa continuar usando suas ferramentas estabelecidas.
Como começamos gratuitamente?
Escolha uma superfície, defina as regras relevantes e teste textos ou imagens representativos no Poyo Playground. Nenhum código ou chave de API criada manualmente é necessário para este teste. As chamadas do Omni Moderation custam zero créditos; quando o encaminhamento estiver pronto, conecte a API ao seu fluxo existente e planeje separadamente o armazenamento e o tempo dos revisores.
Use a introdução à moderação de conteúdo por IA para interpretar os sinais e o guia de custos para planejar o trabalho em torno das chamadas gratuitas.