A Poyo ajuda as equipas pequenas a acrescentar verificações gratuitas por IA à moderação de conteúdo gerado por utilizadores. Podes avaliar publicações, comentários, avaliações e imagens estáticas com o Omni Moderation e depois ligar os resultados por categoria às regras e às ferramentas de revisão que a tua equipa já utiliza.
A vantagem prática é uma primeira avaliação repetível: submetes o conteúdo suportado, acompanhas a tarefa e obténs o resultado ou recebes um callback de conclusão. A tua equipa pode usar esses sinais para encaminhar as submissões de rotina e concentrar a atenção humana nos casos que precisam de contexto.
Começa com uma única superfície de conteúdo e alguns exemplos representativos no Playground. Este guia mostra como ligar as verificações gratuitas às regras de publicação, à responsabilidade pela revisão e aos recursos dos utilizadores, para que o processo continue gerível à medida que as submissões aumentam.
Identifica o conteúdo e as decisões que realmente são da tua responsabilidade
O conteúdo gerado por utilizadores, ou UGC, inclui o material que as pessoas submetem ao teu produto: publicações da comunidade, comentários, fotografias de perfil, avaliações de produtos, descrições de anúncios e imagens carregadas.
Faz um inventário antes de escolheres uma ferramenta. Regista onde aparece cada tipo de conteúdo, quem o pode ver, se os utilizadores o podem editar e com que rapidez é preciso decidir. Uma imagem de perfil visível publicamente tem consequências diferentes de um rascunho que só o autor vê.
Escolhe uma superfície ligada às tuas ferramentas de publicação existentes, como os comentários na tua aplicação ou as fotografias de produtos na tua loja. A avaliação da Poyo pode alimentar essas ferramentas através de resultados de tarefas e callbacks. Se também geres conteúdo numa plataforma social externa, usa a integração autorizada dessa plataforma para executar as ações de publicação ou remoção.
A Trust & Safety Professional Association descreve a moderação como a aplicação de políticas apoiada por operações, produto e engenharia. Numa empresa pequena, uma só pessoa pode assumir várias dessas funções. As responsabilidades continuam a ter de ser explícitas.
Começa com regras que as pessoas consigam aplicar
Uma regra útil identifica o comportamento, explica o seu âmbito e indica a ação disponível. “Manter a comunidade segura” exprime uma intenção, mas não resolve uma submissão difícil.
Por exemplo, um produto poderia escrever: “São proibidas ameaças diretas contra outro membro. Retém para revisão as suspeitas de ameaça e usa o processo de escalamento quando o caso exigir atenção urgente.” Isto dá aos revisores uma categoria concreta e uma ação seguinte.
Mantém as tuas regras separadas dos nomes das categorias dos modelos. Uma comunidade pode proibir publicidade repetitiva mesmo que um modelo de conteúdo nocivo não devolva nenhum sinal relevante. Uma comunidade de notícias pode permitir uma discussão adequada sobre violência e continuar a proibir ameaças contra membros.
| Área de política | O que a equipa deve definir |
|---|---|
| Ameaças e assédio | Que comportamento viola as regras e como é escalado |
| Conteúdo sexual ou explícito | O que é permitido em cada superfície e o que exige revisão |
| Spam e publicidade | Limites à repetição, às ligações ou à promoção |
| Informações pessoais | O que pode ser partilhado e como é tratada a exposição |
| Publicações fora do tema ou de baixa qualidade | Se se deve mover, editar, recusar ou pedir alterações |
| Decisões contestadas | Quem analisa os recursos e o que pode ser corrigido |
Combina as categorias de conteúdo nocivo suportadas pelo Omni Moderation com as verificações que o teu produto já usa. O spam, as informações pessoais, a qualidade das publicações e os recursos precisam de regras, ferramentas ou revisores próprios. Atribuir cada requisito a um passo concreto torna todo o processo mais fácil de operar.
Testa a formulação com alguns exemplos. Se dois revisores aplicarem a mesma regra de forma diferente, esclarece a regra antes de esperares que a automatização torne a decisão consistente.
Escolhe quando a moderação acontece
O momento influencia tanto a exposição como a experiência do utilizador. Define-o para cada superfície de conteúdo.
Antes da publicação. O conteúdo fica pendente até as verificações e decisões necessárias estarem concluídas. Pode ser adequado para imagens públicas carregadas ou para submissões que a tua equipa decidiu inspecionar primeiro. Significa também que os utilizadores precisam de uma explicação clara da espera.
Depois da publicação. O conteúdo aparece e é avaliado a seguir. Isto reduz o atrito inicial, mas o material proibido pode ficar visível até se agir. A equipa precisa de um processo de resposta à altura dessa exposição.
Depois de uma denúncia. Os utilizadores assinalam um problema e a equipa analisa-o. As denúncias ajudam a revelar contexto e casos que passaram, mas o conteúdo que ninguém denuncia pode ficar sem análise.
Um processo misto pode ser prático. Por exemplo, uma equipa poderia reter as novas fotografias de perfil antes da publicação, executar verificações de texto de rotina nos comentários e continuar a aceitar denúncias em ambos. Isto é um exemplo de conceção, não uma política universal.
Para uma visão geral destas abordagens, consulta o guia de moderação de conteúdo da Stream. Escolhe em função do teu público, da exposição e da capacidade de revisão disponível.
Acrescenta verificações gratuitas por IA ao teu fluxo de moderação
A Poyo reúne texto multilingue, uma única imagem HTTPS, ou texto com imagem, num único fluxo de tarefas. O texto suporta 13 categorias de risco; as imagens suportam seis, que abrangem conteúdo sexual, violência e automutilação. Os sinais e as pontuações por categoria dão à tua aplicação indicações para decidir que submissões podem seguir as regras de rotina e quais precisam de um olhar mais atento.
Usa a visão geral das categorias para associar cada verificação ao tipo de entrada suportado. As categorias só de texto não avaliam os píxeis da imagem. Se a tua política depender de texto incorporado, áudio, vídeo ou deteção especializada, acrescenta um passo de processamento separado adequado. Para a cobertura de imagens e o tratamento de segurança infantil, consulta o guia de moderação de imagens.
Uma sequência prática é:
- Receber uma submissão e registar o ID e a versão do conteúdo.
- Validar o texto ou o ficheiro carregado para a tua aplicação.
- Submeter à Poyo o texto ou a imagem suportados e guardar o ID da tarefa.
- Obter o resultado concluído ou receber o callback de conclusão.
- Aplicar as tuas regras para publicar, pedir alterações, rejeitar ou atribuir um revisor.
- Registar a decisão e manter vias para denúncias e recursos.
O ID da tarefa da Poyo ajuda a associar uma avaliação à submissão certa. Os callbacks de conclusão podem desencadear o passo seguinte na tua aplicação ou ferramenta de revisão existente. Configura a forma como cada sinal suportado se traduz numa ação de negócio, com revisão humana para os casos que precisam de contexto ou de escalamento.
Cria uma fila de revisão que uma equipa pequena consiga gerir
Num piloto, a tua ferramenta de suporte ou de administração existente pode bastar. Cada item de revisão deve conter informação suficiente para decidir, sem obrigar o revisor a reconstruir todo o historial.
Inclui o conteúdo ou uma forma controlada de o inspecionar, o contexto relevante, a regra em análise, os sinais do modelo, a versão do conteúdo e qualquer decisão anterior necessária para este caso. Acrescenta um responsável e um estado, para que duas pessoas não trabalhem sem saber no mesmo item.
Estados úteis incluem avaliação pendente, revisão humana pendente, aprovado, rejeitado e em recurso. Regista as falhas técnicas em separado, porque “não foi possível obter a imagem” não é uma conclusão de política de conteúdo.
Define prioridades que a tua equipa consiga realmente manter. Uma ameaça potencialmente grave pode exigir um escalamento mais rápido do que uma decisão incerta sobre uma fotografia de produto. Define a pessoa responsável e a suplente, incluindo o que acontece quando nenhuma das duas está disponível.
Se a fila crescer, examina a causa antes de afrouxares as regras. Pode haver demasiados falsos sinais, políticas pouco claras, tarefas duplicadas ou um novo padrão de conteúdo que a equipa ainda não avaliou. Cada problema exige uma resposta diferente.
Mantém o contexto e os recursos no processo
Um sinal automático pode não captar o motivo pelo qual um utilizador publicou algo. Um assédio citado numa queixa, a discussão de um acontecimento histórico e uma imagem educativa podem exigir um contexto que a primeira avaliação não capta por completo.
Quando um revisor toma uma decisão, regista a regra aplicada e o motivo. A linguagem dirigida ao utilizador deve explicar o que acontece a seguir sem reproduzir desnecessariamente material nocivo.
Por exemplo, “A tua imagem está a aguardar revisão porque pode enquadrar-se na nossa regra de conteúdo explícito” descreve um caso pendente. “Não conseguimos concluir a verificação da imagem; o teu ficheiro carregado continua privado enquanto tentamos de novo” descreve um atraso técnico. Estas mensagens dão aos utilizadores expectativas diferentes e úteis.
Oferece uma via de recurso para as decisões que possam ser contestadas. O revisor deve ver a versão original do conteúdo, o contexto relevante, o motivo anterior e qualquer nova explicação do utilizador. Quando a dimensão da equipa o permitir, usa outra pessoa para o recurso.
Se a decisão mudar, atualiza a visibilidade real do conteúdo e qualquer ação relacionada com a conta. Enviar um pedido de desculpa sem repor o estado pretendido deixa o erro de fundo por resolver.
Evita tratar uma crítica como violação da política só por ser negativa. Para produtos baseados em avaliações, a discussão da Bazaarvoice sobre moderação de UGC destaca a importância de manter o feedback negativo autêntico. As tuas regras devem distinguir uma experiência de cliente crítica de um abuso ou de divulgações proibidas.
Mede a qualidade das decisões e a carga de trabalho
Começa por métricas que ajudem a equipa a encontrar um problema concreto. O volume de submissões, as avaliações concluídas, as falhas de processamento e as revisões pendentes descrevem a carga de trabalho. O tempo de resposta da revisão e os resultados dos recursos descrevem o que os utilizadores sentem.
Para avaliar a classificação e o encaminhamento, etiqueta uma amostra permitida com as decisões que a tua política prevê. Inclui o conteúdo assinalado pelo fluxo e o conteúdo que ele deixou passar; olhar apenas para a fila de revisão não revela tudo o que o sistema falhou.
O exemplo seguinte é totalmente ilustrativo e não descreve o desempenho da Poyo nem de benchmarks de modelos:
| Numa amostra de 100 submissões | Enviadas para revisão | Não enviadas para revisão | Total |
|---|---|---|---|
| Violações de política etiquetadas por humanos | 18 | 2 | 20 |
| Conteúdo aceitável etiquetado por humanos | 8 | 72 | 80 |
| Total | 26 | 74 | 100 |
Desta amostra resultam três perguntas diferentes:
- Que parte da fila era relevante? Dos 26 itens assinalados, 18 foram etiquetados como violações: 18 ÷ 26, cerca de 69,2%.
- Quantas violações foram apanhadas? Das 20 violações etiquetadas, 18 foram assinaladas: 18 ÷ 20, ou seja, 90%.
- Com que frequência foi assinalado conteúdo aceitável? Dos 80 itens aceitáveis, oito foram assinalados: 8 ÷ 80, ou seja, 10%.
Estas medidas têm denominadores diferentes e não devem ser combinadas numa única afirmação de “exatidão”. Revê os casos que estão por trás delas. A equipa pode precisar de uma regra mais clara, de outro limiar, de uma verificação separada ou de mais contexto.
Em operação real, conta também os recursos por resolver e olha para a idade do item mais antigo em espera. Um número elevado de conclusões pode esconder um pequeno conjunto de casos à espera há demasiado tempo.
Liga a Poyo às tuas ferramentas de revisão existentes
Usa o Playground do Omni Moderation para testar os idiomas e os estilos de imagem que os teus utilizadores submetem. Inicia sessão, executa exemplos representativos e inspeciona os resultados por categoria, sem escreveres código nem criares uma chave de API manualmente.
Nos pedidos da aplicação, usa a tua chave de API da Poyo com POST /api/generate/submit, model: "omni-moderation-latest" e os campos de texto ou de imagem suportados. As mesmas credenciais da Poyo dão acesso a outros modelos suportados, o que te ajuda a manter a geração e a moderação numa integração de plataforma partilhada.
Guarda o ID da tarefa devolvido junto da versão do conteúdo. Consulta o seu estado ou configura um callback_url opcional, para que uma avaliação concluída possa atualizar um registo no teu sistema de publicação, na tua ferramenta de suporte ou na tua fila de revisão. A tua aplicação define o encaminhamento e executa a ação de publicação ou de atribuição de revisor.
Lê data.output.results nas respostas de estado e output.results nos callbacks, que dispensam o invólucro exterior. Uma tarefa finished contém uma avaliação concluída; flagged: true identifica um potencial risco de conteúdo. Mantém as tarefas failed num caminho separado de nova tentativa técnica.
Reavalia as publicações editadas e as imagens substituídas como novas versões. Torna o tratamento dos callbacks seguro para repetição, para que entregas duplicadas atualizem o mesmo registo de revisão, e garante que um resultado mais antigo não consegue sobrepor-se a uma decisão mais recente.
Define permissões de acesso e regras de retenção para os registos de revisão e verifica os termos de serviço aplicáveis antes de enviares dados de produção. A referência da Poyo explica o contrato dos pedidos; as orientações sobre webhooks abrangem a integração de callbacks.
Perguntas frequentes
O que é a moderação de conteúdo gerado por utilizadores?
A moderação de conteúdo gerado por utilizadores é o processo de rever o material submetido pelos utilizadores, como publicações, comentários, avaliações e fotografias, face às regras de uma plataforma. Inclui detetar potenciais violações, decidir como tratá-las e resolver denúncias ou recursos.
Como ajuda a Poyo uma equipa de moderação pequena?
A Poyo oferece uma primeira avaliação gratuita de texto e imagens suportados, com sinais por categoria, acompanhamento de tarefas e callbacks de conclusão opcionais. A tua equipa pode usar esses resultados para encaminhar as submissões pelas ferramentas existentes e concentrar os revisores nos casos que precisam de contexto. Começa por uma única superfície de conteúdo e por regras que a tua equipa consiga aplicar de forma consistente.
Que passos da moderação podemos automatizar?
A tua aplicação pode submeter conteúdo, guardar IDs de tarefas, obter avaliações, tratar callbacks e atualizar registos de revisão. Depois de testares as regras com os teus próprios exemplos, também podes automatizar ações definidas de publicação ou de encaminhamento. A Poyo fornece os resultados da avaliação e a gestão das tarefas; a tua equipa configura as regras de negócio, o escalamento e os recursos.
Como podemos reduzir a revisão manual repetitiva?
Mantém um registo por versão de conteúdo, associa-o ao ID da tarefa da Poyo e torna o processamento de callbacks seguro para repetição. Isto ajuda a tua aplicação a evitar entradas de revisão duplicadas. Usa exemplos etiquetados para afinar o encaminhamento por categoria e examina por que razão submissões aceitáveis entram na fila, sem deixares de verificar as violações que escaparam. Mede o efeito antes de alargares a automatização.
A Poyo consegue ligar-se às nossas ferramentas de revisão existentes?
Usa consultas de estado ou callbacks de conclusão para enviar as classificações para o sistema de publicação, a ferramenta de suporte ou a fila de revisão da tua aplicação. Inclui no registo o ID do conteúdo, a versão, os sinais por categoria e a regra a aplicar. A tua integração trata da atribuição de revisores e das ações de publicação, para que a equipa possa continuar a usar as ferramentas a que já está habituada.
Como começamos gratuitamente?
Escolhe uma superfície, define as regras relevantes e testa texto ou imagens representativos no Playground da Poyo. Para este teste, não é preciso código nem uma chave de API criada manualmente. As chamadas ao Omni Moderation custam zero créditos; quando o encaminhamento estiver pronto, liga a API ao teu fluxo de trabalho existente e planeia em separado o armazenamento e o tempo dos revisores.
Usa a introdução à moderação de conteúdo com IA para interpretar os sinais e o guia de custos para planear o trabalho em torno das chamadas gratuitas.