AI 内容审核指南：如何免费审核文本和图片

Poyo 为团队提供免费的 AI 内容审核，支持文本、图片以及图文组合输入。你可以先在 Playground 中试用 OpenAI 的 omni-moderation-latest，查看分类标记和评分，再通过同一个 Poyo 账户将审核接入模型工作流。

对于社区产品，可以在帖子发布前检查内容；对于图片产品，可以将上传图片与说明文字一起评估；对于 AI 助手，可以先审核消息或生成回复，再决定展示方式。

先选择几条具有代表性的样本在 Playground 中测试。准备接入业务时，Poyo 提供任务 ID、状态追踪和可选的完成回调，方便应用将结果连接到自己的发布与复核规则。

什么是 AI 内容审核

AI 内容审核通过自动分类，帮助团队根据平台规则评估用户提交的内容。它可以识别文本与图片中的潜在风险，为审核人员和应用提供统一的判断信号。

通过 Poyo，你可以获取整体风险标记、各分类标记、置信评分，以及每个分类所对应的输入类型。讨论社区可以据此找到需要关注的评论，图片产品可以在照片进入公开图库前完成检查。

应用可以将结果连接到发布、要求修改或人工复核等动作。团队获得明确的处理起点，同时继续掌握自己的内容规则。

这里关注的是内容中的潜在有害信息。判断文字或图片是否由 AI 生成，属于另外一类任务。

Omni Moderation 可以审核什么

Poyo 的 Omni Moderation 支持多语言文本、单张图片，以及文本与图片一起提交。文本覆盖 13 个分类，其中 6 个也支持图片，方便团队通过同一组结果字段检查评论、说明文字和上传图片。

通过 category_applied_input_types 可以查看每个结果对应的输入类型。标为“仅文本”的类别适用于提交的文字；图片不适用的类别返回零分，表示没有对该图片执行此类评估。

在这层审核之上，可以继续加入社区或电商自己的广告限制、质量检查等规则。如果流程需要检查图片中的文字、音频转写或选取的视频帧，应先准备好相应材料，再提交支持的文本或图片。评估结果对应实际提交的输入。

sexual/minors 仅支持文本。已知或疑似儿童性虐待材料不能提交给 OpenAI Moderation API，相关情况应遵循官方儿童安全处理指引。

请求格式和支持字段可参考 Poyo Omni Moderation 文档。

在产品的哪个环节使用 AI 审核

适合引入审核的起点，是内容即将对其他人产生影响的具体时刻。

社区可以选择评论发布时，图片产品可以选择照片进入公开图库时，聊天助手可以选择回复展示之前。你还需要决定：用户是否要等待审核完成，还是允许内容先出现、随后继续检查。

如果涉及私信，还需要先明确隐私边界：检查哪些内容、谁能查看原文、用户会收到怎样的说明。不要在流程已经上线之后才补充这些决定。

Poyo 将内容评估与任务追踪放进同一套 API 流程。把结果连接到现有发布规则和复核工具，就能让每次提交按照团队设定的方式继续处理。

如何在 Poyo 免费测试文本和图片

打开 Omni Moderation 模型页面，可以找到 Playground、示例请求和结构化结果。登录后即可运行测试，不需要在 Playground 手动创建或填写 API Key；由自己的应用调用 API 时，才需要使用对应密钥。

先测试一段文本

登录后，在 Playground 的 Prompt 字段输入需要审核的文字。这里的 Prompt 指待检查内容，并不是让模型“扮演审核员”的指令。

可以先用一条普通消息熟悉操作：

周末想和朋友去公园徒步，大家有什么适合初学者的路线推荐？

点击 Run 发起新审核。页面初始会展示已记录的示例；仅修改输入，不会自动更新示例结果。需要运行请求并等待完成后，才能查看这次提交的输出。

先看整体风险标记，再看具体分类、评分和对应输入类型。熟悉结果之后，继续测试实际业务中允许使用的样本，覆盖常见语言和场景。

再加入一张图片

如果只想审核图片，可以清空文本，在 Image Urls 中使用图片输入控件添加一张图片。也可以保留说明文字，将图文一起提交。

Poyo 的 API 每次接收一个 HTTPS 图片链接。通过 Playground 选择本地文件时，文件会先上传，再以链接形式参与审核。需要检查多张图片时，可以分别提交任务，再将结果关联到原始帖子。

使用自己的链接时，需要保证审核服务能够获取图片。只能在登录后台后打开的页面地址，通常并不是可供服务直接读取的图片资源。

从试用转向业务接入

确认结果有帮助之后，可以创建 Poyo API Key，由服务端调用接口。不要把密钥写进公开的网页代码。

图文组合请求如下：

{
  "model": "omni-moderation-latest",
  "input": {
    "prompt": "今天早晨徒步时拍到的风景。",
    "image_urls": [
      "https://your-image-host.example/photo.jpg"
    ]
  }
}

示例域名需要替换成实际可访问的 HTTPS 图片地址。使用 Poyo API Key 向 POST https://api.poyo.ai/api/generate/submit 提交后，会收到任务 ID。之后通过状态接口查询，或配置完成回调获取结果。这个过程是异步的，拿到任务 ID 并不表示审核已经完成。

如何理解审核结果

先分别回答两个问题：请求有没有处理完成，模型识别到了什么？

通过状态接口获取结果时，具体分类位于 data.output.results。如果 status 为 finished、flagged 为 true，表示任务成功完成，并发现潜在风险。任务失败则意味着尚未获得可用的完整评估。

评分为 0.8，不应被写成“有 80% 的把握违反你的平台规则”。较高评分意味着模型对该类别有更强的置信度，是否违反平台规则还需要结合上下文。

例如，一篇讲述暴力事件的新闻讨论可能触发暴力类别，但在对应社区仍然可以发布。另一篇没有任何有害内容标记的营销帖，也可能违反社区“禁止广告”的规定。模型分类和平台决策需要分别处理。

用自己的样本建立审核规则

可以先在 Playground 中整理一组正常内容、明确违规和需要结合语境判断的样本，覆盖常见语言、图片风格、说明文字与引用内容。合成样本或获得适当授权的材料，适合作为起点。

为每个样本记录团队预期的处理结果，再与分类信号比较。这样更容易决定哪些内容可以进入常规处理路径，哪些适合交给审核人员。

同时测试完整流程：等待中的任务有清楚的状态提示，处理问题有重试路径，人工审核可以修正决定。Poyo 的任务 ID 和状态字段便于追踪这些环节。

根据实际样本为不同类别选择阈值，并在内容模式或底层模型变化后重新评估。

常见问题

什么是 AI 内容审核？

AI 内容审核利用机器学习评估文本和图片中的潜在有害内容，并返回风险信号。这些结果可以帮助平台执行规则、判断内容是否适合发布，以及识别需要人工复核的提交。

Poyo 的 AI 内容审核免费吗？

Poyo 的 Omni Moderation 对支持的文本和图片输入每次收取零积分。可以先测试分类效果，再将同一模型接入应用，无需增加按次计算的审核费用。其他模型、存储和人工复核按各自方式计费，免费审核指南说明了如何规划这些投入。

如何在不写代码的情况下试用？

登录 Poyo Playground，输入文本、添加一张图片，或同时提供两者，然后点击 Run。任务完成后，查看这次新任务的分类结果。Playground 会处理登录鉴权，试用样本时无需手动创建或填写 API Key。

Poyo 会返回哪些审核结果？

完成后的评估包含整体 flagged 值、各分类标记、分类分数和 category_applied_input_types。这些字段一起说明识别到的潜在风险，以及实际评估的输入类型。可以据此配置复核规则；分数是模型信号，需要结合平台规则形成具体决定。

如何将审核接入现有业务？

使用 Poyo API Key 提交支持的内容，将任务 ID 与内容版本一起保存，再查询状态或配置完成回调。应用即可把结果连接到发布、要求修改或现有人工复核工具。从一个内容入口开始，测试分流规则后再扩大范围。

可以从 Poyo Omni Moderation Playground 开始，将结果与团队判断做一次对照。需要进一步设计流程时，可继续阅读图片上传审核指南、免费范围与成本说明和小团队 UGC 审核指南。