Poyo 的免费图片审核 API 可以帮助你在发布前评估头像、社区配图和商品图片。通过 Omni Moderation,你可以单独审核一张图片,也可以在同一次请求中加入说明文字,一起获取分类结果。
先在 Playground 中测试自己的样本,查看风险标记和分数;再通过 Poyo 的任务追踪和可选完成回调,将结果连接到应用的发布规则与现有复核工具。
本文会说明图片支持的风险类别、上传准备方式,以及从提交到发布或进一步复核的完整步骤。可以先把流程用于一个上传入口,积累经验后再逐步扩展。
先明确图片审核服务于哪个场景
从图片展示的位置和观看者开始定义规则。
头像可能出现在用户的每条评论旁;社区照片可能进入公开信息流;商品图片则可能需要同时满足内容安全和上架规则。不同位置可以采用不同标准,也可以对发布前审核设置不同要求。
例如,平台可能允许用户在讨论区分享一张不血腥的历史照片,但不允许将同一张照片设为头像。图片没有变化,变化的是展示场景和产品规则。
至少明确三种结果对应的处理方式:符合规则、含义不明确、明确违规。还需要单独定义“暂时无法获得评估”的情况,避免把处理错误静默当成通过。
Omni Moderation 对图片检查哪些类别
Poyo 以零积分提供六个图片风险分类,涵盖性内容、暴力和自伤。每次请求接收一个 HTTPS 图片链接;加入说明文字后,可以同时评估图片和提交的文本。
| 分类 | 对应的风险信号 |
|---|---|
sexual | 性内容 |
violence | 暴力 |
violence/graphic | 血腥暴力 |
self-harm | 自伤内容 |
self-harm/intent | 自伤意图迹象 |
self-harm/instructions | 自伤指导 |
通过 category_applied_input_types 可以查看分类结果适用于图片、提交的文本,还是两者。文本输入支持 13 个分类,包括仇恨、骚扰、违法行为指导和 sexual/minors。这些仅支持文本的分类会评估提交的文字,不属于图片检查。只提交图片时,如果不支持的分类返回零分且输入类型列表为空,表示该分类没有执行评估。
如果规则依赖图片中的文字,可以增加适当的文字提取步骤,再审核提取出的文本。商品质量、水印、个人信息和禁售物品规则也需要对应检查。视频和动态图片需要单独设计抽帧流程,音频需要另行处理;检查部分画面不能代表整段视频及其声音都已完成审核。
Omni Moderation 并非专门的 CSAM 识别模型,sexual/minors 仅支持文本。已知或疑似 CSAM 不能提交给 OpenAI Moderation API,应遵循官方儿童安全指引。
Poyo API 文档说明了支持的输入与响应字段。按上述覆盖范围为每个上传入口选择检查步骤即可。
提交审核之前先处理好上传文件
审核服务需要能获取实际图片。用户设备中的 photo.jpg 文件名不够,展示图片的网页也不一定是图片资源链接。
在评估完成之前,可以将文件保存在现有存储系统的待审核区域,并避免进入公开信息流。为存储设置访问控制,再选择受支持的资源访问方式,让服务能够读取指定文件,而不是暴露整个存储账户。
如果使用临时 HTTPS 链接,应为排队处理和重试留出足够有效时间。不要在 URL 中放入会话凭证,也不要把私人图片链接写入过度开放的日志。
内容审核之前,还应验证文件是否符合预期格式、能否正常解码,并根据应用和服务商要求限制文件大小与图片尺寸。这些属于上传校验,不能通过一个内容评分来证明文件在技术层面安全。
为每次上传记录稳定的内容 ID 和版本号,并将任务 ID 绑定到该版本。这样,用户在审核期间替换图片时,旧结果才不会误批准新文件。
一套可以落地的上传到发布流程
小团队也能建立明确的流程,关键是每个状态都有对应动作和负责人。
| 阶段 | 系统处理 | 用户看到的状态 |
|---|---|---|
| 上传完成 | 保存文件并记录内容版本 | 已收到上传 |
| 等待审核 | 提交检查并保存任务 ID | 正在等待审核 |
| 评估完成 | 读取任务状态、有效分类和分数 | 等待产品规则给出决定 |
| 审核通过 | 应用规则并允许展示 | 已发布 |
| 人工复核 | 暂缓展示并分配审核人员 | 等待处理 |
| 拒绝或无法处理 | 说明规则或技术问题,并提供适当下一步 | 可以修改、重试或申诉 |
Poyo 提供衔接这些阶段所需的分类评估与任务结果。通过任务 ID 或完成回调更新应用中的对应上传,再按规则发布、交给审核人员复核或要求修改。具体动作由现有发布系统和复核工具执行。
用户提示应与实际状态一致。处理尚未完成时,可以说“图片正在等待审核”;技术失败时,可以说“暂时无法处理,请稍后重试”。只有内容决定确实支持时,才应告诉用户违反了某条规则。
通过 Poyo 提交图片审核
先在 Omni Moderation Playground 测试,不需要编写代码或手动创建 API Key。登录后,如果只审核图片,就清空文本,添加一张图片并点击 Run。应查看新任务完成后的结果,不要将页面初始展示的已记录示例当成这次运行的输出。
接入应用时,由服务端使用 Poyo API Key 发起请求:
curl -X POST https://api.poyo.ai/api/generate/submit \
-H "Authorization: Bearer YOUR_POYO_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "omni-moderation-latest",
"input": {
"image_urls": ["https://your-image-host.example/upload.jpg"]
}
}'
将示例域名替换为能够访问实际图片文件的 HTTPS 链接。无代码试用时,可以在 Playground 上传本地图片;通过 API 接入时,在 input.image_urls 中提供已托管图片的链接。
如果还要审核说明文字,可以在 input 中加入 "prompt": "需要检查的图片说明"。一条帖子包含多张图片时,应分别提交任务,记录每份结果对应哪张图片。不能因为其中一张通过,就认为整条帖子的图片都已通过。
提交后会返回 task_id,可按下面的方式查询:
curl https://api.poyo.ai/api/generate/status/YOUR_TASK_ID \
-H "Authorization: Bearer YOUR_POYO_API_KEY"
任务从 not_started 开始异步处理,最终进入 finished 或 failed。完成的分类结果位于 data.output.results。
也可以在提交请求的顶层设置 callback_url。回调体直接使用状态数据对象,不包含外层包装,结果位于 output.results。接收时应按照 Poyo Webhook 文档验证回调,并让处理逻辑能够应对重复送达。
如何将评估结果转成发布决定
先用普通语言写清楚每个相关类别的处理规则,再评估模型信号是否能帮助执行。
明显违反平台规则的图片,可以在完成必要检查后拒绝;符合规则的图片,应在全部必需检查完成后发布;有歧义的情况则保持待复核状态,不应因为计时结束就强行给出结论。
较高评分意味着值得查看对应分类,不是违规概率的保证。图片是艺术作品、医学示意图、新闻照片还是普通用户照片,都可能影响最终判断。
使用团队标注过的样本评估分流阈值,同时检查两类错误:正常图片是否被无故滞留,以及需要处理的图片是否被遗漏。修改阈值后,先与旧规则比较,再扩大自动决策范围。
保存足够解释决定的信息,例如内容版本、任务 ID、分类信号、适用规则、人工结果和决定时间。为这些记录设置保留期限与访问权限,不要默认永久保存所有原始图片。
处理失败、内容修改和用户申诉
图片无法获取。 检查地址是否指向实际图片、是否仍有效,以及是否可以在没有用户会话的情况下读取。解决技术问题期间,保持上传内容待审核。
页面停止等待,但任务仍可能运行。 保留任务 ID,查询实际状态。立即重复提交,可能让两个任务同时处理同一版本。应设置有限重试和长期不可用时的处理方式。
用户替换图片或修改说明。 将变化视为一个新的待审核版本。旧批准不应授权新内容;应重审相关输入,并防止旧版本的延迟回调发布新版本。
用户不同意结果。 提供申诉入口,让审核人员能够同时查看内容和适用规则。改判之后,需要同步更新发布状态,并保留修正记录。
一条帖子有多张图片。 明确整体发布条件。例如,可以等待所有必需的图片任务完成,或允许用户移除需要复核的那张图片。单个成功结果不能代表整条帖子已经审核。
常见问题
什么是图片审核?
图片审核是根据平台内容规则检查图片的过程。它可以结合自动检测和人工判断,决定上传的图片应当发布、等待复核,还是拒绝展示。
Poyo 的图片审核免费吗?
Poyo 的 Omni Moderation 图片调用每次收取零积分。可以先在 Playground 测试受支持的图片评估,再接入应用,无需增加按次审核费用。图片存储、传输和人工复核需要单独规划,免费访问指南说明了这些资源的区别。
能同时审核图片与说明文字吗?
可以。在同一次请求中,通过 input.image_urls 提供一个 HTTPS 图片链接,通过 input.prompt 提供说明文字;在 Playground 中则同时填写图片和文本。查看 category_applied_input_types,即可了解哪些信号适用于提交的文本、图片或两者。
可以检查哪些图片风险?
Omni Moderation 支持六个图片分类,涵盖性内容、暴力、血腥暴力、自伤、自伤意图和自伤指导。Poyo 返回分类标记与分数,方便按平台规则为上传内容安排处理路径。上方能力章节说明了输入覆盖范围,以及其他需求所需的补充处理。
如何接收图片审核的完成结果?
保存返回的 Poyo 任务 ID 后查询状态,或提供 callback_url 接收完成通知。状态响应从 data.output.results 读取,回调从 output.results 读取。将结果匹配到对应图片版本,再由应用发布或转入现有复核工具。
如何不写代码测试图片审核?
登录 Poyo Playground,添加一张图片,根据需要填写说明文字,然后点击 Run。只审核图片时清空文本字段。查看新任务完成后的结果,并用具有代表性、允许使用的样本测试,再配置自动发布规则。
可以先在 Poyo Playground 测试一张图片,再把结果连接到团队能够解释的发布规则。响应字段可参考 AI 内容审核入门,更完整的团队流程见 UGC 审核指南。