用户生成内容审核指南：小团队如何建立可执行的 UGC 审核流程

Poyo 可以帮助小团队为用户生成内容审核加入免费的 AI 检查。通过 Omni Moderation 评估帖子、评论、评价和静态图片，再将分类结果连接到团队现有的规则和复核工具。

它提供了一套可以重复执行的初步评估方式：提交支持的内容、追踪任务，再查询结果或接收完成回调。团队可以用这些信号安排常规内容的处理路径，将人工精力集中到需要结合语境判断的情况。

从一个内容入口和少量代表性样本开始，在 Playground 中验证流程。本文会说明如何将免费检查与发布规则、复核负责人和用户申诉衔接起来，让内容增长后的审核工作仍然便于管理。

先盘点自己能够管理的内容和决定

用户生成内容通常简称 UGC，包括用户提交到产品中的帖子、评论、头像、商品评价、商品描述和上传图片。

选工具之前，先记录每种内容在哪里出现、谁能看到、用户能否修改，以及需要多快给出决定。公开头像与仅作者可见的草稿，影响范围并不相同。

优先选择已经接入现有发布工具的入口，例如应用内评论或店铺商品图片。Poyo 的评估可以通过任务结果和回调向这些工具提供信息。如果还需要管理外部社交平台内容，应通过该平台授权的接入方式执行发布或删除动作。

信任与安全专业协会 TSPA将内容审核描述为由运营、产品和工程支持的规则执行过程。小公司中，一个人可能承担多个角色，但这些职责仍然需要说清楚。

从能够实际执行的规则开始

一条有用的规则，需要说明具体行为、适用范围和可采取的动作。“维护社区安全”表达了目标，却不能帮助审核人员处理一条有争议的帖子。

例如，可以写成：“禁止直接威胁其他成员。疑似威胁内容先进入复核，涉及紧急情况时按升级流程处理。”这条规则明确了内容类型，也给出了下一步动作。

平台规则与模型分类需要分别维护。社区可以禁止重复广告，即使模型没有标记任何有害内容；新闻社区也可以允许适当讨论暴力事件，同时禁止威胁其他成员。

将 Omni Moderation 支持的有害内容分类与产品现有检查结合起来。垃圾信息、个人信息、内容质量和申诉需要专门的规则、工具或审核人员。为每项要求指定处理步骤，可以让整套流程更容易执行。

拿几条样本让不同审核人员试着应用规则。如果同一规则得出完全不同的结果，应先澄清规则，再期待自动化保持一致。

决定审核发生在什么时候

审核时机同时影响内容暴露和用户体验，需要按入口分别确定。

发布前审核。 内容在必需检查和决定完成之前保持待审核。适用于团队决定先检查的公开图片等入口，但需要向用户说明等待原因。

发布后审核。 内容先展示，再继续评估。提交时阻力较小，但违规内容可能在处理之前被其他人看到，因此响应流程需要与这种暴露相匹配。

举报后审核。 用户发现问题后提交举报，再由团队处理。举报有助于补充语境和发现遗漏，但无人举报的内容可能长期不被检查。

可以采用混合方式。例如，头像先审后发，评论执行常规文本检查，同时为两者保留举报入口。这只是流程示例，不能作为所有产品的统一方案。

这些方式的概览可参考 Stream 内容审核指南。实际选择应结合受众、暴露范围和团队能够承担的复核工作量。

将免费 AI 检查加入审核工作流

Poyo 将多语言文本、单张 HTTPS 图片，以及图文组合纳入同一套任务流程。文本支持 13 个风险分类，图片支持性内容、暴力和自伤相关的 6 个分类。分类标记和分数为应用提供分流依据，帮助确定哪些内容可以按常规规则处理，哪些需要进一步查看。

可以对照分类概览，将每项检查对应到支持的输入类型。仅支持文本的分类不评估图片像素。如果规则依赖图片内文字、音频、视频或专项检测，应加入适当的独立处理步骤。图片覆盖范围和儿童安全处理说明见图片审核指南。

一套实用的顺序是：

1. 接收内容，记录内容 ID 和版本。
2. 按应用要求校验文本或上传文件。
3. 将支持的文本或图片提交给 Poyo，保存任务 ID。
4. 查询已完成结果，或接收完成回调。
5. 按规则发布、要求修改、拒绝，或分配审核人员。
6. 记录决定，并保留举报和申诉入口。

Poyo 的任务 ID 帮助团队将评估关联到正确的内容。完成回调可以触发现有应用或复核工具中的下一步动作。团队只需配置各类有效信号对应的业务处理方式，并将需要语境判断或升级处理的情况交给人工。

为小团队设计能够管理的复核队列

试点阶段，现有客服工具或后台可能已经足够。每个待审核项目应包含做决定所需的信息，避免审核人员花大量时间重新拼接上下文。

可以记录内容或受控查看入口、相关语境、需要判断的规则、模型信号、内容版本，以及本次决定需要参考的历史结果。再为项目设置负责人和状态，减少多人重复处理。

常见状态包括等待模型评估、等待人工复核、通过、拒绝和申诉中。技术失败应单独记录，因为“图片无法获取”不是内容违规结论。

按团队实际能力设置优先级。潜在严重威胁可能需要比普通商品图片更快升级处理。明确负责人、替补人员，以及两者都不在时的安排。

队列持续增长时，应先判断原因。可能是正常内容频繁被标记，也可能是规则含糊、任务重复，或出现尚未评估的新内容模式。不同原因需要不同处理，不能仅靠放宽规则消化队列。

保留上下文判断与申诉流程

自动信号不一定能够理解用户为什么发布一段内容。投诉中引用的辱骂、历史事件讨论和教育图片，都可能需要初次评估之外的语境。

审核人员做出决定时，应记录适用规则和理由。给用户的提示需要说明下一步，同时避免不必要地复述有害内容。

例如，“图片可能涉及我们的血腥内容规则，正在等待人工复核”描述的是内容待审；“暂时无法完成图片检查，重试期间上传保持私密”描述的是技术延迟。两种提示让用户形成不同且有用的预期。

对于允许质疑的决定，应提供申诉入口。复核人员需要看到原始内容版本、相关语境、原决定理由，以及用户新提供的解释。人员条件允许时，可以由另一位审核人员处理申诉。

改判之后，应同步修改内容的实际可见性和相关账户动作。只发送道歉通知，却不恢复应有状态，并没有修正真正的问题。

负面评价也不应仅仅因为措辞消极就被判违规。对于评价型产品，Bazaarvoice 的 UGC 审核讨论强调了保留真实负面反馈的价值。平台需要区分批评、辱骂和禁止公开的信息。

同时观察决策质量和团队工作量

从能够帮助发现具体问题的指标开始。提交量、已完成评估、处理失败和待复核数量描述工作量；审核等待时间与申诉结果描述用户体验。

评估分类和分流效果时，应为一组允许使用的样本标注平台预期决定。样本既要包含系统标记的内容，也要包含已经放行的内容。只看人工队列，无法发现系统漏过了多少问题。

下面完全是假设示例，不是 Poyo 或模型的测试成绩：

这组样本可以分别回答三个问题：

• 复核队列里有多少是真正的问题？ 被标记的 26 条中，18 条被人工认定违规，即 18 ÷ 26，约 69.2%。
• 实际违规内容抓到了多少？ 20 条违规内容中标记了 18 条，即 18 ÷ 20，为 90%。
• 正常内容有多大比例被误标？ 80 条允许内容中有 8 条被标记，即 8 ÷ 80，为 10%。

三个指标的分母不同，不能把它们合并成一个模糊的“准确率”。还应查看具体错误案例：可能需要澄清规则、调整阈值、增加其他检查，或补充上下文。

实际运行时，也要观察未解决申诉和最久等待的项目。完成数量很高，仍可能掩盖少量一直无人处理的内容。

将 Poyo 连接到现有复核工具

先在 Omni Moderation Playground 中测试用户常用的语言和图片风格。登录后运行代表性样本，即可查看分类结果，不需要编写代码或手动创建 API Key。

应用接入时，使用 Poyo API Key 调用 POST /api/generate/submit，指定 model: "omni-moderation-latest" 并填写支持的文本或图片字段。同一套 Poyo 凭证还可以访问平台支持的其他模型，便于在共用的平台接入中衔接生成和审核。

将返回的任务 ID 与内容版本一起保存。查询状态，或配置可选的 callback_url，让完成后的评估更新发布系统、客服工具或复核队列中的记录。应用负责定义分流规则，执行发布或分配审核人员的动作。

状态响应从 data.output.results 读取，省略外层包装的回调从 output.results 读取。finished 表示评估完成，flagged: true 标识潜在内容风险；failed 任务则进入独立的技术重试路径。

用户修改帖子或替换图片后，将其作为新版本重新评估。回调处理应允许重复执行，让重复通知更新同一条复核记录，同时避免旧结果覆盖较新的决定。

为审核记录设置访问权限和保留规则，并在提交真实业务数据之前了解适用服务条款。Poyo 文档说明请求格式，Webhook 指南说明回调接入方式。

常见问题

什么是用户生成内容审核？

用户生成内容审核是根据平台规则检查用户提交的帖子、评论、评价和照片等内容的过程。它包括识别潜在违规、决定如何处理，以及解决举报或申诉。

Poyo 如何帮助小型审核团队？

Poyo 为支持的文本和图片提供免费的初步评估，包含分类信号、任务追踪和可选完成回调。团队可以将结果用于现有工具中的内容分流，把人工精力集中到需要语境判断的情况。先选择一个内容入口，并制定团队能够一致执行的规则。

哪些审核步骤可以自动化？

应用可以自动提交内容、保存任务 ID、获取评估、处理回调和更新复核记录。使用自己的样本验证规则后，还可以自动执行明确的发布或分流动作。Poyo 提供评估结果与任务处理，团队负责配置业务规则、升级处理和申诉。

如何减少重复的人工查看？

为每个内容版本保留一条记录，关联 Poyo 任务 ID，并让回调处理允许重复执行，帮助应用避免产生重复复核项目。再用人工标注样本调整分类分流，检查正常内容进入队列的原因，同时持续检查漏判。在扩大自动化之前，先测量调整效果。

如何连接现有审核工具？

通过状态查询或完成回调，将分类结果传入应用的发布系统、客服工具或复核队列。在记录中加入内容 ID、版本、分类信号和适用规则。由接入程序处理人员分配和发布动作，团队可以继续使用熟悉的工具。

如何免费开始？

选择一个内容入口，明确对应规则，再在 Poyo Playground 中测试代表性文本或图片。试用无需编写代码或手动创建 API Key，Omni Moderation 调用每次收取零积分。分流规则验证后，再把 API 连接到现有流程，并单独规划存储与审核人员时间。

模型信号的解读可参考 AI 内容审核入门，免费调用之外的工作投入见费用说明。