Poyo предоставляет командам бесплатный доступ к модерации контента с помощью ИИ для текста, изображений и текста вместе с изображением. Вы можете попробовать omni-moderation-latest OpenAI в Playground, изучить флаги категорий и оценки и использовать ту же учётную запись Poyo, чтобы встроить модерацию в рабочий процесс вашей модели.
Для сообщества это может означать проверку публикации перед её размещением. Для продукта с изображениями — оценку загруженного изображения вместе с его подписью. Для ИИ-ассистента — проверку сообщения или сгенерированного ответа перед тем, как решить, как его представить.
Начните с нескольких репрезентативных примеров в Playground. Когда будете готовы к интеграции, Poyo предоставляет идентификатор задачи, отслеживание статуса и необязательный callback завершения, чтобы ваше приложение могло подключить результат к правилам публикации и проверки.
Что такое модерация контента с помощью ИИ
Модерация контента с помощью ИИ использует автоматическую классификацию, чтобы помочь командам оценивать пользовательские материалы на соответствие правилам их платформы. Она может выявлять потенциальные риски в тексте и изображениях, предоставляя проверяющим и приложениям согласованный набор сигналов для работы.
С Poyo эти сигналы включают общий флаг риска, отдельные флаги категорий, оценки уверенности и типы входных данных, используемые для каждой категории. Сайт для обсуждений может использовать их для выявления комментариев, требующих внимания, а продукт для работы с фотографиями — проверять изображения до их публикации в общедоступной галерее.
Ваш продукт может сопоставлять результат с такими действиями, как публикация, запрос на редактирование или передача на проверку человеком. Это даёт команде определённую отправную точку, сохраняя при этом контроль над собственными правилами.
Цель здесь — оценить контент на предмет потенциального вреда. Определение того, было ли написанное или изображение создано с помощью ИИ, — отдельная задача.
Что может выявлять Omni Moderation
Интеграция Poyo с Omni Moderation поддерживает многоязычный текст, одно изображение или текст вместе с одним изображением. Текст охватывает 13 категорий, а шесть категорий также поддерживают изображения. Это предоставляет командам единый набор полей для проверки комментариев, подписей и загруженных изображений.
| Группа риска | Категории ответа | Текст | Изображения |
|---|---|---|---|
| Преследование | harassment, harassment/threatening | Поддерживается | Только текст |
| Разжигание ненависти | hate, hate/threatening | Поддерживается | Только текст |
| Незаконные инструкции | illicit, illicit/violent | Поддерживается | Только текст |
| Причинение себе вреда | self-harm, self-harm/intent, self-harm/instructions | Поддерживается | Поддерживается |
| Сексуальный контент | sexual | Поддерживается | Поддерживается |
| Сексуальный контент с участием несовершеннолетних | sexual/minors | Поддерживается | Только текст |
| Насилие | violence, violence/graphic | Поддерживается | Поддерживается |
Используйте category_applied_input_types, чтобы узнать, какие входные данные охватывает каждый результат. Категории, отмеченные как «Только текст», применяются к предоставленному тексту; нулевая оценка для неподдерживаемой категории изображений означает, что для этого изображения она не оценивалась.
Вы можете дополнить эту проверку собственными правилами для маркетплейса или сообщества, например ограничениями на рекламу и проверками качества. Если рабочий процесс зависит от текста, встроенного в изображение, расшифровок аудио или выбранных кадров видео, подготовьте этот материал отдельно и отправьте поддерживаемый текст или изображение для оценки. Результат охватывает предоставленные входные данные.
Категория sexual/minors предназначена только для текста. Известные или предполагаемые материалы сексуального насилия над детьми нельзя отправлять в Moderation API OpenAI; в такой ситуации следуйте официальным рекомендациям по безопасности детей.
См. документацию Poyo Omni Moderation о форматах запросов и поддерживаемых полях.
Где модерация с помощью ИИ вписывается в ваш продукт
Лучшее место для внедрения модерации — конкретный момент, когда пользовательский контент становится видимым или поступает к другому человеку.
Для сообщества таким моментом может быть публикация комментария. Для сервиса обмена изображениями — добавление фотографии в общедоступную галерею. Для чат-бота — отображение ответа ассистента. В каждом случае решите, должны ли пользователи ждать результата или контент может отображаться, пока проверка продолжается.
| Ситуация продукта | Контент для оценки | Решение, которое необходимо определить |
|---|---|---|
| Форум для обсуждений | Публикация или комментарий | Опубликовать, запросить редактирование или отправить на проверку |
| Общедоступная галерея изображений | Изображение и его подпись | Показывать публично, ограничить видимость или отправить на проверку |
| ИИ-ассистент | Сообщение пользователя или сгенерированный ответ | Продолжить взаимодействие, проверить или применить политику ответов продукта |
| Маркетплейс | Описание и одно изображение товара | Разрешить размещение или запросить дополнительные проверки |
Личные сообщения также требуют обдуманного решения в отношении конфиденциальности. Определите, что именно проверяет ваш продукт, кто может видеть контент и что сообщается пользователям до внедрения рабочего процесса модерации.
Poyo объединяет оценку и отслеживание задач в одном рабочем процессе API. Подключите результат к существующим правилам публикации и инструментам проверяющих, чтобы каждая отправка проходила по определённому вами процессу.
Попробуйте бесплатную модерацию текста и изображений с Poyo
Начать можно со страницы модели Omni Moderation. Playground предлагает форму, примеры запросов и структурированные результаты. Войдите в систему, чтобы выполнить тест; вручную создавать или вставлять ключ API в Playground не нужно. Ключ API требуется, когда ваше собственное приложение обращается к API.
Начните с отправки текста
Войдите в систему, откройте Playground и введите текст, который хотите проверить, в поле Prompt. Здесь Prompt означает оцениваемый контент. Это не инструкция с просьбой к модели вести себя как модератор.
Сначала используйте короткий обычный пример, например:
Я планирую на выходных поход в парк с друзьями. Может кто-нибудь порекомендовать маршрут для начинающих?
Выберите Run, чтобы запросить новую оценку. Изначально на странице отображаются сохранённые примеры; изменение входных данных не заменяет результат примера автоматически. Дождитесь завершения нового запроса, прежде чем интерпретировать его вывод.
Изучите общий флаг риска, отдельные категории, оценки и применённые типы входных данных. Затем попробуйте несколько разрешённых примеров из вашего реального контента, включая языки и ситуации, с которыми ваш продукт регулярно сталкивается.
Добавьте изображение
Для оценки только изображения очистите поле текста и добавьте одно изображение в Image Urls, используя доступный ввод изображения. Вы также можете оставить подпись в Prompt, чтобы одновременно проверить текст и изображение.
На уровне API Poyo принимает один URL изображения по HTTPS. Элемент загрузки в Playground сначала загружает выбранный локальный файл, а затем передаёт его URL в запрос на проверку. Для нескольких изображений отправляйте отдельную задачу для каждого изображения и связывайте результаты с исходной публикацией.
Если вы используете собственный URL, он должен быть доступен сервису модерации. Ссылка, которая открывается только после входа в закрытую панель управления, не предоставит само изображение.
Переход от пробной проверки к интеграции
Когда примеры начнут приносить пользу, создайте ключ API Poyo и выполните интеграцию со своего сервера. Не храните ключ в общедоступном коде браузера.
Запрос текста и изображения имеет следующий вид:
{
"model": "omni-moderation-latest",
"input": {
"prompt": "A view from this morning's hike.",
"image_urls": [
"https://your-image-host.example/photo.jpg"
]
}
}
Замените пример URL на фактический доступный URL изображения по HTTPS. Запрос отправляется на POST https://api.poyo.ai/api/generate/submit с вашим ключом API Poyo. Он возвращает идентификатор задачи; получить завершённый результат можно через конечную точку статуса или настроив callback завершения. Это асинхронный рабочий процесс, поэтому получение идентификатора задачи не означает получение завершённой оценки.
Как читать результат
Здесь есть два отдельных вопроса: завершилась ли обработка и что обнаружила модель?
| Поле | Значение | Как использовать |
|---|---|---|
status | Ожидает ли задача выполнения, выполняется, завершена или завершилась с ошибкой | Определить, доступна ли оценка |
flagged | Отметила ли модель потенциальный риск | Начать проверку или принять решение о маршрутизации |
categories | Флаг true или false для каждой категории | Определить тип потенциального риска |
category_scores | Сигнал уверенности для каждой категории в диапазоне от 0 до 1 | Сравнивать случаи и оценивать правила на собственных примерах |
category_applied_input_types | Типы входных данных, к которым применяется результат категории | Проверить, учитывались ли текст, изображения или оба типа |
Для конечной точки статуса результаты по категориям находятся в data.output.results. Задача с status: "finished" и flagged: true успешно завершилась и выявила потенциальный риск. Завершившаяся с ошибкой задача не предоставила пригодной для использования завершённой оценки.
Оценку 0.8 не следует представлять как 80%-ную гарантию того, что контент нарушает вашу политику. Высокая оценка может указывать на высокую уверенность модели в принадлежности к категории, однако проверяющим по-прежнему необходимо учитывать контекст и ваши правила.
Например, аккаунт, описывающий жестокий инцидент, может вызвать срабатывание категории насилия, даже если этот аккаунт уместен для новостного обсуждения. Обычная на вид рекламная публикация может не получить флаг вредоносного контента и при этом нарушать правило сообщества о запрете рекламы. Оба примера показывают, почему выявление категорий и применение политики требуют отдельных решений.
Создавайте правила проверки на основе собственных примеров
Используйте Playground, чтобы создать небольшой набор для оценки с обычными отправками, явными нарушениями и случаями, требующими контекста. Включите распространённые для вас языки, стили изображений, подписи и цитируемый материал. Синтетические или надлежащим образом разрешённые примеры могут стать полезной отправной точкой.
Зафиксируйте решение, которого ваша команда ожидает для каждого элемента, а затем сравните его с сигналами категорий. Это поможет определить, какие отправки могут проходить стандартный путь, а какие должны поступать на проверку специалисту.
Также протестируйте полный рабочий процесс: для ожидающей задачи должно быть явно отображаемое состояние ожидания, при проблеме обработки должен существовать путь повторной попытки, а проверяющий должен иметь возможность исправить решение. Идентификатор задачи и поля статуса Poyo позволяют отслеживать этот процесс.
Выбирайте пороги для отдельных категорий на основе этих примеров и пересматривайте их при изменении характера вашего контента или базовой модели.
Часто задаваемые вопросы
Что такое модерация контента с помощью ИИ?
Модерация контента с помощью ИИ использует машинное обучение для оценки текста и изображений на предмет потенциально вредоносного контента. Она возвращает сигналы, которые помогают платформе применять свои правила, решать, что можно публиковать, и выявлять материалы, требующие проверки человеком.
Бесплатна ли модерация контента с помощью ИИ в Poyo?
Вызовы Omni Moderation в Poyo не расходуют кредиты для поддерживаемых текстовых и графических входных данных. Вы можете тестировать классификацию без добавления платы за каждую модерацию, а затем использовать ту же модель в своём приложении. Другие модели, хранилище и проверка человеком имеют собственную стоимость; руководство по бесплатной модерации объясняет, как их планировать.
Как попробовать это без написания кода?
Войдите в Poyo Playground, введите текст, добавьте одно изображение или объедините оба типа входных данных и выберите Run. После завершения изучите результаты категорий новой задачи. Playground обрабатывает аутентификацию, поэтому для примеров не нужно вручную создавать или вводить ключ API.
Какие результаты возвращает Poyo?
Завершённые оценки включают значение общего flagged, отдельные флаги категорий, оценки категорий и category_applied_input_types. Вместе эти поля показывают обнаруженные потенциальные риски и то, какие предоставленные типы входных данных были оценены. Используйте их для настройки правил проверки, а оценки интерпретируйте как сигналы модели, а не как гарантированные решения о нарушении политики.
Как подключить модерацию к существующему продукту?
Отправляйте поддерживаемый контент с помощью ключа API Poyo, сохраняйте идентификатор задачи вместе с версией контента и запрашивайте статус либо настраивайте callback завершения. Затем ваше приложение сможет подключить результат к публикации, запросу на внесение изменений или существующему инструменту проверки человеком. Начните с одной поверхности контента и протестируйте маршрутизацию, прежде чем добавлять другие.
Начните с Poyo Omni Moderation Playground и сравните его результаты с решениями вашей команды. Для более подробного рабочего процесса прочитайте руководство по модерации изображений, объяснение бесплатного доступа и стоимости или руководство по модерации пользовательского контента для небольших команд.