AI 콘텐츠 모더레이션: 텍스트와 이미지를 무료로 검토하는 방법

Poyo는 팀이 텍스트, 이미지 및 텍스트와 이미지를 함께 제공하는 입력에 대해 AI 콘텐츠 모더레이션을 무료로 이용할 수 있도록 합니다. Playground에서 OpenAI의 omni-moderation-latest을 사용해 보고, 카테고리 플래그와 점수를 확인하며, 동일한 Poyo 계정을 사용해 모델 워크플로에 모더레이션을 도입할 수 있습니다.

커뮤니티의 경우 게시물을 게시하기 전에 확인하는 것을 의미할 수 있습니다. 이미지 제품의 경우 캡션과 함께 업로드된 이미지를 평가하는 것을 의미할 수 있습니다. AI 어시스턴트의 경우 메시지나 생성된 답변을 검토한 후 어떻게 표시할지 결정하는 것을 의미할 수 있습니다.

Playground에서 대표적인 몇 가지 예시로 시작하세요. 통합할 준비가 되면 Poyo는 작업 ID, 상태 추적 및 선택적 완료 콜백을 제공하므로 애플리케이션이 결과를 게시 및 검토 규칙에 연결할 수 있습니다.

AI 콘텐츠 모더레이션이란 무엇인가

AI 콘텐츠 모더레이션은 자동화된 분류를 사용하여 팀이 사용자 제출물을 플랫폼의 규칙에 따라 평가할 수 있도록 지원합니다. 텍스트와 이미지에서 잠재적인 위험을 식별하여 검토자와 애플리케이션이 활용할 수 있는 일관된 신호를 제공합니다.

Poyo에서 이러한 신호에는 전체 위험 플래그, 개별 카테고리 플래그, 신뢰도 점수 및 각 카테고리에 사용된 입력 유형이 포함됩니다. 토론 사이트에서는 이를 사용해 주의가 필요한 댓글을 식별할 수 있고, 사진 제품에서는 공개 갤러리에 들어가기 전에 이미지를 검토할 수 있습니다.

제품에서는 결과를 게시, 수정 요청 또는 사람의 검토 할당과 같은 작업에 매핑할 수 있습니다. 이를 통해 팀은 명확한 출발점을 확보하면서도 자체 규칙에 대한 통제권을 유지할 수 있습니다.

여기서의 목적은 콘텐츠의 잠재적인 유해성을 평가하는 것입니다. 글이나 이미지가 AI로 생성되었는지를 판단하는 것은 별도의 작업입니다.

Omni Moderation은 무엇을 감지할 수 있는가

Poyo의 Omni Moderation 통합은 다국어 텍스트, 이미지 한 개 또는 텍스트와 이미지 한 개를 함께 지원합니다. 텍스트는 13개 카테고리를 다루며, 이 중 6개 카테고리는 이미지도 지원합니다. 이를 통해 팀은 댓글, 캡션 및 업로드된 사진을 검토할 때 공통된 필드 집합을 사용할 수 있습니다.

category_applied_input_types를 사용하면 각 결과가 어떤 입력을 다루는지 확인할 수 있습니다. 텍스트 전용으로 표시된 카테고리는 제공된 텍스트에만 적용됩니다. 지원되지 않는 이미지 카테고리에서 점수가 0이라는 것은 해당 이미지에 대해 평가되지 않았음을 의미합니다.

광고 제한 및 품질 검사와 같은 자체 마켓플레이스 또는 커뮤니티 규칙을 사용하여 이 검토를 확장할 수 있습니다. 워크플로가 이미지에 포함된 텍스트, 오디오 트랜스크립트 또는 선택된 비디오 프레임에 의존하는 경우 해당 자료를 별도로 준비하고 지원되는 텍스트 또는 이미지를 제출하여 평가하세요. 결과는 제공된 입력을 대상으로 합니다.

sexual/minors 카테고리는 텍스트만 지원합니다. 알려졌거나 의심되는 아동 성적 학대 자료는 OpenAI의 Moderation API에 제출해서는 안 됩니다. 이러한 상황에서는 공식 아동 안전 지침을 따르세요.

요청 형식과 지원되는 필드는 Poyo Omni Moderation 문서에서 확인하세요.

AI 모더레이션을 제품에 적용할 수 있는 위치

모더레이션을 도입하기에 가장 좋은 시점은 사용자 콘텐츠의 공개 여부가 변경되거나 다른 사람에게 전달되는 특정 순간입니다.

커뮤니티에서는 댓글을 게시하는 순간일 수 있습니다. 이미지 공유 서비스에서는 사진을 공개 갤러리에 추가하는 순간일 수 있습니다. 챗봇에서는 어시스턴트의 응답을 표시하는 순간일 수 있습니다. 각각의 경우 사용자가 결과를 기다려야 하는지, 아니면 검토가 계속되는 동안 콘텐츠를 표시할 수 있는지를 결정하세요.

비공개 메시지에도 신중한 개인정보 보호 결정이 필요합니다. 모더레이션 워크플로를 도입하기 전에 제품이 무엇을 검토하는지, 누가 콘텐츠를 볼 수 있는지, 사용자에게 무엇을 안내할지를 정의하세요.

Poyo는 하나의 API 워크플로에서 평가와 작업 추적을 제공합니다. 결과를 기존 게시 규칙 및 검토자 도구에 연결하여 각 제출물이 정의한 프로세스를 따르도록 하세요.

Poyo로 텍스트 및 이미지 모더레이션을 무료로 사용해 보기

Omni Moderation 모델 페이지에서 시작할 수 있습니다. Playground는 양식, 예시 요청 및 구조화된 결과를 제공합니다. 테스트를 실행하려면 로그인하세요. Playground에서 API 키를 직접 생성하거나 붙여넣을 필요는 없습니다. 자체 애플리케이션에서 API를 호출할 때는 API 키가 필요합니다.

텍스트 제출부터 시작하기

로그인하고 Playground를 연 다음, Prompt 필드에 검토할 텍스트를 입력하세요. 여기서 Prompt는 평가 대상 콘텐츠를 의미합니다. 모델에게 콘텐츠 검토자처럼 행동하라고 지시하는 명령이 아닙니다.

먼저 다음과 같은 짧고 일반적인 예시를 사용해 보세요:

이번 주말에 친구들과 공원으로 하이킹을 갈 계획이에요. 초보자에게 적합한 추천 코스가 있나요?

새로운 평가를 요청하려면 Run을 선택하세요. 페이지에는 처음에 기록된 예시가 표시됩니다. 입력을 변경한다고 해서 예시 결과가 자동으로 교체되지는 않습니다. 출력 결과를 해석하기 전에 새 요청이 완료될 때까지 기다리세요.

전체 위험 플래그, 개별 카테고리, 점수 및 적용된 입력 유형을 확인하세요. 그런 다음 실제 콘텐츠에서 허용되는 몇 가지 예시를 사용해 보세요. 여기에는 제품에서 정기적으로 접하는 언어와 상황도 포함하세요.

이미지 추가하기

이미지만 평가하려면 텍스트를 지우고 사용 가능한 이미지 입력을 사용하여 Image Urls에 이미지 한 개를 추가하세요. Prompt에 캡션을 유지하여 텍스트와 이미지를 함께 검토할 수도 있습니다.

API 수준에서 Poyo는 하나의 HTTPS 이미지 URL을 허용합니다. Playground의 업로드 컨트롤은 먼저 선택한 로컬 파일을 업로드한 다음 해당 URL을 검토 요청에 제공합니다. 여러 이미지를 처리하려면 각각 별도의 작업을 제출하고 결과를 원래 게시물과 연결하세요.

자체 URL을 사용하는 경우 해당 URL은 모더레이션 서비스에서 액세스할 수 있어야 합니다. 비공개 대시보드에 로그인한 후에만 열리는 링크로는 이미지 자체를 제공할 수 없습니다.

테스트에서 통합으로 전환하기

예시가 유용하다고 판단되면 Poyo API 키를 생성하고 서버에서 통합하세요. 키가 공개 브라우저 코드에 노출되지 않도록 하세요.

텍스트와 이미지 요청은 다음과 같은 형태입니다:

{
  "model": "omni-moderation-latest",
  "input": {
    "prompt": "A view from this morning's hike.",
    "image_urls": [
      "https://your-image-host.example/photo.jpg"
    ]
  }
}

예시 URL을 실제로 액세스 가능한 HTTPS 이미지로 교체하세요. 요청은 Poyo API 키와 함께 POST https://api.poyo.ai/api/generate/submit로 전송됩니다. 요청은 작업 ID를 반환하며, 상태 엔드포인트를 통해 완료된 결과를 가져오거나 완료 콜백을 구성할 수 있습니다. 이는 비동기 워크플로이므로 작업 ID를 받는 것과 완료된 평가를 받는 것은 동일하지 않습니다.

결과를 읽는 방법

두 가지 별개의 질문이 있습니다. 처리가 완료되었는가, 그리고 모델은 무엇을 감지했는가?

상태 엔드포인트에서는 카테고리 결과가 data.output.results 아래에 있습니다. status: "finished" 및 flagged: true인 작업은 성공적으로 완료되었으며 잠재적 위험을 식별했습니다. 실패한 작업은 사용할 수 있는 완료된 평가를 제공하지 않습니다.

0.8이라는 점수를 콘텐츠가 정책을 위반한다는 80%의 보증으로 제시해서는 안 됩니다. 높은 점수는 해당 카테고리에 대한 모델의 높은 신뢰도를 나타낼 수 있지만, 검토자는 여전히 맥락과 자체 규칙을 고려해야 합니다.

예를 들어 폭력적인 사건을 설명하는 계정은 해당 계정이 뉴스 토론에 적절한 경우에도 폭력 카테고리를 트리거할 수 있습니다. 일반적으로 보이는 홍보 게시물은 유해 콘텐츠 플래그를 받지 않을 수 있지만 여전히 커뮤니티의 광고 금지 규칙을 위반할 수 있습니다. 두 사례 모두 카테고리 감지와 정책 집행에는 별도의 결정이 필요하다는 점을 보여줍니다.

자체 예시를 바탕으로 검토 규칙 구축하기

Playground를 사용하여 일반적인 제출물, 명백한 위반 사례 및 맥락이 필요한 사례를 포함한 소규모 평가 세트를 구축하세요. 자주 사용하는 언어, 이미지 스타일, 캡션 및 인용된 자료를 포함하세요. 합성 예시 또는 적절하게 허용된 예시는 유용한 출발점이 됩니다.

각 항목에 대해 팀에서 기대하는 결정을 기록한 다음 카테고리 신호와 비교하세요. 이를 통해 어떤 제출물이 일상적인 경로를 따를 수 있고 어떤 제출물이 검토자에게 전달되어야 하는지 결정하는 데 도움이 됩니다.

전체 워크플로도 테스트하세요. 대기 중인 작업에는 눈에 보이는 대기 상태가 있어야 하고, 처리 문제에는 재시도 경로가 있어야 하며, 검토자가 결정을 수정할 수 있어야 합니다. Poyo의 작업 ID와 상태 필드를 사용하면 이 프로세스를 추적할 수 있습니다.

이러한 예시를 사용하여 카테고리별 임계값을 선택하고, 콘텐츠 패턴이나 기반 모델이 변경되면 다시 평가하세요.

자주 묻는 질문

AI 콘텐츠 모더레이션이란 무엇인가요?

AI 콘텐츠 모더레이션은 머신러닝을 사용하여 텍스트와 이미지에서 잠재적으로 유해한 콘텐츠를 평가합니다. 플랫폼이 규칙을 적용하고, 게시할 수 있는 콘텐츠를 결정하며, 사람의 검토가 필요한 제출물을 식별하는 데 도움이 되는 신호를 반환합니다.

Poyo에서 AI 콘텐츠 모더레이션은 무료인가요?

Poyo의 Omni Moderation 호출은 지원되는 텍스트 및 이미지 입력에 대해 크레딧을 차감하지 않습니다. 모더레이션 호출당 별도 요금을 추가하지 않고 분류를 테스트한 다음 동일한 모델을 애플리케이션에서 사용할 수 있습니다. 다른 모델, 스토리지 및 사람의 검토에는 각각 별도의 비용이 있습니다. 이를 계획하는 방법은 무료 모더레이션 가이드에서 설명합니다.

코드를 작성하지 않고 어떻게 사용해 볼 수 있나요?

Poyo Playground에 로그인하고 텍스트를 입력하거나 이미지 한 개를 추가하거나 둘을 결합한 다음 Run을 선택하세요. 작업이 완료된 후 새 작업의 카테고리 결과를 확인하세요. Playground가 인증을 처리하므로 예시를 사용해 보기 위해 API 키를 직접 생성하거나 입력할 필요가 없습니다.

Poyo는 어떤 결과를 반환하나요?

완료된 평가에는 전체 flagged 값, 개별 카테고리 플래그, 카테고리 점수 및 category_applied_input_types이 포함됩니다. 이러한 필드를 함께 사용하면 감지된 잠재적 위험과 평가된 제공 입력 유형을 확인할 수 있습니다. 이를 사용하여 검토 규칙을 구성하고, 점수는 보장된 정책 결정이 아니라 모델의 신호로 해석하세요.

모더레이션을 기존 제품에 어떻게 연결하나요?

Poyo API 키를 사용하여 지원되는 콘텐츠를 제출하고, 콘텐츠 버전과 함께 작업 ID를 저장한 다음 상태를 조회하거나 완료 콜백을 구성하세요. 그러면 애플리케이션이 결과를 게시, 변경 요청 또는 기존 사람 검토 도구에 연결할 수 있습니다. 하나의 콘텐츠 영역에서 시작하여 라우팅을 테스트한 후 더 많은 영역을 추가하세요.

Poyo Omni Moderation Playground에서 시작하여 결과를 팀의 결정과 비교해 보세요. 더 심층적인 워크플로는 이미지 모더레이션 가이드, 무료 이용 및 비용 설명 또는 소규모 팀을 위한 UGC 모더레이션 가이드를 읽어보세요.