AIコンテンツモデレーション：テキストと画像を無料でレビューする方法

Poyoでは、テキスト、画像、テキストと画像の組み合わせを対象としたAIコンテンツモデレーションをチームが無料で利用できます。PlaygroundでOpenAIのomni-moderation-latestを試し、カテゴリーフラグとスコアを確認し、同じPoyoアカウントを使ってモデレーションをモデルワークフローに組み込めます。

コミュニティの場合、これは投稿前に投稿内容をチェックすることを意味します。画像プロダクトの場合は、キャプションとともにアップロードを評価することを意味します。AIアシスタントの場合は、メッセージや生成された返信を、どのように表示するかを決める前にレビューすることを意味します。

まずPlaygroundで、代表的な例をいくつか試してください。統合する準備ができたら、PoyoはタスクID、ステータス追跡、オプションの完了コールバックを提供するため、アプリケーションは結果を公開およびレビューのルールに接続できます。

AIコンテンツモデレーションとは

AIコンテンツモデレーションは、自動分類を使用して、ユーザーが送信したコンテンツをプラットフォームのルールに照らしてチームが評価できるようにします。テキストや画像に含まれる潜在的なリスクを特定し、レビュアーやアプリケーションが利用できる一貫したシグナルを提供します。

Poyoでは、これらのシグナルに総合的なリスクフラグ、個別のカテゴリーフラグ、信頼度スコア、各カテゴリーで使用された入力タイプが含まれます。ディスカッションサイトでは注意が必要なコメントの特定に利用でき、写真プロダクトでは画像が公開ギャラリーに入る前にレビューできます。

プロダクトでは、結果を公開、編集依頼、人によるレビューへの割り当てなどのアクションに対応付けることができます。これにより、チームは明確な出発点を持ちながら、独自のルールに対するコントロールを維持できます。

ここでの目的は、コンテンツが潜在的に有害かどうかを評価することです。文章や画像がAIによって生成されたものかどうかを判定することは、別のタスクです。

Omni Moderationで検出できる内容

PoyoのOmni Moderation統合は、多言語テキスト、1枚の画像、またはテキストと1枚の画像の組み合わせに対応しています。テキストは13のカテゴリーを対象とし、そのうち6つのカテゴリーは画像にも対応しています。これにより、チームはコメント、キャプション、アップロードされた画像をレビューするための共通フィールドを利用できます。

category_applied_input_typesを使用すると、各結果がどの入力を対象としているかを確認できます。「テキストのみ」と記載されたカテゴリーは、提供されたテキストに適用されます。未対応の画像カテゴリーでスコアが0の場合、その画像については評価されていないことを意味します。

広告規制や品質チェックなど、独自のマーケットプレイスやコミュニティのルールを追加して、このレビューを拡張できます。画像に埋め込まれたテキスト、音声の文字起こし、選択した動画フレームにワークフローが依存する場合は、その素材を別途準備し、対応しているテキストまたは画像を評価に提出してください。結果は、提供された入力を対象とします。

sexual/minorsカテゴリーはテキストのみです。既知または疑いのある児童性的虐待素材をOpenAIのModeration APIに送信してはなりません。そのような場合は、公式の児童安全ガイダンスに従ってください。

リクエスト形式と対応フィールドについては、Poyo Omni Moderationのドキュメントを参照してください。

AIモデレーションをプロダクトに組み込む場所

モデレーションを導入するのに最適な場所は、ユーザーコンテンツの公開範囲が変わる、または別の人に届く具体的なタイミングです。

コミュニティでは、そのタイミングはコメントの投稿かもしれません。画像共有サービスでは、写真を公開ギャラリーに追加する瞬間かもしれません。チャットボットでは、アシスタントのレスポンスを表示する瞬間かもしれません。いずれの場合も、ユーザーが結果を待つ必要があるのか、それともレビューを続けながらコンテンツを表示できるのかを決めてください。

プライベートメッセージについても、意図的なプライバシー上の判断が必要です。モデレーションワークフローを導入する前に、プロダクトが何をレビューするのか、誰がコンテンツを閲覧できるのか、ユーザーに何を伝えるのかを定義してください。

Poyoでは、評価とタスク追跡を1つのAPIワークフローにまとめられます。結果を既存の公開ルールやレビュアーツールに接続し、各送信内容が定義したプロセスに従うようにします。

Poyoでテキストと画像のモデレーションを無料で試す

Omni Moderationのモデルページから始められます。Playgroundにはフォーム、サンプルリクエスト、構造化された結果が用意されています。テストを実行するにはサインインしてください。PlaygroundでAPIキーを手動で作成したり貼り付けたりする必要はありません。自分のアプリケーションからAPIを呼び出す場合はAPIキーが必要です。

テキスト送信から始める

サインインしてPlaygroundを開き、レビューしたいテキストをPromptフィールドに入力します。ここでPromptは評価対象のコンテンツを意味します。モデルにモデレーターとして振る舞うよう求める指示ではありません。

まずは、次のような短く通常の例を使ってください。

今週末、友達と公園にハイキングに行く予定です。初心者向けでおすすめのルートはありますか？

新しい評価をリクエストするにはRunを選択します。ページには最初に記録済みの例が表示されます。入力を変更しても、例の結果が自動的に置き換わるわけではありません。新しいリクエストが完了してから、その出力を解釈してください。

総合的なリスクフラグ、個別のカテゴリー、スコア、適用された入力タイプを確認します。その後、実際のコンテンツから許可されている例をいくつか試し、プロダクトで日常的に扱う言語や状況も含めてください。

画像を追加する

画像のみを評価する場合は、テキストを消去し、利用可能な画像入力を使用してImage Urlsに1枚の画像を追加します。Promptにキャプションを残して、テキストと画像を一緒にレビューすることもできます。

APIレベルでは、Poyoは1つのHTTPS画像URLを受け付けます。Playgroundのアップロードコントロールでは、まず選択したローカルファイルをアップロードし、そのURLをレビューリクエストに提供します。複数の画像については、それぞれ別のタスクを送信し、結果を元の投稿に関連付けてください。

自分のURLを使用する場合は、モデレーションサービスからアクセスできる必要があります。非公開ダッシュボードにサインインした後にのみ開けるリンクでは、画像そのものを提供できません。

試用から統合へ移行する

例が有用になったら、Poyo APIキーを作成し、サーバーから統合します。キーを公開ブラウザコードに含めないでください。

テキストと画像のリクエストは次の形になります。

{
  "model": "omni-moderation-latest",
  "input": {
    "prompt": "A view from this morning's hike.",
    "image_urls": [
      "https://your-image-host.example/photo.jpg"
    ]
  }
}

サンプルURLを実際にアクセス可能なHTTPS画像に置き換えてください。リクエストはPoyo APIキーを使用してPOST https://api.poyo.ai/api/generate/submitに送信されます。タスクIDが返されるので、ステータスエンドポイントを通じて完了した結果を取得するか、完了コールバックを設定します。これは非同期ワークフローであるため、タスクIDを受け取ることと、完了した評価を受け取ることは同じではありません。

結果の読み方

ここでは2つの別々の問いがあります。処理は完了したのか、そしてモデルは何を検出したのか、です。

ステータスエンドポイントでは、カテゴリー結果はdata.output.resultsの下にあります。status: "finished"とflagged: trueを持つタスクは正常に完了し、潜在的なリスクを特定しました。失敗したタスクでは、利用可能な完了済み評価は提供されていません。

0.8というスコアを、コンテンツがポリシーに違反していることを80%保証するものとして提示してはいけません。高いスコアは、カテゴリーについてモデルの信頼度が高いことを示す場合がありますが、レビュアーは引き続き文脈と自分たちのルールを考慮する必要があります。

たとえば、暴力的な事件について説明するアカウントは、その内容がニュースに関する議論として適切であっても、暴力カテゴリーをトリガーする場合があります。通常に見えるプロモーション投稿には有害コンテンツのフラグが付かなくても、コミュニティの広告禁止ルールには違反する可能性があります。どちらの例も、カテゴリーの検出とポリシーの適用には別々の判断が必要であることを示しています。

独自の例からレビュールールを構築する

Playgroundを使って、通常の送信内容、明確な違反、文脈が必要なケースを含む小規模な評価セットを作成します。一般的に使用する言語、画像スタイル、キャプション、引用された素材を含めてください。合成例や適切に許可された例は、役立つ出発点になります。

各項目についてチームが期待する判断を記録し、それをカテゴリーシグナルと比較します。これにより、どの送信内容が通常の処理経路に進めるか、どの送信内容をレビュアーに届けるべきかを判断しやすくなります。

完全なワークフローもテストしてください。保留中のタスクには目に見える待機状態があり、処理上の問題には再試行経路があり、レビュアーは判断を修正できるようにします。PoyoのタスクIDとステータスフィールドにより、そのプロセスを追跡できます。

これらの例を使用してカテゴリーごとのしきい値を選択し、コンテンツのパターンや基盤モデルが変更された際には再評価してください。

よくある質問

AIコンテンツモデレーションとは？

AIコンテンツモデレーションは、機械学習を使用してテキストや画像を評価し、潜在的に有害なコンテンツを特定します。プラットフォームがルールを適用し、公開可能なものを判断し、人によるレビューが必要な送信内容を特定するためのシグナルを返します。

PoyoではAIコンテンツモデレーションを無料で利用できますか？

PoyoのOmni Moderation呼び出しは、対応するテキストおよび画像入力についてクレジットを消費しません。1回ごとのモデレーション料金を追加することなく分類をテストし、その後、同じモデルをアプリケーションで使用できます。その他のモデル、ストレージ、人によるレビューにはそれぞれ費用がかかります。無料モデレーションガイドでは、それらの計画方法を説明しています。

コードを書かずに試すにはどうすればよいですか？

Poyo Playgroundにサインインし、テキストを入力して1枚の画像を追加するか、両方を組み合わせて、Runを選択します。完了後、新しいタスクのカテゴリー結果を確認します。Playgroundが認証を処理するため、例を試すためにAPIキーを手動で作成または入力する必要はありません。

Poyoはどのような結果を返しますか？

完了した評価には、全体的なflagged値、個別のカテゴリーのフラグ、カテゴリーのスコア、category_applied_input_typesが含まれます。これらのフィールドを合わせることで、検出された潜在的なリスクと、提供されたどの入力タイプが評価されたかを確認できます。これらを使用してレビュールールを設定し、スコアは保証されたポリシー判断ではなく、モデルからのシグナルとして解釈してください。

モデレーションを既存のプロダクトに接続するにはどうすればよいですか？

Poyo APIキーを使用して対応コンテンツを送信し、コンテンツのバージョンとともにタスクIDを保存し、ステータスを照会するか完了コールバックを設定します。その後、アプリケーションで結果を公開、変更依頼、または既存の人によるレビューツールに接続できます。まず1つのコンテンツ領域から始め、さらに追加する前にルーティングをテストしてください。

Poyo Omni Moderation Playgroundから始め、結果をチームの判断と比較してください。より詳しいワークフローについては、画像モデレーションガイド、無料アクセスと費用の解説、または小規模チーム向けUGCモデレーションガイドをお読みください。