Poyo zapewnia zespołom darmowy dostęp do moderacji treści AI dla tekstu, obrazów oraz tekstu z obrazem. Na stronie Playground możesz wypróbować model omni-moderation-latest od OpenAI, przejrzeć flagi kategorii i wyniki punktowe, a potem użyć tego samego konta Poyo, aby włączyć moderację do swojego workflow z modelami.
W społeczności może to oznaczać sprawdzenie wpisu przed publikacją. W produkcie z obrazami może to być ocena przesłanego zdjęcia razem z jego podpisem. W asystencie AI może to być przejrzenie wiadomości lub wygenerowanej odpowiedzi, zanim zdecydujesz, jak ją pokazać.
Zacznij od kilku reprezentatywnych przykładów na stronie Playground. Gdy będziesz chcieć zintegrować moderację, Poyo udostępnia identyfikator zadania (task ID), śledzenie statusu i opcjonalny callback po zakończeniu, dzięki czemu twoja aplikacja może powiązać wynik ze swoimi regułami publikacji i przeglądu.
Nazwy przycisków i pól odpowiadają polskiemu interfejsowi. Pola modeli, takie jak Image Urls, zachowują jednak angielską nazwę.
Czym jest moderacja treści AI
Moderacja treści AI wykorzystuje automatyczną klasyfikację, aby pomóc zespołom oceniać zgłoszenia użytkowników pod kątem zasad platformy. Może wskazywać potencjalne zagrożenia w tekście i obrazach, dając recenzentom i aplikacjom spójny zestaw sygnałów do pracy.
W Poyo te sygnały obejmują ogólną flagę ryzyka, flagi poszczególnych kategorii, wyniki punktowe pewności oraz typy wejść wykorzystane dla każdej kategorii. Serwis dyskusyjny może dzięki nim wskazywać komentarze wymagające uwagi, a produkt fotograficzny może sprawdzać obrazy, zanim trafią do publicznej galerii.
Twój produkt może przypisać wynik do działań takich jak publikacja, prośba o edycję albo przekazanie do przeglądu przez człowieka. Daje to zespołowi jasny punkt wyjścia, a jednocześnie zostawia mu kontrolę nad własnymi zasadami.
Celem jest tu ocena treści pod kątem potencjalnej szkody. Ustalenie, czy tekst lub obraz został wygenerowany przez AI, to osobne zadanie.
Co potrafi wykrywać Omni Moderation
Integracja Omni Moderation w Poyo obsługuje tekst w wielu językach, jeden obraz albo tekst razem z jednym obrazem. Tekst obejmuje 13 kategorii, a sześć kategorii obsługuje także obrazy. Daje to zespołom wspólny zestaw pól do przeglądania komentarzy, podpisów i przesłanych zdjęć.
| Grupa ryzyka | Kategorie w odpowiedzi | Tekst | Obrazy |
|---|---|---|---|
| Nękanie | harassment, harassment/threatening | Obsługiwane | Tylko tekst |
| Nienawiść | hate, hate/threatening | Obsługiwane | Tylko tekst |
| Instrukcje dotyczące nielegalnych działań | illicit, illicit/violent | Obsługiwane | Tylko tekst |
| Samookaleczenie | self-harm, self-harm/intent, self-harm/instructions | Obsługiwane | Obsługiwane |
| Treści seksualne | sexual | Obsługiwane | Obsługiwane |
| Treści seksualne z udziałem nieletnich | sexual/minors | Obsługiwane | Tylko tekst |
| Przemoc | violence, violence/graphic | Obsługiwane | Obsługiwane |
Użyj category_applied_input_types, aby sprawdzić, jakich wejść dotyczy każdy wynik. Kategorie oznaczone jako „Tylko tekst” dotyczą dostarczonego tekstu; zerowy wynik w kategorii nieobsługiwanej dla obrazów oznacza, że obraz nie był w niej oceniany.
Ten przegląd możesz rozszerzyć o własne reguły platformy handlowej lub społeczności, takie jak ograniczenia reklamowe i kontrole jakości. Gdy workflow zależy od tekstu osadzonego w obrazie, transkrypcji audio albo wybranych klatek wideo, przygotuj ten materiał osobno i prześlij do oceny obsługiwany tekst lub obraz. Wynik dotyczy dostarczonych wejść.
Kategoria sexual/minors dotyczy wyłącznie tekstu. Znanych lub podejrzewanych materiałów przedstawiających seksualne wykorzystywanie dzieci nie wolno przesyłać do Moderation API od OpenAI; w takiej sytuacji postępuj zgodnie z oficjalnymi wytycznymi dotyczącymi bezpieczeństwa dzieci.
Formaty żądań i obsługiwane pola znajdziesz w dokumentacji Poyo Omni Moderation.
Gdzie moderacja AI pasuje w twoim produkcie
Najlepsze miejsce na wprowadzenie moderacji to konkretny moment, w którym treść użytkownika zmienia widoczność lub trafia do innej osoby.
W społeczności tym momentem może być dodanie komentarza. W serwisie do udostępniania obrazów może to być dodanie zdjęcia do publicznej galerii. W chatbocie może to być wyświetlenie odpowiedzi asystenta. W każdym przypadku zdecyduj, czy użytkownicy muszą poczekać na wynik, czy treść może się pojawić, gdy przegląd trwa.
| Sytuacja w produkcie | Treść do oceny | Decyzja do zdefiniowania |
|---|---|---|
| Forum dyskusyjne | Post lub komentarz | Opublikować, poprosić o edycję albo wstrzymać do przeglądu |
| Publiczna galeria obrazów | Obraz i jego podpis | Pokazać publicznie, ograniczyć widoczność albo wstrzymać |
| Asystent AI | Wiadomość użytkownika lub wygenerowana odpowiedź | Kontynuować interakcję, przejrzeć albo zastosować politykę odpowiedzi produktu |
| Platforma sprzedażowa | Opis i jedno zdjęcie produktu | Zatwierdzić ofertę albo poprosić o dalsze kontrole |
Wiadomości prywatne wymagają także świadomej decyzji dotyczącej prywatności. Zanim wprowadzisz moderację, określ, co twój produkt przegląda, kto może zobaczyć treść i co mówisz o tym użytkownikom.
Poyo łączy ocenę i śledzenie zadań w jednym workflow API. Połącz wynik z istniejącymi regułami publikacji i narzędziami recenzentów, aby każde zgłoszenie przechodziło proces, który sam zdefiniujesz.
Wypróbuj darmową moderację tekstu i obrazów z Poyo
Możesz zacząć na stronie modelu Omni Moderation. Playground oferuje formularz, przykładowe żądania i uporządkowane wyniki. Zaloguj się, aby uruchomić test; nie musisz ręcznie tworzyć ani wklejać klucza API na stronie Playground. Klucz API jest potrzebny, gdy twoja własna aplikacja wywołuje API.
Zacznij od zgłoszenia tekstowego
Zaloguj się, otwórz Playground i wpisz tekst, który chcesz przejrzeć, w polu Prompt. W tym miejscu Prompt oznacza treść poddawaną ocenie. To nie jest instrukcja, która prosi model, by zachowywał się jak moderator.
Najpierw użyj krótkiego, zwyczajnego przykładu, na przykład:
I'm planning a hike in the park with friends this weekend. Does anyone have a beginner-friendly route to recommend?
Wybierz Uruchom, aby zażądać nowej oceny. Strona początkowo pokazuje zapisane przykłady; zmiana wejścia nie zastępuje automatycznie przykładowego wyniku. Zanim zinterpretujesz rezultat, poczekaj, aż twoje nowe żądanie się zakończy.
Przeczytaj ogólną flagę ryzyka, poszczególne kategorie, wyniki punktowe i zastosowane typy wejść. Potem wypróbuj kilka dozwolonych przykładów z twoich rzeczywistych treści, w tym języki i sytuacje, z którymi twój produkt regularnie się styka.
Dodaj obraz
Aby ocenić sam obraz, wyczyść tekst i dodaj jeden obraz w polu Image Urls, korzystając z dostępnego wejścia obrazu. Możesz też zostawić podpis w polu Prompt, aby przejrzeć razem tekst i obraz.
Na poziomie API Poyo przyjmuje jeden adres URL obrazu w HTTPS. Kontrolka przesyłania na stronie Playground najpierw przesyła wybrany lokalny plik, a potem przekazuje jego adres URL do żądania przeglądu. Dla kilku obrazów wyślij osobne zadanie dla każdego z nich i powiąż wyniki z oryginalnym wpisem.
Jeśli używasz własnego adresu URL, musi być on dostępny dla usługi moderacji. Link, który otwiera się dopiero po zalogowaniu do prywatnego panelu, nie dostarczy samego obrazu.
Przejdź od testu do integracji
Gdy przykłady okażą się przydatne, utwórz klucz API Poyo i zintegruj moderację na swoim serwerze. Nie umieszczaj klucza w publicznym kodzie przeglądarki.
Żądanie z tekstem i obrazem ma taki kształt:
{
"model": "omni-moderation-latest",
"input": {
"prompt": "A view from this morning's hike.",
"image_urls": [
"https://your-image-host.example/photo.jpg"
]
}
}
Zastąp przykładowy adres URL prawdziwym, dostępnym obrazem w HTTPS. Żądanie trafia na POST https://api.poyo.ai/api/generate/submit z twoim kluczem API Poyo. Zwraca identyfikator zadania; ukończony wynik pobierzesz przez endpoint statusu albo skonfigurujesz callback po zakończeniu. To asynchroniczny workflow, więc otrzymanie identyfikatora zadania nie jest tym samym, co otrzymanie gotowej oceny.
Jak odczytać wynik
Są dwa osobne pytania: czy przetwarzanie się zakończyło i co wykrył model?
| Pole | Znaczenie | Jak z niego korzystać |
|---|---|---|
status | Czy zadanie oczekuje, jest w toku, zakończyło się, czy nie powiodło się | Zdecyduj, czy ocena jest dostępna |
flagged | Czy model oznaczył potencjalne ryzyko | Rozpocznij przegląd lub decyzję o kierowaniu zgłoszenia |
categories | Flaga prawda lub fałsz dla każdej kategorii | Określ rodzaj potencjalnego ryzyka |
category_scores | Sygnał pewności dla każdej kategorii, między 0 a 1 | Porównuj przypadki i oceniaj reguły na własnych przykładach |
category_applied_input_types | Typy wejść, których dotyczy wynik kategorii | Sprawdź, czy wpłynął na niego tekst, obrazy czy jedno i drugie |
W endpoincie statusu wyniki kategorii znajdują się w data.output.results. Zadanie z status: "finished" i flagged: true zakończyło się pomyślnie i wskazało potencjalne ryzyko. Zadanie zakończone niepowodzeniem nie dostarczyło użytecznej, ukończonej oceny.
Wyniku 0,8 nie należy przedstawiać jako 80-procentowej gwarancji, że treść narusza twoją politykę. Wysoki wynik może wskazywać na dużą pewność modelu w danej kategorii, ale twoi recenzenci nadal muszą uwzględnić kontekst i twoje zasady.
Na przykład relacja opisująca incydent z użyciem przemocy może uruchomić kategorię przemocy, nawet jeśli nadaje się do dyskusji o wiadomościach. Zwyczajnie wyglądający wpis promocyjny może nie dostać flagi szkodliwych treści i mimo to naruszać zakaz reklam w danej społeczności. Oba przykłady pokazują, dlaczego wykrywanie kategorii i egzekwowanie polityki wymagają osobnych decyzji.
Zbuduj reguły przeglądu na własnych przykładach
Na stronie Playground zbuduj mały zestaw ewaluacyjny ze zwykłymi zgłoszeniami, wyraźnymi naruszeniami i przypadkami wymagającymi kontekstu. Uwzględnij swoje najczęstsze języki, style obrazów, podpisy i cytowane materiały. Przykłady syntetyczne lub odpowiednio dozwolone to dobry punkt wyjścia.
Zapisz decyzję, jakiej twój zespół oczekuje dla każdego elementu, a potem porównaj ją z sygnałami kategorii. Pomoże ci to wybrać, które zgłoszenia mogą iść zwykłą ścieżką, a które powinny trafić do recenzenta.
Przetestuj też cały workflow: oczekujące zadanie powinno mieć widoczny stan oczekiwania, problem z przetwarzaniem powinien mieć ścieżkę ponowienia, a recenzent powinien móc poprawić decyzję. Identyfikator zadania i pola statusu w Poyo pozwalają śledzić ten proces.
Wybierz progi dla poszczególnych kategorii na podstawie tych przykładów i oceń je ponownie, gdy zmienią się wzorce twoich treści lub model bazowy.
Najczęstsze pytania
Czym jest moderacja treści AI?
Moderacja treści AI wykorzystuje uczenie maszynowe do oceny tekstu i obrazów pod kątem potencjalnie szkodliwych treści. Zwraca sygnały, które pomagają platformie stosować jej zasady, decydować, co można opublikować, i wskazywać zgłoszenia wymagające przeglądu przez człowieka.
Czy moderacja treści AI jest darmowa w Poyo?
Wywołania Omni Moderation w Poyo kosztują zero kredytów dla obsługiwanych wejść tekstowych i obrazowych. Możesz testować klasyfikację bez dodatkowej opłaty za każde wywołanie moderacji, a potem użyć tego samego modelu w swojej aplikacji. Inne modele, przechowywanie i przegląd przez człowieka mają własne koszty; przewodnik po darmowej moderacji wyjaśnia, jak je zaplanować.
Jak wypróbować to bez pisania kodu?
Zaloguj się i otwórz Poyo Playground, wpisz tekst, dodaj jeden obraz albo połącz jedno z drugim, a potem wybierz Uruchom. Po zakończeniu zadania sprawdź wyniki kategorii. Playground obsługuje uwierzytelnianie, więc nie musisz ręcznie tworzyć ani wpisywać klucza API, aby wypróbować przykłady.
Jakie wyniki zwraca Poyo?
Ukończone oceny zawierają ogólną wartość flagged, flagi poszczególnych kategorii, wyniki punktowe kategorii i category_applied_input_types. Razem te pola pokazują wykryte potencjalne ryzyka i to, które z dostarczonych typów wejść zostały ocenione. Użyj ich do skonfigurowania reguł przeglądu, a wyniki punktowe traktuj jako sygnały modelu, a nie gwarantowane decyzje dotyczące polityki.
Jak połączyć moderację z moim istniejącym produktem?
Wyślij obsługiwane treści z użyciem klucza API Poyo, zapisz identyfikator zadania razem z wersją treści i odpytuj o status albo skonfiguruj callback po zakończeniu. Twoja aplikacja może wtedy powiązać wynik z publikacją, prośbą o zmiany lub istniejącym narzędziem do przeglądu przez człowieka. Zacznij od jednej powierzchni treści i przetestuj kierowanie, zanim dodasz kolejne.
Zacznij od Poyo Omni Moderation Playground i porównaj jego wyniki z decyzjami swojego zespołu. Aby poznać bardziej rozbudowany workflow, przeczytaj przewodnik po moderacji obrazów, wyjaśnienie darmowego dostępu i kosztów albo przewodnik po moderacji UGC w małych zespołach.