Darmowe API do moderacji obrazów od Poyo pomaga ocenić zdjęcia profilowe, obrazy ze społeczności i pliki produktowe, zanim zdecydujesz, jak je opublikować. Dzięki Omni Moderation możesz sprawdzić sam obraz albo dodać do tego samego żądania jego podpis.
Zacznij w Playground, aby zobaczyć flagi kategorii i wyniki dla własnych przykładów. Następnie wykorzystaj śledzenie zadań w Poyo i opcjonalny callback po zakończeniu, aby połączyć te wyniki z regułami publikacji i narzędziami do przeglądu w swojej aplikacji.
Ten przewodnik wyjaśnia, jakie kategorie obrazów są obsługiwane, jak przygotować przesłany plik i jak zbudować czytelną ścieżkę od przesłania do publikacji lub dalszego przeglądu. Proces możesz najpierw wdrożyć w jednym miejscu, w którym użytkownicy przesyłają pliki, a potem rozszerzać go wraz z nabywanym doświadczeniem zespołu.
Co moderacja obrazów powinna dawać twojemu produktowi
Zacznij od miejsca, w którym pojawiają się obrazy, i od tego, kto je zobaczy.
Awatar może być widoczny obok każdego komentarza. Zdjęcie ze społeczności może trafić do publicznego feedu. Zdjęcie produktu może znaleźć się przy ofercie, która wymaga kontroli wykraczających poza bezpieczeństwo wizualne. Każde z tych miejsc może wymagać innych reguł i innego stopnia ostrożności przed publikacją.
Przykładowo produkt może zaakceptować niedrastyczne zdjęcie historyczne w dyskusji, ale odrzucić je jako zdjęcie profilowe. Sam obraz się nie zmienił; zmieniło się jego miejsce i reguły produktu.
Zapisz, co ma się dziać w trzech przypadkach: obraz spełnia reguły, jego znaczenie jest niejasne albo wyraźnie łamie regułę. Zdefiniuj też czwarty przypadek: ocena jest niedostępna. Błąd przetwarzania nie powinien być po cichu traktowany jak akceptacja.
Co Omni Moderation sprawdza na obrazach
Poyo daje ci bezpłatny (zero kredytów) dostęp do sześciu kategorii ryzyka dla obrazów, obejmujących treści seksualne, przemoc i samookaleczenia. Każde żądanie przyjmuje jeden adres URL obrazu w HTTPS; dodaj podpis, aby ocenić dostarczony tekst razem ze zdjęciem.
| Kategoria | Czego dotyczy sygnał |
|---|---|
sexual | Treści seksualne |
violence | Przemoc |
violence/graphic | Drastyczna przemoc |
self-harm | Treści o samookaleczeniu |
self-harm/intent | Oznaki zamiaru samookaleczenia |
self-harm/instructions | Instrukcje dotyczące samookaleczenia |
Użyj category_applied_input_types, aby sprawdzić, czy wynik dotyczy obrazu, dostarczonego tekstu, czy obu naraz. Dane tekstowe obsługują 13 kategorii, w tym mowę nienawiści, nękanie, instrukcje dotyczące nielegalnych działań i sexual/minors. Te kategorie dotyczą wyłącznie tekstu: oceniają dostarczony tekst i nie są sprawdzeniami obrazu. W żądaniu zawierającym tylko obraz zerowy wynik i pusta lista typów danych wejściowych przy nieobsługiwanej kategorii oznaczają, że nie została oceniona.
Jeśli twoje reguły zależą od słów umieszczonych na obrazie, dodaj odpowiedni krok wyodrębniania tekstu i sprawdź wyodrębniony tekst. Jakość produktu, znaki wodne, dane osobowe i reguły dotyczące zakazanych przedmiotów też wymagają osobnych kontroli. Wideo i animowane pliki wymagają oddzielnego workflow wyboru klatek, a audio osobnego przetwarzania; przegląd wybranych klatek nie jest oceną całego wideo ani jego ścieżki dźwiękowej.
Omni Moderation nie jest dedykowanym detektorem CSAM, a sexual/minors obsługuje wyłącznie tekst. Nie wysyłaj do Moderation API od OpenAI znanych ani podejrzewanych materiałów CSAM; postępuj zgodnie z oficjalnymi wytycznymi dotyczącymi bezpieczeństwa dzieci.
Dokumentacja API Poyo opisuje obsługiwane dane wejściowe i pola odpowiedzi. Na tej podstawie wybierz sprawdzenia dla każdego miejsca, w którym użytkownicy przesyłają pliki.
Przygotuj plik, zanim poprosisz o ocenę
Twoja aplikacja potrzebuje zasobu obrazu, który usługa moderacji może pobrać. Nazwa pliku, taka jak photo.jpg na urządzeniu użytkownika, nie wystarczy, a strona internetowa wyświetlająca obraz niekoniecznie jest adresem URL samego obrazu.
Dopóki trwa ocena, trzymaj nowe pliki poza publicznymi feedami. Ten obszar tymczasowy może być częścią twojego istniejącego systemu przechowywania. Zastosuj kontrolę dostępu i wybierz obsługiwaną metodę dostarczania, która pozwala usłudze pobrać konkretny plik bez udostępniania całego konta magazynu.
Jeśli ta metoda wykorzystuje tymczasowy adres URL w HTTPS, zapewnij dość czasu na przetwarzanie w kolejce i ponowne próby. Nie umieszczaj w adresie URL poświadczeń sesji i unikaj zapisywania prywatnych linków do obrazów w ogólnie dostępnych logach.
Zanim wyślesz plik do oceny treści, zweryfikuj go. Sprawdź, czy to oczekiwany typ pliku, który można zdekodować, i zastosuj limity rozmiaru pliku oraz wymiarów obrazu odpowiednie dla twojej aplikacji i dostawcy. To są kontrole przesyłania; wynik moderacji nie potwierdza technicznego bezpieczeństwa pliku.
Zapisz stabilny identyfikator treści i jej wersję. Powiąż ID zadania z tą wersją, aby wynik nie mógł przypadkowo zatwierdzić obrazu, który użytkownik zastąpił w trakcie oceny.
Praktyczny workflow od przesłania do publikacji
Prosty proces może działać bez dużego zespołu moderatorów, o ile etapy i odpowiedzialności są jasno określone.
| Etap | Co się dzieje | Co widzi użytkownik |
|---|---|---|
| Przesłano | Zapisz plik i przypisz mu wersję treści | Plik odebrany |
| Oczekuje na ocenę | Wyślij obraz i zapisz ID zadania | Czeka na sprawdzenie |
| Ocena zakończona | Odczytaj status zadania, obsługiwane kategorie i wyniki | Sprawdzanie trwa do czasu podjęcia decyzji produktowej |
| Zatwierdzono | Zastosuj reguły produktu i spraw, by obraz był widoczny | Opublikowano |
| Przegląd przez człowieka | Wstrzymaj obraz i przypisz recenzenta | Czeka na decyzję |
| Odrzucono lub nie udało się przetworzyć | Wyjaśnij regułę lub problem techniczny i zaproponuj odpowiedni kolejny krok | Powód, by edytować, spróbować ponownie lub się odwołać |
Poyo dostarcza ocenę kategorii i wynik zadania, które łączą te etapy. Użyj ID zadania lub callbacku po zakończeniu, aby zaktualizować odpowiadający mu plik w swojej aplikacji, a następnie zastosuj swoje reguły: opublikuj go, wstrzymaj do przeglądu albo poproś o zmianę. Te działania wykonują twój istniejący system publikacji i narzędzia do przeglądu.
Komunikaty dla użytkownika formułuj konkretnie. „Twoje zdjęcie czeka na sprawdzenie” sprawdza się, dopóki przetwarzanie trwa. „Nie udało się przetworzyć tego pliku, spróbuj ponownie” opisuje problem techniczny. Żadnego z nich nie należy zastępować komunikatem „Twój obraz łamie nasze zasady”, chyba że rzeczywiście stoi za nim decyzja dotycząca treści.
Wyślij obraz przez Poyo
Obraz możesz przetestować w Playground Omni Moderation, bez pisania kodu i bez ręcznego tworzenia klucza API. Zaloguj się, wyczyść tekst, jeśli chcesz sprawdzić tylko obraz, dodaj jeden obraz i wybierz Run. Korzystaj z nowego wyniku zadania, a nie z nagranego przykładu, który wyświetla się na początku.
Przy integracji wysyłaj żądania ze swojego serwera z użyciem klucza API Poyo:
curl -X POST https://api.poyo.ai/api/generate/submit \
-H "Authorization: Bearer YOUR_POYO_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "omni-moderation-latest",
"input": {
"image_urls": ["https://your-image-host.example/upload.jpg"]
}
}'
Zastąp przykładową domenę dostępnym adresem URL w HTTPS wskazującym plik obrazu. Do próby bez kodu z lokalnym plikiem prześlij obraz przez Playground; w żądaniach API podaj jego hostowany adres URL w input.image_urls.
Aby dodać podpis, wstaw "prompt": "The caption being reviewed" wewnątrz input. Jeśli post zawiera kilka obrazów, wysyłaj osobne zadania i zapisuj, który wynik należy do którego obrazu. Zatwierdzenie jednego obrazu nie powinno automatycznie zatwierdzać pozostałych.
W odpowiedzi na zgłoszenie dostajesz task_id. Status pobierzesz tak:
curl https://api.poyo.ai/api/generate/status/YOUR_TASK_ID \
-H "Authorization: Bearer YOUR_POYO_API_KEY"
Zadanie zaczyna od not_started, działa asynchronicznie i kończy się statusem finished albo failed. Wyniki zakończonych zadań znajdziesz w data.output.results.
W zgłoszeniu możesz też podać callback_url na najwyższym poziomie. Treść callbacku to obiekt danych statusu bez zewnętrznej otoczki, więc wyniki są w output.results. Weryfikuj callbacki zgodnie z wytycznymi Poyo dotyczącymi webhooków i zadbaj o to, by twój handler znosił wielokrotne dostarczenie tej samej wiadomości.
Zamień ocenę w decyzję
Zacznij od reguły w prostym języku dla każdej kategorii, która ma znaczenie w danym miejscu. Potem sprawdź, czy sygnał z modelu pomaga tę regułę zastosować.
Obraz, który wyraźnie łamie twoją politykę, można odrzucić po wykonaniu odpowiednich kontroli. Obraz akceptowalny można opublikować, gdy zakończą się wszystkie wymagane kontrole. Przypadki niejednoznaczne powinny zostać w przeglądzie, a nie być rozstrzygane na siłę tylko dlatego, że upłynął limit czasu.
Wysoki wynik to powód, by przyjrzeć się odpowiedniej kategorii. Nie jest to procentowa gwarancja naruszenia polityki. Interpretacja może zależeć od tego, czy obraz to dzieło sztuki, ilustracja medyczna, zdjęcie prasowe czy zwykłe zdjęcie użytkownika.
Własne oznaczone przykłady wykorzystaj do wyboru progów kierowania. Sprawdź, ile akceptowalnych obrazów jest niepotrzebnie wstrzymywanych, a także ile zakazanych obrazów workflow przepuszcza. Jeśli zmieniasz próg, porównaj wyniki z poprzednią polityką, zanim rozszerzysz automatyczne działania.
Zapisuj dość informacji, by wyjaśnić decyzje: wersję treści, ID zadania, sygnały kategorii, zastosowaną regułę, ewentualną decyzję recenzenta i czas decyzji. Ustaw zasady przechowywania i kontroli dostępu do tego zapisu, zamiast trzymać w nieskończoność każdy surowy obraz.
Obsługa błędów, edycji i odwołań
Nie można pobrać obrazu. Sprawdź, czy adres URL wskazuje sam obraz, czy nadal jest ważny i czy jest osiągalny bez sesji użytkownika. Pozostaw plik w stanie oczekiwania, dopóki nie rozwiążesz problemu technicznego.
Żądanie nadal trwa, gdy strona przestaje czekać. Zachowaj ID zadania i sprawdź jego status. Natychmiastowe wysłanie duplikatu może sprawić, że dwa zadania będą oceniać tę samą wersję. Stosuj ograniczoną liczbę ponownych prób i zdefiniowane działanie awaryjne na wypadek, gdy przetwarzanie pozostaje niedostępne.
Użytkownik zastępuje plik lub zmienia jego podpis. Potraktuj zmianę jako nową wersję do oceny. Stara akceptacja nie powinna upoważniać do publikacji nowej treści. Sprawdź ponownie odpowiednie dane wejściowe i zadbaj o to, by spóźnione callbacki dotyczące starej wersji nie mogły opublikować nowej.
Użytkownik kwestionuje decyzję. Zapewnij ścieżkę odwołania z kontekstem wystarczającym, by człowiek mógł ocenić treść i zastosowaną regułę. Skuteczne odwołanie powinno zaktualizować stan publikacji i zostawić ślad korekty możliwy do zweryfikowania.
Post zawiera kilka obrazów. Określ jasno regułę publikacji: na przykład poczekaj, aż zakończą się wszystkie wymagane zadania dla obrazów, albo pozwól użytkownikowi usunąć obraz wymagający przeglądu. Nie traktuj jednego udanego wyniku jak przeglądu całego posta.
Najczęstsze pytania
Czym jest moderacja obrazów?
Moderacja obrazów to proces sprawdzania obrazów pod kątem zasad dotyczących treści obowiązujących na platformie. Może łączyć automatyczne kontrole z oceną człowieka, by zdecydować, czy przesłany plik opublikować, wstrzymać do przeglądu, czy odrzucić.
Czy moderacja obrazów jest darmowa w Poyo?
Wywołania Omni Moderation dla obrazów kosztują w Poyo zero kredytów. Obsługiwaną ocenę obrazu możesz przetestować w Playground, a potem używać jej w swojej aplikacji bez opłaty za pojedyncze wywołanie moderacji. Przechowywanie obrazów, ich dostarczanie i ewentualny przegląd przez ludzi planuj osobno; różnicę wyjaśnia przewodnik o darmowym dostępie.
Czy mogę sprawdzić obraz razem z podpisem?
Tak. Dodaj do tego samego żądania zarówno input.image_urls z jednym adresem URL obrazu w HTTPS, jak i input.prompt z podpisem. W Playground podaj obraz i tekst razem. Odczytaj category_applied_input_types, aby zobaczyć, które sygnały dotyczą dostarczonego tekstu, obrazu, czy obu naraz.
Jakie ryzyka związane z obrazami mogę sprawdzać?
Omni Moderation obsługuje sześć kategorii obrazów: treści seksualne, przemoc, drastyczna przemoc, samookaleczenie, zamiar samookaleczenia i instrukcje dotyczące samookaleczenia. Poyo zwraca flagi kategorii i wyniki, dzięki którym kierujesz przesłane pliki zgodnie ze swoimi regułami. Sekcja o możliwościach powyżej wyjaśnia, jakie dane wejściowe są obsługiwane i jakie dodatkowe przetwarzanie obejmują inne wymagania.
Jak otrzymać gotowy wynik dla obrazu?
Zapisz zwrócone ID zadania Poyo i odpytuj o jego status albo podaj callback_url, aby dostać powiadomienie o zakończeniu. Odczytuj data.output.results w odpowiedziach ze statusem lub output.results w callbackach. Dopasuj wynik do wersji przesłanego obrazu, a potem pozwól swojej aplikacji go opublikować albo przekazać do istniejącego narzędzia do przeglądu.
Jak przetestować moderację obrazów bez kodu?
Zaloguj się w Playground Poyo, dodaj jeden obraz, w razie potrzeby wpisz jego podpis i wybierz Run. Przy teście samego obrazu wyczyść pole tekstowe. Sprawdź nowo zakończone zadanie i wypróbuj reprezentatywne dozwolone przykłady, zanim skonfigurujesz automatyczne reguły publikacji.
Wypróbuj jeden obraz w Playground Poyo, a potem połącz wynik z regułą publikacji, którą twój zespół potrafi uzasadnić. Wprowadzenie do moderacji AI wyjaśnia pola odpowiedzi, a przewodnik po moderacji UGC opisuje szerszy proces w zespole.