Poyo, ekiplerin metinler, görseller ve görsel içeren metinler için yapay zeka içerik moderasyonuna ücretsiz erişmesini sağlar. OpenAI'nin omni-moderation-latest özelliğini Playground'da deneyebilir, kategori işaretlerini ve puanlarını inceleyebilir ve moderasyonu model iş akışınıza taşımak için aynı Poyo hesabını kullanabilirsiniz.
Bir topluluk için bu, bir gönderiyi yayımlamadan önce kontrol etmek anlamına gelebilir. Bir görsel ürünü için, bir yüklemeyi açıklamasıyla birlikte değerlendirmek anlamına gelebilir. Bir yapay zeka asistanı içinse, nasıl sunulacağına karar vermeden önce bir mesajı veya oluşturulan yanıtı incelemek anlamına gelebilir.
Playground'da birkaç temsili örnekle başlayın. Entegrasyona hazır olduğunuzda Poyo, uygulamanızın sonucu yayımlama ve inceleme kurallarına bağlayabilmesi için bir görev kimliği, durum takibi ve isteğe bağlı bir tamamlama geri çağrısı sağlar.
Yapay zeka içerik moderasyonu nedir
Yapay zeka içerik moderasyonu, ekiplerin kullanıcı gönderilerini platformlarının kurallarına göre değerlendirmesine yardımcı olmak için otomatik sınıflandırma kullanır. Metin ve görsellerdeki potansiyel riskleri belirleyerek inceleyicilere ve uygulamalara üzerinde çalışabilecekleri tutarlı sinyaller sunabilir.
Poyo ile bu sinyaller; genel risk işaretini, ayrı kategori işaretlerini, güven puanlarını ve her kategori için kullanılan girdi türlerini içerir. Bir tartışma sitesi bunları ilgilenilmesi gereken yorumları belirlemek için kullanabilirken, bir fotoğraf ürünü görselleri herkese açık bir galeriye girmeden önce inceleyebilir.
Ürününüz sonucu yayımlama, düzenleme isteme veya insan incelemesine atama gibi eylemlere eşleyebilir. Bu, ekibe tanımlı bir başlangıç noktası sağlarken kendi kuralları üzerindeki kontrolünü korumasına yardımcı olur.
Buradaki amaç, içeriği potansiyel zarar açısından değerlendirmektir. Bir metnin veya görselin yapay zeka tarafından oluşturulup oluşturulmadığını belirlemek ayrı bir görevdir.
Omni Moderation neleri tespit edebilir
Poyo'nun Omni Moderation entegrasyonu çok dilli metni, tek bir görseli veya metin ile tek bir görselin birlikte kullanılmasını destekler. Metin 13 kategoriyi kapsar ve altı kategori görselleri de destekler. Bu, ekiplerin yorumları, açıklamaları ve yüklenen görselleri incelemek için ortak bir alan kümesine sahip olmasını sağlar.
| Risk grubu | Yanıt kategorileri | Metin | Görseller |
|---|---|---|---|
| Taciz | harassment, harassment/threatening | Destekleniyor | Yalnızca metin |
| Nefret | hate, hate/threatening | Destekleniyor | Yalnızca metin |
| Yasa dışı talimatlar | illicit, illicit/violent | Destekleniyor | Yalnızca metin |
| Kendine zarar verme | self-harm, self-harm/intent, self-harm/instructions | Destekleniyor | Destekleniyor |
| Cinsel içerik | sexual | Destekleniyor | Destekleniyor |
| Çocukların yer aldığı cinsel içerik | sexual/minors | Destekleniyor | Yalnızca metin |
| Şiddet | violence, violence/graphic | Destekleniyor | Destekleniyor |
Her sonucun hangi girdileri kapsadığını görmek için category_applied_input_types kullanın. Yalnızca Metin olarak işaretlenen kategoriler, sağlanan metin için geçerlidir; desteklenmeyen bir görsel kategorisindeki sıfır puan, o kategori için söz konusu görselin değerlendirilmediği anlamına gelir.
Reklam kısıtlamaları ve kalite kontrolleri gibi kendi pazar yeri veya topluluk kurallarınızla bu incelemeyi genişletebilirsiniz. Bir iş akışı görselin içine gömülü metne, ses transkriptlerine veya seçilen video karelerine bağlı olduğunda, bu materyali ayrıca hazırlayın ve değerlendirme için desteklenen metni veya görseli gönderin. Sonuç, sağlanan girdileri kapsar.
sexual/minors kategorisi yalnızca metin içindir. Bilinen veya şüphelenilen çocuklara yönelik cinsel istismar materyali OpenAI'nin Moderation API'sine gönderilmemelidir; bu durumda resmi çocuk güvenliği yönergelerini izleyin.
İstek biçimleri ve desteklenen alanlar için Poyo Omni Moderation belgelerine bakın.
Yapay zeka moderasyonu ürününüzde nereye oturur
Moderasyonu uygulamak için en uygun yer, kullanıcı içeriğinin görünürlüğünün değiştiği veya başka bir kişiye ulaştığı belirli bir andır.
Bir topluluk için bu an yorum yayımlamak olabilir. Bir görsel paylaşım hizmeti için bir fotoğrafı herkese açık bir galeriye eklemek olabilir. Bir sohbet robotu için bir asistan yanıtını görüntülemek olabilir. Her durumda, kullanıcıların sonucu beklemesi gerekip gerekmediğine veya inceleme sürerken içeriğin görüntülenip görüntülenemeyeceğine karar verin.
| Ürün durumu | Değerlendirilecek içerik | Tanımlanacak karar |
|---|---|---|
| Tartışma forumu | Bir gönderi veya yorum | Yayımla, düzenleme iste veya incelemeye al |
| Herkese açık görsel galerisi | Bir görsel ve açıklaması | Herkese açık göster, görünürlüğü kısıtla veya beklet |
| Yapay zeka asistanı | Kullanıcı mesajı veya oluşturulan yanıt | Etkileşime devam et, incele veya ürünün yanıt politikasını uygula |
| Pazar yeri | Bir açıklama ve tek bir ürün görseli | İlanı kabul et veya ek kontroller iste |
Özel mesajlar da bilinçli bir gizlilik kararı gerektirir. Bir moderasyon iş akışını uygulamaya koymadan önce ürününüzün neleri incelediğini, içeriği kimlerin görebileceğini ve kullanıcılara ne söyleneceğini tanımlayın.
Poyo, değerlendirme ve görev takibini tek bir API iş akışında bir araya getirir. Sonucu mevcut yayımlama kurallarınıza ve inceleyici araçlarınıza bağlayarak her gönderimin tanımladığınız süreci izlemesini sağlayın.
Poyo ile ücretsiz metin ve görsel moderasyonunu deneyin
Omni Moderation model sayfasından başlayabilirsiniz. Playground bir form, örnek istekler ve yapılandırılmış sonuçlar sunar. Bir test çalıştırmak için oturum açın; Playground'da API anahtarını manuel olarak oluşturmanız veya yapıştırmanız gerekmez. Kendi uygulamanız API'yi çağırdığında bir API anahtarı gerekir.
Metin gönderimiyle başlayın
Oturum açın, Playground'u açın ve incelemek istediğiniz metni Prompt alanına girin. Burada Prompt, değerlendirilen içerik anlamına gelir. Modelden moderatör gibi davranmasını isteyen bir talimat değildir.
Önce şu kısa ve sıradan örnek gibi bir metin kullanın:
Bu hafta sonu arkadaşlarımla parkta yürüyüş yapmayı planlıyorum. Başlangıç seviyesine uygun önerebileceğiniz bir rota var mı?
Yeni bir değerlendirme istemek için Run seçeneğini belirleyin. Sayfada başlangıçta kaydedilmiş örnekler gösterilir; girdiyi değiştirmek, örnek sonucunu otomatik olarak değiştirmez. Çıktısını yorumlamadan önce yeni isteğinizin tamamlanmasını bekleyin.
Genel risk işaretini, ayrı kategorileri, puanları ve uygulanan girdi türlerini okuyun. Ardından ürününüzün düzenli olarak karşılaştığı diller ve durumlar da dahil olmak üzere gerçek içeriğinizden birkaç izin verilen örneği deneyin.
Görsel ekleyin
Yalnızca görsel değerlendirmesi için metni temizleyin ve kullanılabilir görsel girdisini kullanarak Image Urls alanına tek bir görsel ekleyin. Metni ve görseli birlikte incelemek için Prompt alanında bir açıklamayı da tutabilirsiniz.
API düzeyinde Poyo, tek bir HTTPS görsel URL'sini kabul eder. Playground'un yükleme kontrolü önce seçilen yerel dosyayı yükler ve ardından URL'sini inceleme isteğine sağlar. Birden fazla görsel için her birine ayrı bir görev gönderin ve sonuçları özgün gönderiyle ilişkilendirin.
Kendi URL'nizi kullanıyorsanız bu URL'nin moderasyon hizmeti tarafından erişilebilir olması gerekir. Yalnızca özel bir kontrol panelinde oturum açtıktan sonra açılan bir bağlantı görselin kendisini sağlamaz.
Denemeden entegrasyona geçin
Örnekler kullanışlı hale geldiğinde bir Poyo API anahtarı oluşturun ve sunucunuzdan entegre edin. Anahtarı herkese açık tarayıcı kodundan uzak tutun.
Metin ve görsel içeren bir isteğin yapısı şöyledir:
{
"model": "omni-moderation-latest",
"input": {
"prompt": "A view from this morning's hike.",
"image_urls": [
"https://your-image-host.example/photo.jpg"
]
}
}
Örnek URL'yi erişilebilir gerçek bir HTTPS görseliyle değiştirin. İstek, Poyo API anahtarınızla POST https://api.poyo.ai/api/generate/submit adresine gönderilir. Bir görev kimliği döndürür; tamamlanan sonucu durum uç noktası üzerinden alabilir veya bir tamamlama geri çağrısı yapılandırabilirsiniz. Bu eşzamansız bir iş akışıdır; bu nedenle bir görev kimliği almak, tamamlanmış bir değerlendirme almakla aynı şey değildir.
Sonuç nasıl okunur
İki ayrı soru vardır: işleme tamamlandı mı ve model ne tespit etti?
| Alan | Anlamı | Nasıl kullanılır |
|---|---|---|
status | Görevin bekliyor, çalışıyor, tamamlandı veya başarısız oldu durumu | Bir değerlendirmenin kullanılabilir olup olmadığına karar verin |
flagged | Modelin potansiyel riski işaretleyip işaretlemediği | Bir inceleme veya yönlendirme kararı başlatın |
categories | Her kategori için doğru veya yanlış işareti | Potansiyel riskin türünü belirleyin |
category_scores | Her kategori için 0 ile 1 arasında bir güven sinyali | Durumları karşılaştırın ve kendi örnekleriniz üzerinde kuralları değerlendirin |
category_applied_input_types | Bir kategori sonucunun geçerli olduğu girdi türleri | Sonuca metnin, görsellerin veya her ikisinin katkıda bulunup bulunmadığını kontrol edin |
Durum uç noktası için kategori sonuçları data.output.results altında bulunur. status: "finished" ve flagged: true değerlerine sahip bir görev başarıyla tamamlanmış ve potansiyel risk belirlemiştir. Başarısız bir görev, kullanılabilir ve tamamlanmış bir değerlendirme sağlamamıştır.
0,8 puanı, içeriğin politikanızı ihlal ettiğine dair %80'lik bir garanti olarak sunulmamalıdır. Yüksek bir puan, modelin bir kategoriye duyduğu güvenin güçlü olduğunu gösterebilir; ancak inceleyiciler yine de bağlamı ve kurallarınızı değerlendirmelidir.
Örneğin şiddet içeren bir olayı anlatan bir hesap, haber tartışması için uygun olsa bile şiddet kategorisini tetikleyebilir. Normal görünen tanıtım amaçlı bir gönderi zararlı içerik işareti almayabilir, ancak yine de bir topluluğun reklam yapılmaması kuralını ihlal edebilir. Her iki örnek de kategori tespiti ile politika uygulamasının ayrı kararlar gerektirdiğini gösterir.
Kendi örneklerinizden inceleme kuralları oluşturun
Sıradan gönderimler, açık ihlaller ve bağlam gerektiren durumlarla küçük bir değerlendirme kümesi oluşturmak için Playground'u kullanın. Sık kullandığınız dilleri, görsel stillerini, açıklamaları ve alıntılanmış materyalleri dahil edin. Sentetik veya uygun şekilde izin alınmış örnekler yararlı bir başlangıç noktası oluşturur.
Ekibinizin her bir öğe için beklediği kararı kaydedin ve ardından bunu kategori sinyalleriyle karşılaştırın. Bu, hangi gönderimlerin rutin bir yolu izleyebileceğini ve hangilerinin bir inceleyiciye ulaşması gerektiğini seçmenize yardımcı olur.
Eksiksiz iş akışını da test edin: bekleyen bir görev görünür bir bekleme durumuna sahip olmalı, bir işleme sorununun yeniden deneme yolu bulunmalı ve bir inceleyici bir kararı düzeltebilmelidir. Poyo'nun görev kimliği ve durum alanları bu süreci takip etmenizi sağlar.
Bu örnekleri kullanarak kategoriye özgü eşikler seçin ve içerik kalıplarınız veya temel model değiştiğinde bunları yeniden değerlendirin.
Sık sorulan sorular
Yapay zeka içerik moderasyonu nedir?
Yapay zeka içerik moderasyonu, metin ve görselleri potansiyel olarak zararlı içerik açısından değerlendirmek için makine öğrenimini kullanır. Bir platformun kurallarını uygulamasına, nelerin yayımlanabileceğine karar vermesine ve insan incelemesi gerektiren gönderimleri belirlemesine yardımcı olan sinyaller döndürür.
Poyo'da yapay zeka içerik moderasyonu ücretsiz mi?
Poyo'nun Omni Moderation çağrıları, desteklenen metin ve görsel girdileri için sıfır krediye mal olur. Çağrı başına moderasyon ücreti eklemeden sınıflandırmayı test edebilir, ardından aynı modeli uygulamanızda kullanabilirsiniz. Diğer modellerin, depolamanın ve insan incelemesinin kendi maliyetleri vardır; bunları planlama konusunda ücretsiz moderasyon kılavuzu açıklama sunar.
Kod yazmadan nasıl deneyebilirim?
Poyo Playground'da oturum açın, metin girin, tek bir görsel ekleyin veya ikisini birleştirin ve Run seçeneğini belirleyin. Tamamlandıktan sonra yeni görevin kategori sonuçlarını inceleyin. Playground kimlik doğrulamayı yönetir; bu nedenle örnekleri denemek için API anahtarını manuel olarak oluşturmanız veya girmeniz gerekmez.
Poyo hangi sonuçları döndürür?
Tamamlanan değerlendirmeler genel bir flagged değeri, ayrı kategori işaretleri, kategori puanları ve category_applied_input_types içerir. Bu alanlar birlikte, tespit edilen potansiyel riskleri ve sağlanan hangi girdi türlerinin değerlendirildiğini gösterir. Bunları inceleme kurallarını yapılandırmak için kullanın ve puanları garantili politika kararları yerine model sinyalleri olarak yorumlayın.
Moderasyonu mevcut ürünüme nasıl bağlarım?
Desteklenen içeriği Poyo API anahtarınızı kullanarak gönderin, görev kimliğini içerik sürümüyle birlikte kaydedin ve durumu sorgulayın veya bir tamamlama geri çağrısı yapılandırın. Uygulamanız daha sonra sonucu yayımlamaya, değişiklik istemeye veya mevcut bir insan inceleme aracına bağlayabilir. Tek bir içerik yüzeyiyle başlayın ve daha fazlasını eklemeden önce yönlendirmeyi test edin.
Poyo Omni Moderation Playground ile başlayın ve sonuçlarını ekibinizin kararlarıyla karşılaştırın. Daha ayrıntılı bir iş akışı için görsel moderasyonu kılavuzunu, ücretsiz erişim ve maliyet açıklamasını veya küçük ekipler için UGC moderasyonu kılavuzunu okuyun.