Kullanıcı Tarafından Oluşturulan İçerik Moderasyonu: Küçük Ekipler İçin Uygulamalı Rehber

Poyo, küçük ekiplerin kullanıcı tarafından oluşturulan içerik moderasyonuna ücretsiz yapay zekâ kontrolleri eklemesine yardımcı olur. Omni Moderation ile gönderileri, yorumları, değerlendirmeleri ve statik görselleri değerlendirebilir, ardından kategori sonuçlarını ekibinizin hâlihazırda kullandığı kurallara ve inceleme araçlarına bağlayabilirsiniz.

Pratik fayda, tekrarlanabilir bir ilk değerlendirmedir: desteklenen içeriği gönderin, görevi takip edin ve sonucu alın veya bir tamamlanma geri çağrısı alın. Ekibiniz bu sinyalleri rutin gönderileri yönlendirmek ve insan dikkatini bağlam gerektiren vakalara yoğunlaştırmak için kullanabilir.

Playground'da bir içerik yüzeyi ve birkaç temsili örnekle başlayın. Bu rehber, gönderimler arttıkça sürecin yönetilebilir kalması için ücretsiz kontrolleri yayınlama kuralları, inceleme sorumluluğu ve kullanıcı itirazlarıyla nasıl bağlayacağınızı gösterir.

Gerçekte sahip olduğunuz içerik ve kararları belirleyin

Kullanıcı tarafından oluşturulan içerik veya UGC, insanların ürününüze gönderdiği materyalleri kapsar: topluluk gönderileri, yorumlar, profil fotoğrafları, ürün değerlendirmeleri, ilan açıklamaları ve yüklenen görseller.

Bir araç seçmeden önce envanter çıkarın. Her türün nerede göründüğünü, kimlerin görebildiğini, kullanıcıların düzenleyip düzenleyemediğini ve ne kadar hızlı karar verilmesi gerektiğini kaydedin. Herkese açık olarak gösterilen bir profil görselinin sonuçları, yalnızca yazarı tarafından görülebilen bir taslaktan farklıdır.

Uygulamanızdaki yorumlar veya mağazanızdaki ürün fotoğrafları gibi mevcut yayınlama araçlarınıza bağlı bir yüzey seçin. Poyo'nun değerlendirmesi, görev sonuçları ve geri çağrılar aracılığıyla bu araçlara veri sağlayabilir. İçeriği harici bir sosyal platformda da yönetiyorsanız, yayınlama veya kaldırma işlemlerini gerçekleştirmek için o platformun yetkilendirilmiş entegrasyonunu kullanın.

Trust & Safety Professional Association, moderasyonu operasyonlar, ürün ve mühendislik tarafından desteklenen bir politika uygulama süreci olarak tanımlar. Küçük bir şirkette bir kişi bu işlevlerin birkaçını üstlenebilir. Yine de sorumlulukların açıkça belirlenmesi gerekir.

İnsanların uygulayabileceği kurallarla başlayın

Yararlı bir kural davranışı adlandırır, kapsamını açıklar ve mevcut eylemi belirtir. “Topluluğu güvende tutun” bir niyeti ifade eder ancak zor bir gönderim hakkında karar verilmesini sağlamaz.

Örneğin bir ürün şöyle yazabilir: “Başka bir üyeye yönelik doğrudan tehditler yasaktır. Şüpheli tehditleri inceleme için bekletin ve vaka acil müdahale gerektiriyorsa eskalasyon sürecini kullanın.” Bu, incelemecilere belirli bir kategori ve sonraki eylemi verir.

Kurallarınızı model kategori adlarından ayrı tutun. Bir topluluk, zararlı içerik modeli ilgili hiçbir işaret döndürmese bile tekrarlanan reklamları yasaklayabilir. Bir haber topluluğu, üyelere yönelik tehditleri yine de yasaklarken şiddet hakkında uygun tartışmalara izin verebilir.

Omni Moderation'ın desteklenen zararlı içerik kategorilerini ürününüzün hâlihazırda kullandığı kontrollerle birleştirin. Spam, kişisel bilgiler, gönderi kalitesi ve itirazlar için özel kurallar, araçlar veya incelemeciler gerekir. Her gereksinimi belirli bir adıma atamak, genel sürecin işletilmesini kolaylaştırır.

İfadeleri birkaç örnekle test edin. İki incelemeci aynı kuralı farklı uyguluyorsa, otomasyondan kararı tutarlı hâle getirmesini beklemeden önce kuralı netleştirin.

Moderasyonun ne zaman gerçekleşeceğini seçin

Zamanlama hem maruziyeti hem de kullanıcı deneyimini etkiler. Her içerik yüzeyi için bunu tanımlayın.

Yayınlamadan önce. Gerekli kontroller ve kararlar tamamlanana kadar içerik beklemede kalır. Bu, herkese açık görsel yüklemeleri veya ekibinizin önce incelemeye karar verdiği gönderimler için uygun olabilir. Ayrıca kullanıcıların bekleme süresine ilişkin net bir açıklamaya ihtiyaç duyması anlamına gelir.

Yayınladıktan sonra. İçerik görünür ve ardından değerlendirilir. Bu, başlangıçtaki sürtünmeyi azaltır ancak yasaklanmış materyal işlem yapılana kadar görünür olabilir. Ekibin, bu maruziyetle uyumlu bir yanıt sürecine ihtiyacı vardır.

Bir bildirimden sonra. Kullanıcılar bir sorunu bildirir ve ekip bunu inceler. Bildirimler bağlamın ve gözden kaçan vakaların ortaya çıkarılmasına yardımcı olur ancak hiç kimsenin bildirmediği içerikler incelenmeden kalabilir.

Karma bir süreç pratik olabilir. Örneğin bir ekip yeni profil fotoğraflarını yayınlamadan önce bekletebilir, yorumlarda rutin metin kontrolleri çalıştırabilir ve her ikisi için de bildirimleri kabul etmeye devam edebilir. Bu bir tasarım örneğidir, evrensel bir politika değildir.

Bu yaklaşımlara genel bir bakış için Stream'in içerik moderasyonu rehberi sayfasına bakın. Seçiminizi kitlenize, maruziyete ve mevcut inceleme kapasitesine göre yapın.

Moderasyon iş akışınıza ücretsiz yapay zekâ kontrolleri ekleyin

Poyo, çok dilli metni, tek bir HTTPS görselini veya görselli metni tek bir görev akışında bir araya getirir. Metin 13 risk kategorisini destekler; görseller ise cinsel içerik, şiddet ve kendine zarar verme dâhil altı kategoriyi destekler. Kategori işaretleri ve puanları, uygulamanıza hangi gönderimlerin rutin kuralları izleyebileceğine ve hangilerinin daha yakından incelenmesi gerektiğine karar vermek için sinyaller sağlar.

Her kontrolü desteklenen girdisiyle eşleştirmek için kategori genel bakışını kullanın. Yalnızca metin kategorileri görüntü piksellerini değerlendirmez. Politikanız gömülü metne, sese, videoya veya özel algılamaya bağlıysa uygun ayrı bir işleme adımı ekleyin. Görsel kapsamı ve çocuk güvenliği işlemleri için görsel moderasyon rehberine bakın.

Pratik bir sıra şöyledir:

1. Bir gönderim alın ve içerik kimliğini ve sürümünü kaydedin.
2. Metni veya yüklenen dosyayı uygulamanız için doğrulayın.
3. Desteklenen metni veya görseli Poyo'ya gönderin ve görev kimliğini kaydedin.
4. Tamamlanmış sonucu alın veya tamamlanma geri çağrısını alın.
5. İçeriği yayınlamak, değişiklik istemek, reddetmek veya bir incelemeciye atamak için kurallarınızı uygulayın.
6. Kararı kaydedin ve bildirimler ile itirazlar için yolları koruyun.

Poyo'nun görev kimliği, bir değerlendirmenin doğru gönderimle ilişkilendirilmesine yardımcı olur. Tamamlanma geri çağrıları, mevcut uygulamanızdaki veya inceleme aracınızdaki sonraki adımı tetikleyebilir. Her desteklenen sinyalin bir iş eylemine nasıl eşleşeceğini, bağlam veya eskalasyon gerektiren vakalar için insan incelemesiyle birlikte yapılandırın.

Küçük bir ekibin yönetebileceği bir inceleme kuyruğu tasarlayın

Bir pilot uygulama için mevcut destek veya yönetici aracınız yeterli olabilir. Her inceleme öğesi, incelemeciyi tüm geçmişi yeniden oluşturmaya zorlamadan karar vermesi için yeterli bilgiyi içermelidir.

İçeriği veya içeriği incelemenin kontrollü bir yolunu, ilgili bağlamı, değerlendirilen kuralı, model sinyallerini, içerik sürümünü ve bu vaka için gerekli önceki kararı ekleyin. Bir sahip ve durum ekleyin; böylece iki kişi farkında olmadan aynı öğe üzerinde çalışmaz.

Yararlı durumlar arasında değerlendirme bekliyor, insan incelemesi bekliyor, onaylandı, reddedildi ve itiraz edildi bulunur. Teknik hatayı ayrı olarak takip edin, çünkü “görsel alınamadı” bir içerik politikası bulgusu değildir.

Ekibinizin gerçekten sürdürebileceği öncelikler belirleyin. Potansiyel olarak ciddi bir tehdit, belirsiz bir ürün fotoğrafı kararından daha hızlı eskalasyon gerektirebilir. Sorumlu kişiyi ve yedeğini belirleyin; ikisinin de mevcut olmadığı durumlarda ne olacağını da tanımlayın.

Kuyruk büyürse kuralları gevşetmeden önce nedeni inceleyin. Çok fazla yanlış işaret, belirsiz politikalar, yinelenen görevler veya ekibin henüz değerlendirmediği yeni bir içerik örüntüsü olabilir. Her sorun farklı bir yanıt gerektirir.

Bağlamı ve itirazları sürecin içinde tutun

Otomatik bir sinyal, bir kullanıcının neden bir şey paylaştığını gözden kaçırabilir. Bir şikâyette alıntılanan taciz, tarihsel bir olayın tartışılması ve eğitsel bir görsel, ilk değerlendirmenin tam olarak yakalayamadığı bir bağlam gerektirebilir.

Bir incelemeci karar verdiğinde uygulanan kuralı ve nedeni kaydedin. Kullanıcıya yönelik dil, zararlı materyali gereksiz yere yeniden üretmeden bundan sonra ne olacağını açıklamalıdır.

Örneğin “Görseliniz, grafik içerik kuralımızın kapsamına girebileceği için inceleme bekliyor” bekleyen bir vakayı açıklar. “Görsel kontrolünü tamamlayamadık; yeniden denerken yüklemeniz gizli kalır” ise teknik bir gecikmeyi açıklar. Bu mesajlar kullanıcılara farklı ve yararlı beklentiler sunar.

İtiraz edilebilecek kararlar için bir itiraz yolu sunun. İncelemeci orijinal içerik sürümünü, ilgili bağlamı, önceki nedeni ve kullanıcının yeni açıklamasını görebilmelidir. Personel imkânı varsa itiraz için başka bir kişi kullanın.

Karar değişirse içeriğin gerçek görünürlüğünü ve ilgili hesap eylemini güncelleyin. Amaçlanan durumu geri yüklemeden yalnızca özür göndermek, temel hatayı çözülmemiş bırakır.

Eleştiriyi sırf olumsuz olduğu için politika ihlali olarak değerlendirmekten kaçının. Değerlendirme temelli ürünler için Bazaarvoice'un UGC moderasyonu hakkındaki değerlendirmesi, gerçek olumsuz geri bildirimleri korumanın önemini vurgular. Kurallarınız, eleştirel bir müşteri deneyimini tacizden veya yasaklanmış ifşalardan ayırmalıdır.

Karar kalitesini ve iş yükünü ölçün

Ekibin belirli bir sorunu bulmasına yardımcı olan ölçümlerle başlayın. Gönderim hacmi, tamamlanan değerlendirmeler, işleme hataları ve bekleyen incelemeler iş yükünü tanımlar. İnceleme sonuçlanma süresi ve itiraz sonuçları kullanıcıların deneyimini tanımlar.

Sınıflandırma ve yönlendirmeyi değerlendirmek için izin verilen bir örneklemi, politikanızın beklediği kararlarla etiketleyin. Hem iş akışının işaretlediği içerikleri hem de geçmesine izin verdiği içerikleri dahil edin; yalnızca inceleme kuyruğuna bakmak sistemin kaçırdığı her şeyi ortaya çıkaramaz.

Aşağıdaki örnek tamamen açıklama amaçlıdır ve Poyo'yu veya model kıyaslama performansını tanımlamaz:

Bu örneklemden üç farklı soru çıkar:

• Kuyruğun ne kadarı ilgiliydi? İşaretlenen 26 öğenin 18'i ihlal olarak etiketlendi: 18 ÷ 26, yaklaşık %69,2.
• İhlallerin kaçı yakalandı? Etiketlenmiş 20 ihlalden 18'i işaretlendi: 18 ÷ 20 veya %90.
• Kabul edilebilir içerik ne sıklıkta işaretlendi? Kabul edilebilir 80 öğenin sekizi işaretlendi: 8 ÷ 80 veya %10.

Bu ölçümlerin paydaları farklıdır ve tek bir “doğruluk” iddiasında birleştirilmemelidir. Arkasındaki vakaları inceleyin. Ekibin daha net bir kurala, farklı bir eşiğe, ayrı bir kontrole veya daha fazla bağlama ihtiyacı olabilir.

Canlı operasyonlarda çözümlenmemiş itirazları da sayın ve bekleyen en eski öğenin yaşına bakın. Yüksek bir tamamlanma sayısı, çok uzun süredir bekleyen küçük bir vaka grubunu gizleyebilir.

Poyo'yu mevcut inceleme araçlarınıza bağlayın

Kullanıcılarınızın gönderdiği dilleri ve görsel stillerini test etmek için Omni Moderation Playground kullanın. Oturum açın, temsili örnekleri çalıştırın ve kod yazmadan veya manuel olarak API anahtarı oluşturmadan kategori sonuçlarını inceleyin.

Uygulama istekleri için Poyo API anahtarınızı POST /api/generate/submit, model: "omni-moderation-latest" ve desteklenen metin veya görsel alanlarıyla kullanın. Aynı Poyo kimlik bilgileri diğer desteklenen modellere de erişebilir ve üretim ile moderasyonu ortak bir platform entegrasyonu içinde tutmanıza yardımcı olur.

Döndürülen görev kimliğini içerik sürümüyle birlikte kaydedin. Durumunu sorgulayın veya isteğe bağlı bir callback_url yapılandırın; böylece tamamlanan bir değerlendirme yayınlama sisteminizdeki, destek aracınızdaki veya inceleme kuyruğunuzdaki bir kaydı güncelleyebilir. Yönlendirmeyi uygulamanız tanımlar ve yayınlama veya incelemeci atama eylemini gerçekleştirir.

Durum yanıtlarından data.output.results ve dış sarmalayıcıyı içermeyen geri çağrılardan output.results okuyun. Bir finished görevi tamamlanmış bir değerlendirme içerir; flagged: true potansiyel içerik riskini belirtir. failed görevlerini ayrı bir teknik yeniden deneme yolunda tutun.

Düzenlenen gönderileri ve değiştirilen görselleri yeni sürümler olarak yeniden değerlendirin. Geri çağrı işlemlerini tekrarlanabilir olacak şekilde güvenli hâle getirin; böylece yinelenen teslimatlar aynı inceleme kaydını günceller ve daha eski bir sonucun daha yeni bir kararı geçersiz kılmasını önleyin.

İnceleme kayıtları için erişim izinlerini ve saklama kurallarını belirleyin ve üretim verilerini göndermeden önce geçerli hizmet şartlarını kontrol edin. Poyo referansı istek sözleşmesini açıklar; webhook rehberi geri çağrı entegrasyonunu kapsar.

Sıkça sorulan sorular

Kullanıcı tarafından oluşturulan içerik moderasyonu nedir?

Kullanıcı tarafından oluşturulan içerik moderasyonu, gönderiler, yorumlar, değerlendirmeler ve fotoğraflar gibi kullanıcıların gönderdiği materyallerin bir platformun kurallarına göre incelenmesi sürecidir. Potansiyel ihlalleri tespit etmeyi, bunların nasıl ele alınacağına karar vermeyi ve bildirimleri veya itirazları çözmeyi içerir.

Poyo küçük bir moderasyon ekibine nasıl yardımcı olur?

Poyo, desteklenen metin ve görseller için kategori sinyalleri, görev takibi ve isteğe bağlı tamamlanma geri çağrılarıyla ücretsiz bir ilk değerlendirme sağlar. Ekibiniz bu sonuçları gönderimleri mevcut araçlar üzerinden yönlendirmek ve incelemecileri bağlam gerektiren vakalara odaklamak için kullanabilir. Bir içerik yüzeyi ve ekibinizin tutarlı şekilde uygulayabileceği kurallarla başlayın.

Hangi moderasyon adımlarını otomatikleştirebiliriz?

Uygulamanız içerik gönderebilir, görev kimliklerini kaydedebilir, değerlendirmeleri alabilir, geri çağrıları işleyebilir ve inceleme kayıtlarını güncelleyebilir. Kendi örnekleriniz üzerinde kuralları test ettikten sonra tanımlanmış yayınlama veya yönlendirme eylemlerini de otomatikleştirebilirsiniz. Poyo değerlendirme sonuçlarını ve görev yönetimini sağlar; iş kurallarını, eskalasyonu ve itirazları ekibiniz yapılandırır.

Tekrarlanan manuel incelemeyi nasıl azaltabiliriz?

Her içerik sürümü için bir kayıt tutun, bunu Poyo görev kimliğiyle ilişkilendirin ve geri çağrı işlemlerini tekrarlanabilir olacak şekilde güvenli hâle getirin. Bu, uygulamanızın yinelenen inceleme kayıtlarından kaçınmasına yardımcı olur. Kategori yönlendirmesini ayarlamak ve kabul edilebilir gönderimlerin neden kuyruğa girdiğini incelemek için etiketlenmiş örnekleri kullanırken gözden kaçan ihlalleri kontrol etmeye devam edin. Otomasyonu genişletmeden önce etkisini ölçün.

Poyo mevcut inceleme araçlarımıza bağlanabilir mi?

Sınıflandırmaları uygulamanızın yayınlama sistemine, destek aracına veya inceleme kuyruğuna göndermek için durum sorgularını veya tamamlanma geri çağrılarını kullanın. Kayda içerik kimliğini, sürümünü, kategori sinyallerini ve uygulanacak kuralı ekleyin. Entegrasyonunuz incelemeci atamasını ve yayınlama eylemlerini yönetir; böylece ekip mevcut araçlarını kullanmaya devam edebilir.

Ücretsiz olarak nasıl başlayabiliriz?

Bir yüzey seçin, ilgili kuralları tanımlayın ve temsili metin veya görselleri Poyo Playground içinde test edin. Bu deneme için kod veya manuel olarak oluşturulmuş API anahtarı gerekmez. Omni Moderation çağrıları sıfır krediye mal olur; yönlendirme hazır olduğunda API'yi mevcut iş akışınıza bağlayın ve depolama ile incelemeci zamanını ayrı olarak planlayın.

Sinyalleri yorumlamak için AI içerik moderasyonuna giriş bölümünü, ücretsiz çağrılar etrafındaki çalışmayı planlamak için de maliyet rehberini kullanın.