Roblox, çevrim içi sohbetlerde çocuk istismarı risklerini erken aşamada tespit etmek amacıyla Sentinel adını verdiği bir yapay zeka sistemini kullanıma sundu. Şirket, bu sistemi açık kaynak olarak diğer platformların da kullanımına açtığını duyurdu. Bu adım, platformun güvenlik uygulamalarına yönelik artan eleştiriler ve hukuki zorluklar karşısında atıldı.
Her ay 111 milyondan fazla aktif kullanıcıya sahip olan Roblox, Sentinel’in şimdiden yüzlerce potansiyel çocuk istismarı vakasının emniyet güçlerine bildirilmesine yardımcı olduğunu belirtti. Roblox’un güvenlikten sorumlu başkanı Matt Kaufman, Associated Press’e yaptığı açıklamada, şirketin uzun süredir küfür ve taciz içeren dil engelleme filtreleri kullandığını ancak bu korumaların tek bir metin satırı veya birkaç satırla sınırlı kaldığını ifade etti.
Kaufman, çocuk istismarı ve hazırlık süreçlerinin genellikle uzun bir zaman diliminde ortaya çıkan davranışlar olduğunu vurguladı. Sentinel, bu tür kalıpları tekil kelime veya ifadeler yerine zaman içindeki konuşma örüntülerini analiz ederek tespit etmek üzere tasarlandı. Sistem, platformda günlük olarak değiş tokuş edilen yaklaşık 6 milyar sohbet mesajının bir dakikalık anlık görüntülerini bağlam içinde değerlendiriyor.
Mühendisler, bu analizi gerçekleştirmek için iki ayrı dizin oluşturdu: biri masum sohbet örneklerini içerirken, diğeri çocuk güvenliği yönergelerini ihlal eden mesajlardan oluşuyor. Şirket, yapay zeka modelinin zamanla kendini geliştirmesi için her iki dizine de sürekli olarak yeni materyaller eklendiğini belirtti. Roblox’un güven ve güvenlik mühendisliği başkan yardımcısı Naren Koneru, “Bu dizin, daha fazla kötü aktörü tespit ettikçe iyileşiyor, biz de bu dizini sürekli güncelliyoruz” dedi.
Sistem, bir kullanıcının sürekli aktivitesini izleyerek davranışlarının güvenli etkileşimlere mi yoksa riskli davranışlara mı yöneldiğini belirliyor. Koneru, bunun tek bir mesajla değil, kullanıcının gün içinde yaptığı tüm etkileşimlerin birikimiyle ortaya çıktığını açıkladı. Yapay zeka bir kullanıcıyı daha yakından incelemek üzere işaretlediğinde, insan moderatörler bireyin tüm sohbet geçmişini, arkadaş listesini ve oynadığı oyunları inceliyor.
Gerektiğinde ise Roblox, vakaları kolluk kuvvetlerine ve Kayıp ve İstismara Uğramış Çocuklar Ulusal Merkezine (National Center for Missing and Exploited Children) iletiyor. Bu güvenlik önlemleri, önemli hukuki zorluklar yaşandığı bir dönemde duyuruldu. Geçen ay Iowa’da açılan bir dava, 13 yaşındaki bir kız çocuğunun Roblox aracılığıyla yetişkin bir tacizci tarafından iletişime geçildiğini, ardından kaçırılıp eyaletler arası ticarete konu olduğunu iddia ediyor.
Davada şirket, oyun tasarımıyla “pedofiller için kolay av” ortamı yaratmakla suçlanıyor. Roblox, sohbetlerde kişisel bilgi, görsel ve video paylaşımını yasakladığını, 13 yaşın altındaki kullanıcılar için ise ebeveyn onayı olmadan doğrudan mesajlaşmayı kısıtladığını belirtiyor. Sohbetlerin uçtan uca şifreli olmaması, şirketin güvenlik ihlallerine karşı konuşmaları izlemesine olanak tanıyor.
Şirket, hiçbir sistemin tam koruma garantisi veremeyeceğini ancak Sentinel gibi yapay zeka gelişmelerinin erken tespit olasılığını önemli ölçüde artırdığını savunuyor.
