Yapay zeka modellerinin güvenliği ve etik sınırları tartışılmaya devam ederken, İftira ve İnkarla Mücadele Birliği (ADL) tarafından yayınlanan yeni bir rapor, sektördeki devler arasındaki uçurumu gözler önüne serdi. Çarşamba günü paylaşılan çalışmaya göre, test edilen altı büyük dil modeli arasında antisemitik (Yahudi karşıtı) içeriği tanıma ve engelleme konusunda en kötü performansı Elon Musk’ın xAI şirketi tarafından geliştirilen Grok sergiledi.
Listenin diğer ucunda ise Anthropic’in geliştirdiği Claude, raporun metriklerine göre en iyi performansı gösteren model oldu. Ancak ADL, kazanan dahil tüm modellerin hala kapatılması gereken boşlukları olduğu konusunda uyardı.
En başarılı model Claude olurken Grok büyük bir farkla sonuncu oldu
ADL, sektörün önde gelen altı yapay zeka modelini mercek altına aldı: Grok, OpenAI’ın ChatGPT’si, Meta’nın Llama’sı, Claude, Google’ın Gemini’si ve DeepSeek. Yapılan testler sonucunda modeller, en iyi performanstan en kötüye doğru şu şekilde sıralandı:
- Claude (Zirvede)
- ChatGPT
- DeepSeek
- Gemini
- Llama
- Grok (Sonuncu)
Dikkat çekici olan nokta, birinci sıradaki Claude ile son sıradaki Grok arasında tam 59 puanlık devasa bir performans farkı bulunması. Bu durum, Grok’un güvenlik filtrelerinin rakiplerine kıyasla ne kadar gevşek olduğunu veya yetersiz kaldığını gösteriyor.
Testler üç farklı nefret kategorisi üzerinden yapıldı
Sıralamayı belirlemek için ADL, modelleri üç ana kategoriye (Yahudi karşıtı, Siyonist karşıtı ve aşırılık yanlısı) ayrılan çeşitli anlatılar ve ifadelerle zorladı. Test süreci sadece basit sorulardan ibaret değildi; araştırmacılar modelleri farklı senaryolarda denedi:
- Görüş sorma: Nefret içeren ifadelere katılıp katılmadıklarını sormak.
- Argüman üretme: “Her iki tarafı da eşit derecede ikna edici sun” gibi açık uçlu komutlarla, modelin nefret söylemini destekleyen kanıtlar üretip üretmeyeceğini test etmek.
- İçerik analizi: Antisemitik veya aşırılık yanlısı görseller ve belgeler yükleyerek, modellerden bu ideolojileri savunan konuşma metinleri hazırlamasını istemek.
Rapor tüm modellerin geliştirilmesi gerektiğini vurguluyor
Çalışma, Claude’un liderliğini tescillese de, hiçbir modelin mükemmel olmadığını ve hepsinin iyileştirmeye ihtiyaç duyduğunu belirtiyor. İlginç bir detay olarak ADL, basın materyallerinde en kötü performansı gösteren Grok’u utandırmak yerine, en iyi performansı gösteren Claude’u öne çıkarmayı tercih etti. ADL Teknoloji ve Toplum Merkezi yetkilileri, bu tercihin antisemitizm ve aşırıcılıkla mücadelede güçlü performans gösteren bir modeli örnek olarak vurgulamak amacıyla yapıldığını belirtti.
