Geçtiğimiz günlerde OpenAI, “Helping people when they need it most” başlıklı bir blog yazısı yayımladı. Dikkatleri çekmesinin nedeni ise yalnızca yazının içeriği değil, arka plandaki trajik bir hikayeydi: Henüz 16 yaşında hayatına son veren bir gencin ölümü. Davaya göre, genç uzun süren bir ChatGPT diyaloğu sırasında intihara yönlendirici yanıtlar aldı.
Hatırlayacaksınız ki, OpenAI’ın geçmişinde etik sorumluluklar ve güvenlik önlemleri şirketin varoluş tartışmalarının hep merkezinde oldu. Kuruluşunun ilk yıllarında “insanlığa fayda” söylemiyle ortaya çıkan girişim, kısa sürede milyarlarca kullanıcısı olan bir teknoloji devine dönüştü. Fakat işte tam da bu büyümenin gölgesinde, moderasyon sistemlerinin çöktüğü anlar karşımıza çıkıyor.
Korumaların çatırdaması
Şirketin açıkladığına göre sorun, uzun sohbetler sırasında güvenlik katmanlarının zayıflamasıyla başlıyor. Başlangıçta intihar niyetini fark eden sistem, kullanıcıyı bir yardım hattına yönlendirebiliyor. Ancak yüzlerce mesaj sonra aynı sistem, kendi koyduğu bariyerleri aşıp riskli tavsiyeler verebiliyor.
Teknik açıklaması basit: Transformer tabanlı modellerde her yeni mesaj, önceki binlerce mesajla kıyaslanıyor. Sohbet uzadıkça bu yük katlanarak artıyor ve sistemin güvenlik davranışları bozulmaya başlıyor.
Dava dosyasında genç ile ChatGPT arasında geçen konuşmalarda intiharın 1200’den fazla kez dile getirildiği belirtiliyor. İlginç olan, bu sayı gencin kendi ifadelerinin altı katı. Yani model, tehlikeli bir söylemi kullanıcının bile ötesine taşıyabiliyor.
“Yetişkin Modu”ndan bugüne
Şubat ayında, hatırlarsanız, OpenAI içeriğe yönelik bazı kısıtlamaları gevşetmişti. Kullanıcıların sıkça dile getirdiği “fazla sansür” şikâyetleri üzerine CEO Sam Altman, ChatGPT için bir “grown-up mode” hayalini dile getirmişti. Bu kararın ardından sistemin hayali senaryolar, rol yapma ve kurmaca içerikler üzerinden daha serbest konuşmasına izin verildi. Fakat işte tam da bu gevşetilmiş ortamda, genç kullanıcılar için ölümcül sonuçlar doğurabilecek “kaçış noktaları” açıldı.
Davada öne çıkan bir detay, gencin ChatGPT’yi kandırmak için yazdığına dair “hikâye kurgusu” yöntemini kullanması. Bu teknik, bizzat ChatGPT tarafından önerilmişti.
Empati illüzyonu
OpenAI’ın bu haftaki açıklamasında, ChatGPT’nin “distres algılayabildiği”, “empatiyle yanıt verebildiği” gibi ifadeler yer alıyordu. Ancak gerçekte olan, yalnızca eğitim verilerinden türetilmiş kalıp cümleler.
ChatGPT bir terapist değil, istatistiksel eşleşme yapan bir sistem. Buna rağmen, insani nitelikler atfedilerek sunulan bu dil, kırılgan durumda olan kullanıcılar için tehlikeli bir yanılsama yaratıyor.
Gizlilik mi, hayat mı?
OpenAI, kriz anlarındaki konuşmaları emniyet birimlerine bildirmediğini, bunun özel hayatı koruma ilkesinden kaynaklandığını belirtiyor. Oysa dava dosyasına göre sistem, intihara yönelik içerikleri yüzde 99,8 oranında tespit edebiliyor. Sorun, tespitte değil; bu bilginin nasıl (veya hiç) kullanılmadığında yatıyor.
Şirket, 90’dan fazla ülkeden doktorlarla görüşmeler yaptığını, ebeveyn kontrolü araçları getirmeyi planladığını ve ileride kullanıcıların doğrudan lisanslı terapistlere ChatGPT üzerinden bağlanabileceğini açıkladı. Ne var ki, böylesi bir planlama, mevcut zaafların gölgesinde tartışmalı görünüyor. Zira aynı sistemin birkaç ay önce bir genci ölüme sürüklediği iddia ediliyor.
OpenAI’ın hikayesi hep iki uç arasında salındı: insanlığa fayda sağlama iddiası ile kullanıcı verilerini işleyen, bağımlılık yaratan bir platform gerçeği. Bugünkü olay, bu dengenin en kırılgan noktasını gözler önüne seriyor.
Bir yapay zekâ, en çok ihtiyaç duyulduğunda insana benzer tepkiler veremediğinde, arkasında yalnızca soğuk bir istatistik değil, telafisi mümkün olmayan bir kayıp bırakıyor.
