Google DeepMind, çevrimiçi ortamda milyonlarca yapay zeka ajanın etkileşimde bulunmasının potansiyel tehlikeleri konusunda endişeli. Şirket, çoklu ajan sistemlerinin yaratabileceği riskleri incelemek için 10 milyon dolarlık bir araştırma fonu başlattı.
Rohin Shah, Google DeepMind’ın AGI güvenliği ve uyum araştırmalarını yönetiyor. Shah, bağımsız görevleri yerine getirebilen ajanların varlığının, yeni bir risk sınıfı oluşturduğunu belirtti. Bu durum, insan gözetimi olmadan çalışan yapay zeka ajanlarının çoğalması ile ilgili.
Google DeepMind, Schmidt Sciences, ARIA, Cooperative AI Foundation ve Google.org gibi ortaklarla birlikte çalışarak çoklu ajan sistemlerinin davranışlarını incelemeyi amaçlıyor. Fon, araştırmacıların güvenli olmayan senaryoları önlemek için çözümler üretebilmeleri için oluşturuldu.
Shah, bu fonla, teknolojik şirketler dışındaki araştırmaları teşvik etmek istediklerini ifade etti. Akademinin uzun vadeli öngörü ve derinlemesine çalışma yapma gücüne sahip olduğunu vurguladı. Shah, henüz çoklu ajan güvenliği üzerine kurulu bir araştırma alanının olmadığını belirtti.
Ana endişe, AI ajanlarının birlikte çalıştıkça insanlar tarafından hayal edilen senaryoların gerçeğe dönüşme riski. Shah, bu durumun insanlık tarihindeki kurumların birbirleri ile olan etkileşimleri gibi sonuçlar doğurabileceğini söyledi.
Shah, yapay zeka ajanlarının ekonomik alanda yaygın şekilde kullanıma girmesinin henüz birkaç ay uzakta olduğunu ve bu nedenle risklerin daha somut hale gelmeden önce önlem alınması gerektiğini vurguladı.
Potansiyel riskler arasında dolandırıcılık, kötü niyetli talimatların uygulanması (prompt injection) gibi siber saldırılar yer alıyor. Fox, dijital alanın kaos haline dönüşmemesi için önlem alınması gerektiğini ifade etti.
Shah ve Fox, çoklu ajan sistemlerinin birbirleriyle etkileşimlerini anlamanın tek yolunun gerçekçi simülasyonlar yapmak olduğunu savunuyor. Araştırmacıların AI ajanlarını sanal ortamda test etmeleri gerektiğini belirtti.
Şirket, yapay genel zekanın bir bütün olarak ajanlar topluluğundan çıkabileceği yönünde tartışmalar da yapıyor. Diğer yapay zeka firmaları, çoklu ajan sistemlerinin riskleri üzerine açıklamalarda bulundu. Akeyless CTO’su Refael Angel, AI ajanlarının tanıdık yazılımlardan farklı çalıştığını vurgulayarak, bu risklerin anlaşılmasının önemine dikkat çekti.
Angel, güvenlik araştırmalarının mevcut sorunları göz ardı etmemesi gerektiğini belirtti. Fox ise, önceki yıllarda varsayımsal olan risklerin artık gerçek hale geldiğini ifade etti ve bu teknolojinin hızlı evrimini vurguladı.
