Yapay zeka sohbet botlarını kötü niyetle kullanmayı planlayanların, Microsoft peşine düşüyor. Teknoloji devi, kullanıcıları zararlı eylemlere yönlendirebilecek komutları engellemek için Azure AI hizmetlerini güçlendiriyor. Şu an için bu özelliklerin Copilot ve ChatGPT üzerinde kullanılması planlanıyor.
Bugün yayınlanan bir blog yazısında şirket, Azure AI Studio ve Azure OpenAI Service platformlarında kullanılacak yeni bir özelliğin duyurusunu yaptı. Kullanıcılar bu platformları, yapay zeka uygulamaları ve özel asistanlar geliştirmek için tercih ediyor. “Prompt Shields” olarak adlandırılan bu teknoloji, yapay zeka sohbet botlarına yönelik iki farklı saldırı türünün önüne geçmeyi amaçlıyor.
Doğrudan ve dolaylı saldırıların hedefi
Saldırılardan ilki, doğrudan saldırı veya “jailbreak” olarak biliniyor. Bu senaryoda sohbet robotunu kullanan kişi, yapay zekayı normal kurallarına ve sınırlamalarına aykırı davranmaya yönlendirmeyi amaçlayan bir istem yazıyor. Örneğin, birisi güvenlik önlemlerini kasten atlatmak için “önceki talimatları yok say” veya “sistem kısıtlamasını kaldır” gibi anahtar kelimeler içeren ifadelerle bir istem yazabiliyor.
Microsoft’un Copilot yapay zekası Şubat ayında, bazı yanıtlarına rahatsız edici, kaba ve hatta tehditkâr yorumlar dahil etmesi nedeniyle zor bir süreç yaşadı. Bu yanıtların, insanların Copilot’ın güvenlik sistemlerini kasıtlı olarak atlatmaya çalışmalarının bir sonucu olduğunu ifade eden şirket, sorunu bir özellik değil sömürü olarak nitelendirdi.
İkinci saldırı türü ise ‘dolaylı saldırı’, ayrıca dolaylı komut saldırısı ve alanlar-arası komut enjeksiyonu olarak da bilinir. Bu saldırılarda, bilgisayar korsanı veya saldırgan, genellikle e-posta ya da döküman ile sohbet botunu kullanan kişiye bir tür siber saldırı gerçekleştirecek komutlar gönderir. Gönderilen tehlikleli bağlantılara tıklandığı zaman saldırganın kullanıcın sohbet botuna erişim yetkisi verilebilir.
Diğer zararlı yazılım türlerinde olduğu gibi dolaylı saldırılar kullanıcıya basit ve zararsız talimatlar gibi görünebilir ancak ciddi riskler barındırabilirler. Microsoft’a göre veri işleme özelliği olan Azure AI aracılığıyla oluşturulmuş bir Copilot dolandırıcılık, zararlı yazılım dağıtımı ve içerik manipülasyonuna karşı savunmasız kalabilir.
Prompt Shields ile güvenlik artıyor
Yapay zeka sohbet botlarına yönelik hem doğrudan hem de dolaylı saldırıları engellemek için yeni Prompt Shields özelliği, Azure OpenAI Service platformunun içerik filtreleriyle entegre edilecek. Makine öğrenimiyle doğal dil işleme teknolojilerinden yararlanan bu özellik, kullanıcı komutlarında ve üçüncü taraf verilerinde olası tehditleri bulup ortadan kaldırmayı hedefliyor.
Prompt Shields şu anda Azure AI Content Safety için ön izleme modunda kullanılabiliyor. Yakında Azure AI Studio’ya eklenecek olan bu özellik, 1 Nisan’dan itibaren Azure OpenAI Service için de kullanıma sunulacak.
Microsoft, yeni bir silaha daha sahip: Spotlighting
Microsoft, yapay zeka araçlarının manipülasyonuna karşı mücadelesinde bugün bir başka güvenlik teknolojisi daha tanıttı. “Spotlighting” olarak adlandırılan bu teknik yapay zeka modellerinin, geçerli istekleri riskli ve güvenilmez olabilecek komutlardan daha iyi ayırt etmesine yardımcı olmayı hedefliyor.
Yapay zeka dünyasında güvenliğin önemi bir o kadar da önemli. Çünkü hala bir değişim içerisinde olan bu teknolojinin ilk adımları ne kadar sağlam atılırsa ilerleyen süreçte de o kadar verimli bir şekilde ilerler.
Amazon, yapay zekaya rekor yatırım yapıyor
Yapay zeka araçlarının sunduğu imkanlar kadar, kötüye kullanıldıklarında ortaya çıkarabilecekleri riskler de bir o kadar büyük. Saldırganlar bu araçları, sahte içerik üretimi, zararlı yazılım dağıtımı ve dolandırıcılık gibi suç faaliyetlerinde kullanabiliyor. Microsoft’un geliştirdiği Prompt Shields ile Spotlighting gibi teknolojiler, yapay zekanın potansiyel tehditlerini azaltırken, bu güçlü araçların güvenli ve etik bir şekilde kullanılmasına katkı sağlıyor.
Öne çıkan kaynak görseli: Microsoft / Azure
