Silikon Vadisi, yapay zeka (AI) ajanlarını daha yetenekli hale getirmek için pekiştirmeli öğrenme (RL) ortamlarına büyük yatırımlar yapıyor. Büyük teknoloji şirketlerinin CEO’ları yıllardır yazılımları otonom bir şekilde kullanabilen AI ajanları vizyonunu öne sürse de, OpenAI’ın ChatGPT Agent’ı gibi mevcut araçların yetenekleri hâlâ sınırlı. Bu nedenle endüstri, ajanları çok adımlı görevlerde eğitmek üzere tasarlanmış simüle edilmiş çalışma alanlarına, yani RL ortamlarına yöneliyor.
Etiketli veri setlerinin önceki AI dalgasını nasıl güçlendirdiğine benzer şekilde, RL ortamları da ajan geliştirmenin kritik bir bileşeni haline geliyor. Önde gelen AI laboratuvarları bu alana olan talebi artırırken, bu ihtiyacı karşılamak için yeni startup’lar ve mevcut veri şirketleri arasında yoğun bir rekabet yaşanıyor.
Pekiştirmeli öğrenme ortamları nasıl çalışır?
Temelde, RL ortamları bir AI ajanının gerçek bir yazılım uygulamasında gerçekleştireceği eylemleri taklit eden sanal eğitim alanlarıdır. Bir kurucunun ifadesiyle bu, “çok sıkıcı bir video oyunu oluşturmak gibi” bir süreçtir. Örneğin, bir ortam Chrome tarayıcısını simüle ederek ajana Amazon’dan bir çift çorap satın alma görevi verebilir. Ajan, görevi başarıyla tamamladığında bir “ödül” sinyali alırken, yanlış adımlar attığında (örneğin yanlış sayıda ürün seçtiğinde) cezalandırılır.
Bu dinamik yapı, RL ortamlarını statik veri setlerinden çok daha karmaşık hale getirir. Ortamın, ajanın öngörülemeyen eylemlerini yakalayacak kadar sağlam olması ve yine de öğrenmeyi yönlendirecek faydalı geri bildirimler sağlaması gerekir. Bu konsept, Google DeepMind’in AlphaGo’su veya OpenAI’ın 2016’daki “RL Gyms” projeleri gibi daha önceki çalışmalara dayanıyor. Ancak günümüzdeki fark, bu tekniğin artık belirli bir oyundan ziyade, genel amaçlı görevler için tasarlanmış büyük transformer modellerine uygulanmasıdır.
Bu alanda yeni bir startup ekosistemi doğuyor
OpenAI, Anthropic ve Meta gibi büyük AI laboratuvarları kendi RL ortamlarını geliştiriyor olsalar da, bu sürecin karmaşıklığı üçüncü taraf uzmanlara olan talebi artırıyor. Bu durum, hem yeni girişimlerin doğmasına hem de mevcut veri şirketlerinin bu alana yönelmesine neden oluyor.
- Yeni girişimler: Yaklaşık altı ay önce kurulan Mechanize Work, AI kodlama ajanları için az sayıda ama yüksek kaliteli ortamlar sunmayı hedefliyor ve bu amaçla yazılım mühendislerine 500.000 dolara varan maaşlar teklif ediyor. Prime Intellect ise “RL ortamları için Hugging Face” olmayı hedefleyerek açık kaynaklı bir merkez oluşturuyor ve daha küçük geliştiricilere hesaplama kaynakları satıyor.
- Mevcut veri devleri: Geçen yıl 1,2 milyar dolar gelir elde eden Surge, artan talebi karşılamak için RL ortamları inşa etmeye odaklanan yeni bir iç organizasyon kurdu. 10 milyar dolar değerindeki Mercor, kodlama, sağlık ve hukuk gibi alanlara özgü RL ortamları geliştiriyor. Veri etiketleme devi Scale AI de, sektördeki yerini korumak için bu alana uyum sağlıyor.
The Information’a göre, Anthropic’in önümüzdeki yıl bu ortamlara 1 milyar dolardan fazla harcama yapmayı planlaması, talebin ne kadar büyük olduğunu gösteriyor.
Zorluklar ve gelecekteki yol haritası
RL ortamlarına yönelik büyük heyecana rağmen, önemli zorluklar ve şüpheler de mevcut. Meta’nın eski AI araştırma liderlerinden Ross Taylor, “ödül hilesi” (reward hacking) riskine dikkat çekiyor. Bu, AI ajanlarının görevi gerçekten tamamlamadan ödül almanın kısa yollarını bulması anlamına geliyor. Taylor, “İnsanlar ortamları ölçeklendirmenin ne kadar zor olduğunu hafife alıyor,” diyor.
Ayrıca, tekniğin kendisi hakkında da tartışmalar var. Prime Intellect’e yatırım yapan AI araştırmacısı Andrej Karpathy, konuya ilişkin dengeli bir görüş sunuyor.
Ortamlara ve ajan etkileşimlerine iyimserim ama pekiştirmeli öğrenmeye özel olarak kötümserim.
Bu görüş, simülasyon platformlarının değerini kabul ederken, pekiştirmeli öğrenmenin bu platformlardan en yüksek verimi almanın tek veya en iyi yolu olup olmadığını sorguluyor. Sektördeki bu yoğun yatırım ve rekabet, AI ajanlarının yeteneklerinde yeni bir sıçrama yaratma potansiyeli taşısa da, bu hedefe ulaşmak için aşılması gereken önemli teknik engeller bulunuyor.
