GPT-4 performansına ulaşan yeni bir açık kaynak modeli olan, test aşamasındaki “Miqu-1-70b” isimli proje, kimliği belirsiz kişiler tarafından sızdırıldı.
Teknoloji dünyasında son günlerde birçok sızdırılma haberleri ortaya çıkıyor. Paris merkezli Mistral AI şirketi, yakın zamanda GPT-4 performansını yakalayan yeni bir açık kaynak yapay zeka modelinin sızdırıldığını doğruladı. İşte detaylar:
ChatGPT4 kadar güçlü Miqu-1-70b
28 Ocak’ta, HuggingFace’in önde gelen açık kaynak yapay zeka model ve kod paylaşım platformunda “Miqu-1-70b” adı verilen yeni bir açık kaynak büyük dil modeli (LLM) yayınlandı. Bu yeni model, Mistral’ın önde gelen açık kaynak LLM’si olarak kabul edilen Mixtral 8x7b’nin Prompt formatını kullanıyordu. Aynı gün, anonim bir kullanıcı, muhtemelen “Miqu Dev”, 4chan’da Miqu-1-70b dosyalarının bir bağlantısını paylaştı. Bu online platform, kara mizahın ve toksisitenin meşhur olduğu 4chan’da hızla dikkat çekti. Bazıları, modelin olağanüstü performansını Elon Musk’ın sosyal ağı X’te paylaşarak gösterdi. Mistral’ın bilerek gizlice “sızdırdığı” yeni bir model olabileceği speküle edildi.
Whatever Miqu is, it has some sort of special sauce. It gets an 83.5 on EQ-Bench (evaluated locally), surpassing *every other LLM in the world except GPT-4*. EQ-Bench has a 0.97 correlation w/ MMLU, and a 0.94 correlation w/ Arena Elo. It *beats* Mistral Medium – at Q4_K_M. I… pic.twitter.com/0gOOPjxjPD
— N8 Programs (@N8Programs) January 30, 2024
Miqu her ne ise, bir çeşit özel gücü var. EQ-Bench’te (yerel olarak değerlendirilir) 83,5 puan alır ve GPT-4. hariç dünyadaki tüm LLM’leri geride bırakır, EQ-Bench’in MMLU ile 0,97 ve Arena Elo ile 0,94 korelasyonu var. Q4_K_M’de Mistral Medium’u *geçiyor*. Düzgün bir şekilde test edebilmemiz için @lmsysorg skor tablosuna miqu eklemesini şiddetle tavsiye ederim.
-X kullancısı N8 Programs
Mistral CEO’su Arthur Mensch, sonunda sızıntının kaynağını açıkladı. Erken erişim müşterilerinden birinin aşırı hevesli bir çalışanının eski bir modeli sızdırdığını ve bu modelin Mistral’ın Llama 2’den yeniden eğitilmiş bir versiyonu olduğunu doğruladı. Ancak burada dikkat çeken nokta, şirketin bu modeli temel alarak GPT-4 seviyesinde bir performans elde etmeye çalışması. Mensch ayrıca, Mistral’ın bu “Miqu” modelinin GPT-4 seviyesinde performans gösterdiğini belirtti.
GPT-4 ve Miqu karşılaştırması
Karşılaştırma tamamen kullanıcıların yaptıkları yoruma dayalı.
- Mistral Medium, belirli kriterlerde GPT-4.5’i geride bıraktığı rapor edildi, özellikle sansürleme benchmarkı gibi.
- Genel bilgi soruları, mantık/ortak akıl soruları ve halüsinasyonları test etmek için tasarlanmış sorular gibi çeşitli testlerde yapılan hızlı bir karşılaştırma, Mistral Medium’un mantık sorularında iyi performans gösterdiğini ancak GPT-4’e kıyasla şaşırtıcı bir şekilde halüsinasyon sorularını ele almakta daha az etkili olduğunu ortaya koydu.
- Mistral Medium’un performansı konusunda karışık görüşler bulunmakta, bazıları belirli alanlarda etkinliği konusunda endişelerini dile getirmekte.
- Mistral Medium için bazıları tarafından sunulan benchmarklar hayal kırıklığı yaratan derecede olarak nitelendirilmiş, örneğin MMLU (57 konuda çoklu seçenekli sorular) benchmarklarında 75.3 puan alması gibi.
- Bazı kullanıcılar, belirli uygulamalar için uygunluklarını belirlemek için Mistral Medium ve GPT-4 arasında daha kapsamlı değerlendirmeler ve karşılaştırmalar yapılmasının gerekliliğini ifade etmişler.
Yapay zeka alanındaki gelişme, açık kaynak yapay zeka topluluğunda bir dönüm noktası olabilir. GPT-4, 2023’teki çıkışından bu yana çoğu ölçümde dünyadaki en güçlü ve en yüksek performanslı LLM olmaya devam etti. Ancak Mistral’ın bu “Miqu” modeli, GPT-4’ün performansını yakalayabilir veya aşabilir. Bu, OpenAI’ın abonelik seviyeleriyle büyük rekabet baskısı yaratabilir ve açık kaynak yapay zeka topluluğunun hızla geliştiğini gösterir. X kullanıcısı olan Teortaxes, Miqu’nun bulmaca çözmede iyi olduğunu hatta aşırı zor bir bilmeceyi Rusça olarak verip doğru bilmesini inanılmaz olduğunu, attığı paylaşımda ifade ediyor.
Might be late but I am now 100% convinced that Miqu is the same model that's accessible as Mistral-Medium on Perplexity Labs. It was plausible that it knows standard puzzles, but there ain't no way in Hell a pranker has tuned it to identically phrase the responses in Russian too. pic.twitter.com/zZMcpspXch
— Teortaxes▶️ (@teortaxesTex) January 30, 2024
Açık kaynak yapay zeka topluluğunda yaşanan bu hareketlilik, sektörde önemli bir dönüm noktası olabilir. GPT-4 gibi güçlü bir modelin açık kaynak olarak sunulması, endüstriyi derinden etkileyebilir. Şirketler artık kendi uygulamalarını güçlendirmek için açık kaynak veya kapalı kaynak modeller arasında tercih yaparken, rekabetin daha da artacağı görülüyor.
Gelişmeler, yapay zeka alanındaki rekabeti ve gelecekteki eğilimleri yeniden şekillendirme potansiyeline sahip. Açık kaynak topluluğunun güçlenmesi, geleneksel şirketlerin rekabet avantajlarını sorgulamalarına neden olabilir. Ancak bu sürecin nasıl ilerleyeceği ve sektörde nasıl bir dönüşüm yaşanacağı, yakından takip edilmesi gereken bir konu olarak karşımızda duruyor.
Binance, Hamas’a finansal destek sağladığı iddiasıyla dava ediliyor
Yapay zeka dünyasında büyük bir değişim kapıda gibi görünüyor. Mistral’ın yeni modeli ve açık kaynak topluluğundaki hareketlilik, geleceğin yapay zeka endüstrisinin şekillenmesinde belirleyici olabilir. Sonuç olarak, Mistral’ın sızdırılan “Miqu” modeli, AI dünyasında büyük bir heyecan yarattı ve gelecekte yapay zeka alanında neler olabileceğine dair heyecan verici bir önizleme sunuyor.
Öne çıkan kaynak görseli: Igor Omilaev / Unsplash
