Qualcomm’un yapay zeka hedefleri bir başka

Qualcomm, Mobil Dünya Kongresi Barcelona etkinliğinde cihaz içi yapay zekaya (YZ) ilişkin önemli duyurular yaptı. Şirketin birincil hedefi, uç cihazlarda (telefon, bilgisayar, vb.) her ölçekte YZ çalıştırmak. Şirket, telefon kapsamında dünyanın ilk büyük dil (LLM) ve büyük çok modlu modelini bir Android telefonda başarıyla çalıştırdığını duyurdu. 7 milyar parametreli LLM; metin, görüntü ve ses gibi girdileri işleyebiliyor. Kullanıcı, telefonuyla sohbet benzeri çok aşamalı bir konuşma gerçekleştirebiliyor. Farklı olarak duyurular arasında şunlar da öne çıkıyor:

• Yeni nesil bilgisayarlar, araçlar, telefonlar, endüstriyel IoT cihazları, Wi-Fi erişim noktaları ve hücresel altyapı gibi çok çeşitli uç cihazlarda yapay zeka çalıştırma kapasitesi.
• Qualcomm AI Hub’ın geliştiricilere, Snapdragon ve diğer Qualcomm platformları için optimize edilmiş 75’ten fazla yapay zeka modeli de dahil olmak üzere kaynaklar sağlaması.
• Qualcomm araştırmacılarının Android akıllı telefonlarda ve Windows bilgisayarlarda çalışabilen büyük, çok modlu modeller ve özel büyük görüntü işleme modelleri geliştirmesi.

Qualcomm çipleri yapay zekayı hızlandırıyor

Yaşanan gelişmelerin temelinde Qualcomm’un yeni donanım çözümleri var. Mobil cihazlar için tasarlanan Snapdragon 8 Gen 3 yonga setinin duyurusu Mobil Dünya Kongresi’nde yapılırken, bilgisayarlar için Snapdragon X Elite birkaç ay önce zaten tanıtılmıştı. Bu yongalar Samsung Galaxy S24 akıllı telefonlar, en yeni iPhone ve Çin’de üretilen birçok telefonda olduğu gibi çeşitli cihazlarda yapay zeka kullanımını kolaylaştırıyor. Qualcomm’un önümüzdeki aylarda “45 TOPS” (saniyede 45 trilyon işlem) işlem hızlarına ulaşabilen yeni CPU, GPU ve NPU ile donatılmış bilgisayar yonga setlerini piyasaya sürmesi bekleniyor.

45 TOPS’un ne kadar güçlü bir işlem gücü olduğunu daha iyi anlamak için şu örneğe bakabiliriz:

1. Bir insan beyni saniyede yaklaşık 100 trilyon işlem gerçekleştirebilir.
2. Bir masaüstü bilgisayar saniyede yaklaşık 10 trilyon işlem gerçekleştirebilir.
3. Bir akıllı telefon saniyede yaklaşık 1 trilyon işlem gerçekleştirebilir.

Görüldüğü gibi 45 TOPS işlem gücü, bir akıllı telefondan 45 kat bir masaüstü bilgisayardan ise 4,5 kat daha fazladır. Bu da Snapdragon X Elite platformunun yapay zeka uygulamaları için oldukça güçlü bir platform olduğunu gösteriyor.

5G ve Wi-Fi’de yapay zekanın rolü

Qualcomm ayrıca yapay zeka destekli Snapdragon X80 5G modemi ve yeni nesil Wi-Fi 7 çipi olan FastConnect 7900 hakkında da duyurular yaptı. Bu ürünlerin AI ile ilişkili özellikleri ayrıntılı olarak incelenmiş bulunuyor.

Qualcomm AI Hub: Geliştiriciler için kolaylık

Yapay zekalı telefonlar, bilgisayarlar ve diğer cihazlar tam anlamıyla fayda sağlamak amacıyla yeni uygulamalara ihtiyaç duyuyor. Qualcomm, geliştiricilere Snapdragon ve benzer platformlar üzerinde uygulama geliştirme ile dağıtımı için ihtiyaç duydukları kaynakları sağlamak üzere AI Hub’ı oluşturdu. Hub’ın en önemli özelliklerinden biri, yüksek performans için optimize edilmiş çok sayıda yapay zeka modeli kütüphanesi sunması. Uygulamanın ana temasını oluşturan ve platformu çekici kılan en önemli özellik, kullanım kolaylığı. Geliştiriciler 75’ten fazla yapay zeka modeli arasından istediklerini seçebiliyor; ardından TensorFlow, PyTorch veya Onyx çalışma ortamları arasından tercih yapıyor. Modeller ayrıca Hugging Face ve GitHub’da da mevcut.

Belirli bir model seçildikten sonra geliştirici hedef platformu ve cihazı belirleyebiliyor. Sadece birkaç satır kod yazarak, uygulama geliştirme sürecinde Qualcomm platformları için optimize edilmiş yapay zeka modellerini cihaz içinde kullanabilirsiniz.

Hub, görüntü ve metin oluşturma gibi birçok özelliğin yanı sıra Snapdragon veya diğer Qualcomm platformları tarafından desteklenen cihazlarda dört kata kadar daha hızlı çıkarım imkanı sunuyor.

Android telefonlarda LoRA teknolojisi

Qualcomm ayrıca ilk düşük rütbeli adaptasyonunu (LoRA) bir Android telefon üzerinde çalıştırarak teknik bir dönüm noktasına daha ulaştı. Microsoft tarafından geliştirilen LoRA, gecikme, maliyet ve donanım gereksinimleri açısından model eğitim karmaşıklığını azaltmayı hedefliyor. LoRA, görüntü oluşturmak için DALL-E gibi üretken yapay zeka araçlarından farklı, özgün bir yaklaşım sunuyor. Model karmaşıklığını düşüren LoRA, hafıza gereksinimlerini azaltıyor, verimliliği arttırıyor ve modelin tamamının indirilmesini veya ince ayarını gerektirmeden, hafif sürümlerinin kişiselleştirilmesine olanak veriyor.

LoRA nasıl çalışır?

LoRA, geleneksel yapay zeka görüntü oluşturma modellerinden farklı bir yaklaşım benimser. Bu modeller, görüntüyü oluşturmak için piksellerin bir örüntüsünü öğrenir. LoRA ise görüntüyü oluşturmak için vektörlerin bir liste kullanır. Vektörler, görüntünün temel özelliklerini (şekil, renk, doku vb.) temsil eder.

LoRA’nın vektör tabanlı yaklaşımı, modelin karmaşıklığını ve boyutunu önemli ölçüde azaltır. Bu da modelin daha hızlı eğitilmesini daha az donanıma ihtiyaç duymasını ve daha az enerji tüketmesini sağlar.

YZ destekli Snapdragon X Elite

Yapay zekayı çalıştırmak için tasarlanan Snapdragon X Elite, 4nm SoC mimarisi, çift çekirdekli destek özelliğine sahip 12 çekirdekli Qualcomm Oryon CPU ve entegre bir Qualcomm Adreno GPU barındırıyor. Tek bir şarjla günlerce kullanım sunarak sürekli şarj etme sorununu ortadan kaldırıyor. En önemli özelliklerinden biri, 13 milyar parametreli üretken yapay zeka LLM modellerini de çalıştırabilmesi.

Qualcomm, SoC’nin yeteneklerini göstermek için Snapdragon X Elite ve en verimli GPU, CPU ve NPU yapılandırmasına sahip rakip bir x86 işlemci arasında performans karşılaştırması yaptı. Karşılaştırmada, GAI görüntü üretimi için Stable Diffusion eklentisiyle donatılmış güçlü bir açık kaynak raster grafik editörü olan GIMP kullanıldı. Sonuçlar, “45 TOPS” NPU’lu Snapdragon X Elite’in, x86 rakibinden üç kat daha hızlı görüntü oluşturma becerisine sahip olduğunu gösterdi.

NPU nedir?

NPU, “Neural Processing Unit”in kısaltması olarak hayatımıza girdi. Türkçeye Sinirsel İşlem Birimi olarak çevrilebilir. Yapay zeka ve makine öğrenimi uygulamaları için özelleşmiş bir işlemcidir. NPU’nun birçok farklı görevi var. NPU’lar özellikle yapay sinir ağları (ANN’ler) tarafından kullanılan matematiksel işlemlerin hesaplanmasında üstün performans sağlar. Bu matematiksel işlemler şunları içerir:

• Matris çarpımı: Yapay sinir ağlarının önemli bileşenlerinden.
• Konvolüsyon (Evrişim): Görüntü, video ve doğal dil işlemede sıklıkla kullanılır.
• Aktivasyon fonksiyonları: Yapay sinir ağlarını doğrusal olmayan yapan, onlara karar verme yeteneği kazandıran fonksiyonlar.

NPU’nun CPU ve GPU’dan farkları

Yeni bir işlemci olarak hayatımıza girmeye başlayan NPU’nun klasikleşmiş CPU ve GPU’dan farkı ise:

• Yapısal fark: CPU’lar (merkezi işlem birimi) genel amaçlı işlemler için tasarlanmıştır. GPU’lar (grafik işlem birimi) ise grafik işleme ve belirli paralel hesaplamalarda çok etkilidir. NPU’ların mimarisi ise özellikle yapay zeka hesaplamaları için optimize edilmiştir.
• Veri işleme: NPU’lar düşük hassasiyetli verilerle daha verimli çalışacak şekilde tasarlanmışlardır. Bu onları yapay zeka iş yükleri için ideal kılar.
• Enerji tüketimi: NPU’lar, yapay zeka hesaplamaları için CPU ve GPU’lardan çok daha fazla güç tasarrufu sağlarlar.

Qualcomm yerel yapay zeka çalışmalarında öne çıkıyor

Mobil Dünya Kongresi’ndeki bu yenilikler, Qualcomm’un akıllı telefonlardan bilgisayarlara uzanan farklı cihazlardaki yapay zeka sınırlarını zorladığını gösteriyor. Şirketin Snapdragon 8 Gen 3 telefon işlemcisi ile Snapdragon X Elite PC platformları, üretken yapay zeka, bilgisayarlı görü ve doğal dil işleme gibi alanlarda önemli işlevleri yerine getirebiliyor. Qualcomm, geliştiricilere de gelişmiş yapay zeka yetenekleri sunuyor.

Büyük, çok modlu modellerin ve hafif model sürümlerinin Android telefonlarda çalıştırılabilmesi; finansal hizmetler, sağlık ve e-ticaret gibi alanlarda sanal asistanlar ile etkileşime girme gibi yeni yeteneklerin kapısını aralıyor. Ayrıca yapay zeka oyun deneyimine yepyeni bir boyut kazandırıyor. Sanal oyun yardımcıları yalnızca güçlü rakipler olmakla kalmıyor. Aynı zamanda yeni oyun içerikleri üretebiliyor. Bununla birlikte oyun kurallarını ve oynanışını oyuncunun bilgilerine ya da daha zorlu bir deneyim arzusuna göre dinamik olarak ayarlayabiliyor. Neredeyse her oyun yapay zeka ile daha zorlu ve gerçekçi bir hal alıyor.

Qualcomm’un cihaz içi yapay zekayı ölçeklenebilir şekilde ticarileştirmesi, yapay zekanın demokratikleşmesine büyük katkı sağlıyor. Şirketin bu vizyoner adımları Qualcomm’u yapay zeka alanında kilit bir oyuncu haline getiriyor. Bu yetenekleri sayesinde şirket, büyük ölçekli yapay zeka benimsenmesini daha da hızlandırabilir.

Öne çıkan kaynak görseli: Qualcomm