Kaliforniya Üniversitesi, Davis (UC Davis) araştırmacıları, beyin-bilgisayar arayüzleri (BCI) alanında önemli bir atılım gerçekleştirerek, amiyotrofik lateral skleroz (ALS) hastalığı nedeniyle felç geçirmiş bir kişinin yeniden konuşmasını ve hatta basit melodilerde şarkı söylemesini sağladı. Bu yenilikçi teknoloji, beyin implantı aracılığıyla ham nöral sinyalleri yakalayarak, yapay zeka (AI) destekli bir modelle gerçek zamanlı olarak konuşmaya dönüştürüyor.
Çalışmada, ALS hastası bir katılımcının beyninin konuşma üretimiyle ilgili bölgesine dört adet mikroelektrot dizisi cerrahi olarak yerleştirildi. Bu diziler, konuşma kaslarını kullanmaya çalışırken üretilen beyin sinyallerini yakalıyor. Sistem, düşünceleri okumak yerine, bu sinyalleri çözerek konuşmaya dönüştürüyor.
Araştırmacılar tarafından geliştirilen bu BCI sistemi, düşük gecikmeli işlem gücü ve yapay zeka tabanlı bir çözümleme modeli kullanarak, katılımcının konuşmasını bir hoparlör aracılığıyla anında sentezliyor. Nöral sinyallerin elde edilmesinden konuşma örneklerinin oluşturulmasına kadar tüm süreç sadece 10 milisaniye içinde tamamlanıyor, bu da neredeyse anında bir iletişim sağlıyor.
Sistemin en dikkat çekici özelliklerinden biri, katılımcının ALS hastalığına yakalanmadan önce kaydedilmiş ses örnekleri üzerinde eğitilmiş bir ses klonlama algoritması kullanılarak, sentezlenen konuşmanın katılımcının kendi sesine benzemesinin sağlanması. Bu sayede, hasta kendi sesiyle iletişim kurmaya devam edebiliyor.
BCI ayrıca, katılımcının şarkı söyleme girişimlerini de algılayabiliyor, hedeflenen üç farklı perdeyi belirleyebiliyor ve sesi modüle ederek vokal melodileri sentezleyebiliyor. Araştırmacılar tarafından paylaşılan bir videoda bu yetenek gösterilirken, bu gelişmenin felçli insanların kendilerini doğal bir şekilde ifade etmelerini sağlamada ne kadar önemli bir adım olduğu vurgulanıyor.
Nature dergisinde yayımlanacak olan makalenin kıdemli yazarı Sergey Stavisky, bu teknolojinin, nöroprotez kullanıcılarının sohbetlere daha fazla dahil olabilmeleri açısından büyük bir adım olduğunu belirtiyor. Stavisky, “Anında ses sentezi sayesinde, nöroprotez kullanıcıları sohbete katılabilecek, örneğin araya girebilecek ve insanların onları yanlışlıkla bölme olasılığı azalacak,” diyor.
Bu çalışma, UC Berkeley ve UC San Francisco’daki benzer araştırmaları da akla getiriyor. Bu sistemlerin her ikisi de beyin implantları kullanarak motor korteksten nöral sinyaller topluyor ve ekranda görüntülenen kelimeleri konuşmaya çalışan katılımcılardan elde edilen veriler üzerinde eğitilmiş yapay zeka sistemlerini kullanıyor.
UC Davis teknolojisinin bir diğer önemli özelliği ise, katılımcının ‘aah’, ‘ooh’ ve ‘hmm’ gibi ünlemlerini de üretebilmesi. Sistem, ayrıca bir cümlenin soru mu yoksa ifade mi olduğunu ve hangi kelimelerin vurgulandığını da belirleyebiliyor. Araştırmacılar, yapay zeka çözümleyicisinin eğitim verilerinin dışında kalan uydurma kelimeleri bile başarıyla yeniden üretebildiklerini belirtiyor.
Tüm bu özellikler, önceki sistemlere göre çok daha etkileyici ve doğal bir konuşma sentezi sağlıyor. Bu tür teknolojiler, felçli insanların yaşamlarını dönüştürebilir ve bu alandaki artan ilerlemeleri görmek oldukça heyecan verici.
UC Davis araştırmacıları, çalışmalarının sadece tek bir katılımcıyla yapıldığını ve sonraki çalışmalarında, konuşma kaybı yaşayan daha fazla sayıda denekle bu sonuçları tekrarlamaya çalışacaklarını belirtiyor. Maastricht Üniversitesi’nde görevli ve bu çalışmaya dahil olmayan bir bilgisayar sinirbilimcisi olan Christian Herff, Nature dergisinde yaptığı yorumda, “Bu, konuşma BCI’lerinde kutsal kâse,” diyor ve ekliyor: “Bu artık gerçek, kendiliğinden ve kesintisiz konuşma.”
