Washington Üniversitesi’ndeki araştırmacılar tarafından geliştirilen bir yapay zeka uygulaması Audeo AI, basitçe sessiz piyano videolarını analiz ederek videolardaki müziği yeniden çalabiliyor.
Artık yapay zeka bile, bir piyanonun herhangi bir sesini yalnızca sessiz bir videoyu analiz ederek gerçekçi bir şekilde dijital olarak yeniden üretmek mümkün.
Washington Üniversitesi’ndeki bir araştırma ekibi, daha önce Mozart veya Bach gibi klasik besteciler tarafından müzik çalan piyanist Paul Barton’un 172.000 karelik videosuyla eğitilmiş bir tür akıllı yazılımı içeren Audeo AI isimli bir yapay zeka teknolojisi geliştirdi.
Audeo AI sanal olarak piyano çalabiliyor
Audeo AI, sessiz bir videoyu analiz ederek, hangi tuşlara basıldığını ve sıralarının ne olduğunu dikkatlice öğrenebilir. Bu şekilde, notaları ve bunların düzenini tespit eder. Ayrıca, tuşların her birinin ne kadar sert çalındığını ve ne kadar süreyle basılı tutulduğunu algılayabilir, bu, her notanın yoğunluğunu ve daha sonra çalınan notaların sesi altında ne kadar kaldığını hesaplamasına olanak tanır. Bu yeterli değilmiş gibi, yapay zeka piyanoların ayırt edici akustik özelliklerini de anlayabilir.
Bu veriler, bir dijital sentezleyici tarafından anlaşılabilecek bir formata dönüştürülür ve bu sentezleyici müzik dosyasını çaldığında, orijinal piyano sesine çok yakın bir ses çıkar.
Audeo AI, testlerden birinde, besteci Barton’un kendine özgü müzik parçalarını çaldığı sessiz videolar aracılığıyla bir şarkı öğrenmeyi başardı.
Daha sonra SoundHound gibi müzik tanıma uygulamaları, yapay zeka tarafından gerçekleştirilen bu tür prodüksiyonları analiz ederek müzik parçasını yaklaşık% 86 doğrulukla tanıyabildi. Karşılaştırma için, orijinal piyano sesi analiz edildiğinde, tanıma doğruluğu % 93’e yükseldi.
