Gömülü yapay zeka alanı, geliştiricilerin basit makine öğrenimi modellerinin ötesine geçerek, son derece kısıtlı donanımlar üzerinde gelişmiş derin sinir ağlarını dağıtmaya başlamasıyla köklü bir dönüşüm yaşıyor.
Geleneksel TinyML, mikrodenetleyiciler için temel çıkarım görevlerine odaklanırken, ortaya çıkan Tiny Deep Learning (TinyDL) paradigması, uç bilişim yeteneklerinde önemli bir sıçramayı temsil ediyor. İnternete bağlı cihazların, giyilebilir sensörlerden endüstriyel izleyicilere kadar yaygınlaşması, cihaz üzerinde giderek daha sofistike yapay zekayı zorunlu kılıyor. Bu kaynakları kısıtlı platformlarda karmaşık algoritmaların dağıtılması önemli zorluklar doğuruyor ve model sıkıştırma ile özel donanım gibi alanlarda inovasyonu tetikliyor. Araştırmacılar artık 'TinyML' olarak adlandırılan basit makine öğrenimi modellerinin ötesine geçerek, daha güçlü fakat hâlâ kompakt olan 'Tiny Deep Learning' (TinyDL) mimarilerini dağıtmaya yöneliyor.
Bu değişim, birkaç temel teknolojik gelişmeyle mümkün oluyor. TinyDL'nin temelinde model optimizasyonu yatıyor. Derin öğrenme modelleri genellikle büyük boyutlu ve hesaplama açısından yoğun olduğundan, uç cihazlarda etkili bir şekilde dağıtılabilmeleri için önemli ölçüde uyarlanmaları gerekiyor. Modeldeki sayısal temsillerin hassasiyetini azaltan kuantizasyon gibi teknikler büyük önem taşıyor. Örneğin, 32 bit kayan noktalı sayıları 8 bit tamsayılara dönüştürmek, model boyutunu ve hesaplama gereksinimlerini büyük ölçüde azaltıyor; ancak bu, bazen doğrulukta küçük kayıplara yol açabiliyor. Sinir ağındaki gereksiz bağlantıların sistematik olarak kaldırılması anlamına gelen budama (pruning) ise modelin daha da sıkıştırılmasına ve hızlandırılmasına katkı sağlıyor.
Bu geçişte özel nöral hızlandırıcı donanımlar kritik bir rol oynuyor. STMicroelectronics, STM32N6'yı tanıtarak, MCU teknolojisinde önemli bir adım attı ve ST'ye göre, yapay zeka hızlandırması için özel donanım içeren ilk mikrodenetleyici oldu. Bu, yapay zeka donanımının evriminde önemli bir dönüm noktasına işaret ediyor. Geçmişe bakıldığında, yapay zeka donanımının evriminde iki büyük olay öne çıkıyor: 2017'de Apple'ın A11 Bionic çipi, yapay zeka hızlandırması içeren ilk uygulama işlemcisi olurken, 2016'da Nvidia'nın Pascal mimarisi, GPU'ların yapay zeka faaliyetleri için vaatlerini kanıtladı.
Günümüzün STM32N6'sındaki Neural-ART hızlandırıcı, neredeyse 300 yapılandırılabilir çarp-topla birimi ve 600 GOPS verimliliği için iki adet 64 bit AXI bellek veri yoluna sahip. Bu, NPU içermeyen en hızlı STM32H7'ye göre 600 kat daha fazla performans anlamına geliyor. STM32N6 serisi, STMicroelectronics'in bugüne kadarki en güçlü mikrodenetleyicisi olup, zorlu uç yapay zeka uygulamalarını çalıştırmak için tasarlandı. 800 MHz Arm Cortex-M55 çekirdeği ve 1 GHz hızında çalışan Neural-ART Hızlandırıcısı ile gerçek zamanlı yapay zeka çıkarımı için 600 GOPS'a kadar performans sunuyor. 4,2 MB RAM ve özel bir ISP ile görsel, sesli ve endüstriyel IoT görevleri için özel olarak geliştirildi.
Yazılım çerçeveleri de bu geçişi desteklemek için donanımla birlikte evriliyor. TinyML çerçeveleri, kuruluşların ve geliştiricilerin verilerini kullanmasını ve gelişmiş algoritmaları uç cihazlarda etkili bir şekilde dağıtmasını sağlayan sağlam ve verimli bir altyapı sunuyor. Bu çerçeveler, Tiny Machine Learning alanında stratejik girişimleri desteklemek üzere özel olarak tasarlanmış çok çeşitli araçlar ve kaynaklar sağlıyor. TinyML uygulamaları için önde gelen çerçeveler arasında TensorFlow Lite (TF Lite), Edge Impulse, PyTorch Mobile, uTensor ve STM32Cube.AI, NanoEdgeAIStudio, NXP eIQ ile Microsoft'un Embedded Learning Library gibi platformlar yer alıyor.
Bu teknoloji olgunlaştıkça, doğrudan küçük uç cihazlarda çalışan giderek daha gelişmiş yapay zeka uygulamalarını görmeyi bekleyebiliriz. Bu, yeni kullanım senaryolarını mümkün kılarken, gizliliği koruyacak, gecikmeyi azaltacak ve güç tüketimini en aza indirecek. Tiny Deep Learning'e geçiş, gelişmiş yapay zekanın kaynakları kısıtlı ortamlarda erişilebilir olmasında önemli bir kilometre taşıdır.