Lanskap AI tertanam (embedded AI) sedang mengalami transformasi mendasar seiring para pengembang bergerak melampaui model machine learning sederhana menuju penerapan jaringan neural dalam (deep neural networks) yang canggih pada perangkat keras dengan sumber daya sangat terbatas.
Sementara TinyML tradisional berfokus pada tugas inferensi dasar untuk mikrokontroler, paradigma Tiny Deep Learning (TinyDL) yang sedang berkembang menandai lompatan besar dalam kemampuan komputasi edge. Proliferasi perangkat yang terhubung internet, mulai dari sensor wearable hingga monitor industri, menuntut kecerdasan buatan di perangkat (on-device AI) yang semakin canggih. Penerapan algoritma kompleks pada platform dengan sumber daya terbatas menghadirkan tantangan besar, sehingga mendorong inovasi di bidang kompresi model dan perangkat keras khusus. Para peneliti kini bergerak melampaui model machine learning sederhana, yang dikenal dengan 'TinyML', menuju arsitektur 'Tiny Deep Learning' (TinyDL) yang lebih kuat namun tetap ringkas.
Pergeseran ini dimungkinkan oleh sejumlah pengembangan teknologi kunci. Prinsip utama yang mendasari TinyDL terletak pada optimasi model. Model deep learning, yang umumnya berukuran besar dan membutuhkan komputasi intensif, memerlukan adaptasi signifikan agar dapat diterapkan secara efektif pada perangkat edge. Teknik seperti kuantisasi (quantization), yang mengurangi presisi representasi numerik dalam model, menjadi sangat penting. Misalnya, mengubah angka floating-point 32-bit menjadi integer 8-bit secara dramatis mengurangi ukuran model dan kebutuhan komputasi, meskipun berpotensi mengorbankan sedikit akurasi. Pruning, yaitu penghapusan sistematis koneksi redundan dalam jaringan neural, juga berkontribusi pada kompresi dan percepatan model.
Perangkat keras akselerator neural khusus terbukti sangat penting dalam transisi ini. STMicroelectronics telah memperkenalkan STM32N6, menandai langkah besar dalam teknologi MCU karena, menurut ST, menjadi yang pertama menghadirkan perangkat keras khusus untuk akselerasi AI. Ini menandai titik balik penting dalam evolusi perangkat keras AI. Jika menengok ke belakang, ada dua peristiwa besar dalam evolusi perangkat keras AI: chip Apple A11 Bionic pada 2017, prosesor aplikasi pertama yang menyertakan akselerasi AI, dan arsitektur Pascal Nvidia pada 2016, yang membuktikan potensi GPU untuk aktivitas AI.
Akselerator Neural-ART pada STM32N6 saat ini memiliki hampir 300 unit multiply-accumulate yang dapat dikonfigurasi dan dua bus memori AXI 64-bit untuk throughput hingga 600 GOPS. Ini 600 kali lebih tinggi dibandingkan STM32H7 tercepat yang tidak memiliki NPU. Seri STM32N6 merupakan mikrokontroler paling bertenaga dari STMicroelectronics hingga saat ini, dirancang untuk menangani aplikasi edge AI yang menuntut. Dilengkapi inti Arm Cortex-M55 800 MHz dan Neural-ART Accelerator 1 GHz, perangkat ini mampu memberikan hingga 600 GOPS untuk inferensi AI real-time. Dengan RAM 4,2 MB dan ISP khusus, STM32N6 dioptimalkan untuk tugas visi, audio, dan IoT industri.
Kerangka kerja perangkat lunak juga berkembang seiring perangkat keras untuk mendukung transisi ini. Kerangka kerja TinyML menyediakan infrastruktur yang tangguh dan efisien, memungkinkan organisasi dan pengembang memanfaatkan data mereka dan menerapkan algoritma canggih secara efektif pada perangkat edge. Kerangka ini menawarkan beragam alat dan sumber daya yang dirancang khusus untuk mendorong inisiatif strategis di bidang Tiny Machine Learning. Beberapa kerangka kerja teratas untuk implementasi TinyML meliputi TensorFlow Lite (TF Lite), Edge Impulse, PyTorch Mobile, uTensor, serta platform seperti STM32Cube.AI, NanoEdgeAIStudio, NXP eIQ, dan Microsoft Embedded Learning Library.
Seiring teknologi ini semakin matang, kita dapat berharap akan semakin banyak aplikasi AI canggih yang berjalan langsung pada perangkat edge berukuran kecil, membuka kasus penggunaan baru sembari menjaga privasi, mengurangi latensi, dan meminimalkan konsumsi daya. Transisi menuju Tiny Deep Learning merupakan tonggak penting dalam mewujudkan AI canggih yang dapat diakses di lingkungan dengan sumber daya terbatas.