Peisajul AI-ului embedded trece printr-o transformare fundamentală, pe măsură ce dezvoltatorii depășesc modelele simple de machine learning și încep să implementeze rețele neuronale profunde sofisticate pe hardware cu resurse extrem de limitate.
În timp ce TinyML-ul tradițional se concentra pe sarcini de inferență de bază pentru microcontrolere, noul concept de Tiny Deep Learning (TinyDL) reprezintă un salt semnificativ înainte în capabilitățile edge computing-ului. Proliferarea dispozitivelor conectate la internet, de la senzori purtabili la monitoare industriale, necesită inteligență artificială din ce în ce mai sofisticată direct pe dispozitiv. Implementarea unor algoritmi complecși pe aceste platforme cu resurse limitate ridică provocări majore, stimulând inovația în domenii precum comprimarea modelelor și hardware-ul specializat. Cercetătorii depășesc acum modelele simple de machine learning, denumite „TinyML”, și trec spre implementarea unor arhitecturi „Tiny Deep Learning” (TinyDL) mai puternice, dar în continuare compacte.
Această tranziție este posibilă datorită unor evoluții tehnologice cheie. Principiul de bază al TinyDL constă în optimizarea modelelor. Modelele de deep learning, de obicei foarte mari și consumatoare de resurse de calcul, necesită adaptări substanțiale pentru a fi implementate eficient pe dispozitive edge. Tehnici precum cuantizarea, care reduce precizia reprezentărilor numerice din cadrul modelului, sunt esențiale. De exemplu, conversia numerelor în virgulă mobilă pe 32 de biți la întregi pe 8 biți reduce dramatic atât dimensiunea modelului, cât și cerințele de calcul, deși uneori cu un compromis asupra acurateței. Pruning-ul, adică eliminarea sistematică a conexiunilor redundante dintr-o rețea neuronală, contribuie suplimentar la comprimarea și accelerarea modelului.
Hardware-ul dedicat pentru accelerarea neurală se dovedește crucial în această tranziție. STMicroelectronics a lansat STM32N6, marcând un pas important în tehnologia MCU, devenind, potrivit ST, primul care integrează hardware dedicat pentru accelerarea AI. Acest lucru marchează un punct de cotitură semnificativ în evoluția hardware-ului AI. Privind înapoi, au existat două evenimente majore în evoluția hardware-ului AI: cipul A11 Bionic de la Apple din 2017, primul procesor de aplicații cu accelerare AI integrată, și arhitectura Pascal de la Nvidia din 2016, care a demonstrat potențialul GPU-urilor pentru activități AI.
Acceleratorul Neural-ART din STM32N6 are aproape 300 de unități configurabile de tip multiply-accumulate și două magistrale de memorie AXI pe 64 de biți, pentru un throughput de 600 GOPS. Aceasta reprezintă de 600 de ori mai mult decât ceea ce este posibil pe cel mai rapid STM32H7, care nu dispune de NPU. Seria STM32N6 este cea mai puternică gamă de microcontrolere de la STMicroelectronics de până acum, proiectată pentru a gestiona aplicații AI solicitante la nivel edge. Dispune de un nucleu Arm Cortex-M55 la 800 MHz și un Accelerator Neural-ART la 1 GHz, oferind până la 600 GOPS pentru inferență AI în timp real. Cu 4,2 MB RAM și un ISP dedicat, este optimizată pentru sarcini de viziune, audio și IoT industrial.
Framework-urile software evoluează în paralel cu hardware-ul pentru a susține această tranziție. Framework-urile TinyML oferă o infrastructură robustă și eficientă, care permite organizațiilor și dezvoltatorilor să valorifice datele proprii și să implementeze algoritmi avansați pe dispozitive edge în mod eficient. Aceste framework-uri pun la dispoziție o gamă largă de instrumente și resurse special concepute pentru a susține inițiativele strategice în Tiny Machine Learning. Printre cele mai importante framework-uri pentru implementarea TinyML se numără TensorFlow Lite (TF Lite), Edge Impulse, PyTorch Mobile, uTensor și platforme precum STM32Cube.AI, NanoEdgeAIStudio, NXP eIQ și Embedded Learning Library de la Microsoft.
Pe măsură ce această tehnologie se maturizează, ne putem aștepta la aplicații AI din ce în ce mai sofisticate care să ruleze direct pe dispozitive edge de mici dimensiuni, permițând noi cazuri de utilizare, păstrând în același timp confidențialitatea, reducând latența și minimizând consumul de energie. Tranziția către Tiny Deep Learning reprezintă un reper important în accesibilizarea AI avansate în medii cu resurse limitate.