Het embedded AI-landschap ondergaat een fundamentele transformatie nu ontwikkelaars verder gaan dan eenvoudige machine learning-modellen en geavanceerde diepe neurale netwerken uitrollen op hardware met zeer beperkte middelen.
Waar traditionele TinyML zich richtte op basale inferentietaken voor microcontrollers, betekent het opkomende Tiny Deep Learning (TinyDL)-paradigma een aanzienlijke sprong voorwaarts in de mogelijkheden van edge computing. De opkomst van internet-verbonden apparaten, van draagbare sensoren tot industriële monitors, vereist steeds geavanceerdere kunstmatige intelligentie op het apparaat zelf. Het uitrollen van complexe algoritmes op deze platforms met beperkte middelen brengt aanzienlijke uitdagingen met zich mee, wat innovatie stimuleert op het gebied van modelcompressie en gespecialiseerde hardware. Onderzoekers gaan nu verder dan eenvoudige machine learning-modellen, bekend als 'TinyML', en richten zich op krachtigere, maar nog steeds compacte, 'Tiny Deep Learning' (TinyDL)-architecturen.
Deze verschuiving wordt mogelijk gemaakt door verschillende belangrijke technologische ontwikkelingen. Het kernprincipe achter TinyDL is modeloptimalisatie. Deep learning-modellen zijn doorgaans omvangrijk en rekenintensief en vereisen aanzienlijke aanpassingen voor effectieve inzet op edge-apparaten. Technieken zoals kwantisatie, waarbij de precisie van numerieke representaties binnen het model wordt verlaagd, zijn hierbij essentieel. Zo zorgt het omzetten van 32-bits floating-point getallen naar 8-bits gehele getallen voor een drastische vermindering van zowel de modelgrootte als de rekeneisen, zij het mogelijk ten koste van enige nauwkeurigheid. Pruning, het systematisch verwijderen van overbodige verbindingen binnen een neuraal netwerk, draagt verder bij aan modelcompressie en versnelling.
Toegewijde neurale accelerator-hardware blijkt cruciaal voor deze overgang. STMicroelectronics heeft de STM32N6 geïntroduceerd, een belangrijke stap in MCU-technologie, omdat dit volgens ST de eerste is met speciale hardware voor AI-versnelling. Dit markeert een belangrijk keerpunt in de evolutie van AI-hardware. Terugkijkend op de geschiedenis zijn er twee grote gebeurtenissen in de evolutie van AI-hardware: de A11 Bionic-chip van Apple uit 2017, de eerste applicatieprocessor met AI-versnelling, en Nvidia's Pascal-architectuur uit 2016, die het potentieel van GPU's voor AI-toepassingen bewees.
De Neural-ART accelerator in de huidige STM32N6 beschikt over bijna 300 configureerbare multiply-accumulate units en twee 64-bits AXI-geheugenbussen voor een verwerkingssnelheid van 600 GOPS. Dat is 600 keer meer dan mogelijk is op de snelste STM32H7, die geen NPU heeft. De STM32N6-serie is de krachtigste microcontroller van STMicroelectronics tot nu toe, ontworpen voor veeleisende edge AI-toepassingen. Hij beschikt over een 800 MHz Arm Cortex-M55-core en een Neural-ART Accelerator op 1 GHz, goed voor maximaal 600 GOPS voor real-time AI-inferentie. Met 4,2 MB RAM en een speciale ISP is hij geoptimaliseerd voor vision-, audio- en industriële IoT-taken.
Softwareframeworks ontwikkelen zich parallel aan de hardware om deze overgang te ondersteunen. TinyML-frameworks bieden een robuuste en efficiënte infrastructuur waarmee organisaties en ontwikkelaars hun data kunnen benutten en geavanceerde algoritmen effectief kunnen uitrollen op edge-apparaten. Deze frameworks bieden een breed scala aan tools en middelen die specifiek zijn ontworpen om strategische initiatieven op het gebied van Tiny Machine Learning te stimuleren. De belangrijkste frameworks voor TinyML-implementatie zijn onder andere TensorFlow Lite (TF Lite), Edge Impulse, PyTorch Mobile, uTensor en platforms als STM32Cube.AI, NanoEdgeAIStudio, NXP eIQ en Microsoft's Embedded Learning Library.
Naarmate deze technologie volwassen wordt, kunnen we steeds geavanceerdere AI-toepassingen verwachten die direct op kleine edge-apparaten draaien, wat nieuwe toepassingen mogelijk maakt terwijl privacy wordt gewaarborgd, latentie wordt verminderd en het energieverbruik minimaal blijft. De overgang naar Tiny Deep Learning betekent een belangrijke mijlpaal in het toegankelijk maken van geavanceerde AI in omgevingen met beperkte middelen.