Oblast vestavěné umělé inteligence prochází zásadní proměnou, protože vývojáři se posouvají od jednoduchých modelů strojového učení k nasazování sofistikovaných hlubokých neuronových sítí na extrémně omezeném hardwaru.
Zatímco tradiční TinyML se zaměřovalo na základní inference úlohy pro mikrokontroléry, nastupující paradigma Tiny Deep Learning (TinyDL) představuje významný skok vpřed ve schopnostech edge computingu. Rozmach internetem propojených zařízení, od nositelných senzorů po průmyslové monitory, vyžaduje stále sofistikovanější umělou inteligenci přímo na zařízení. Nasazení komplexních algoritmů na těchto hardwarově omezených platformách přináší značné výzvy, což pohání inovace v oblastech jako komprese modelů a specializovaný hardware. Výzkumníci nyní překračují hranice jednoduchých modelů strojového učení, označovaných jako 'TinyML', a směřují k nasazování výkonnějších, avšak stále kompaktních architektur 'Tiny Deep Learning' (TinyDL).
Tento posun umožňuje několik klíčových technologických inovací. Základním principem TinyDL je optimalizace modelů. Hluboké neuronové sítě, které jsou typicky rozsáhlé a výpočetně náročné, vyžadují zásadní úpravy pro efektivní nasazení na edge zařízeních. Klíčové jsou techniky jako kvantizace, která snižuje přesnost číselných reprezentací v modelu. Například převod 32bitových čísel s plovoucí desetinnou čárkou na 8bitová celá čísla dramaticky snižuje velikost modelu i výpočetní nároky, byť za cenu možné ztráty přesnosti. Pruning, tedy systematické odstraňování redundantních spojení v neuronové síti, dále přispívá ke kompresi a zrychlení modelu.
Zásadní roli v tomto přechodu hraje dedikovaný hardware pro neuronální akceleraci. Společnost STMicroelectronics představila STM32N6, což znamená významný krok v technologii mikrokontrolérů – podle ST je totiž prvním, který obsahuje dedikovaný hardware pro AI akceleraci. To představuje důležitý milník ve vývoji AI hardwaru. Při pohledu do historie lze zmínit dvě zásadní události: čip Apple A11 Bionic z roku 2017, první aplikační procesor s AI akcelerací, a architekturu Nvidia Pascal z roku 2016, která potvrdila potenciál GPU pro AI úlohy.
Neurální akcelerátor Neural-ART v dnešním STM32N6 obsahuje téměř 300 konfigurovatelných jednotek pro násobení a sčítání a dva 64bitové AXI paměťové sběrnice pro propustnost 600 GOPS. To je 600krát více než u nejrychlejšího STM32H7, který NPU neobsahuje. Řada STM32N6 je nejvýkonnějším mikrokontrolérem STMicroelectronics, navrženým pro náročné edge AI aplikace. Nabízí 800MHz jádro Arm Cortex-M55 a Neural-ART akcelerátor běžící na 1 GHz, což umožňuje až 600 GOPS pro AI inference v reálném čase. S 4,2 MB RAM a dedikovaným ISP je určen pro úlohy v oblasti počítačového vidění, audia i průmyslového IoT.
Spolu s hardwarem se vyvíjejí i softwarové frameworky, které tuto transformaci podporují. Frameworky TinyML poskytují robustní a efektivní infrastrukturu, která umožňuje organizacím i vývojářům využívat svá data a efektivně nasazovat pokročilé algoritmy na edge zařízeních. Nabízejí širokou škálu nástrojů a zdrojů speciálně navržených pro strategické iniciativy v oblasti Tiny Machine Learning. Mezi hlavní frameworky pro implementaci TinyML patří TensorFlow Lite (TF Lite), Edge Impulse, PyTorch Mobile, uTensor a platformy jako STM32Cube.AI, NanoEdgeAIStudio, NXP eIQ a Embedded Learning Library od Microsoftu.
Jak tato technologie zraje, můžeme očekávat stále sofistikovanější AI aplikace běžící přímo na miniaturních edge zařízeních, což umožní nové scénáře využití při zachování soukromí, snížení latence a minimalizaci spotřeby energie. Přechod k Tiny Deep Learning představuje významný milník na cestě k dostupnosti pokročilé AI v hardwarově omezených prostředích.