Oblasť zabudovanej umelej inteligencie prechádza zásadnou premenou, keď vývojári prechádzajú od jednoduchých modelov strojového učenia k nasadzovaniu sofistikovaných hlbokých neurónových sietí na hardvéri s výrazne obmedzenými zdrojmi.
Kým tradičný TinyML sa zameriaval na základné inferenčné úlohy pre mikrokontroléry, vznikajúci prístup Tiny Deep Learning (TinyDL) predstavuje významný krok vpred v možnostiach edge computingu. Rozmach internetom prepojených zariadení, od nositeľných senzorov po priemyselné monitory, si vyžaduje čoraz sofistikovanejšiu umelú inteligenciu priamo na zariadení. Nasadzovanie komplexných algoritmov na týchto platformách s obmedzenými zdrojmi prináša veľké výzvy, ktoré poháňajú inovácie v oblastiach ako kompresia modelov a špecializovaný hardvér. Výskumníci sa tak posúvajú za hranice jednoduchých modelov strojového učenia, označovaných ako 'TinyML', smerom k výkonnejším, no stále kompaktným architektúram 'Tiny Deep Learning' (TinyDL).
Tento posun umožňuje viacero kľúčových technologických inovácií. Jadrom TinyDL je optimalizácia modelov. Hlboké neurónové siete, ktoré sú zvyčajne rozsiahle a výpočtovo náročné, si vyžadujú zásadné úpravy na efektívne nasadenie na edge zariadeniach. Kľúčové sú techniky ako kvantizácia, ktorá znižuje presnosť číselných reprezentácií v modeli. Napríklad konverzia 32-bitových čísel s pohyblivou desatinnou čiarkou na 8-bitové celé čísla dramaticky znižuje veľkosť modelu aj výpočtové nároky, hoci za cenu miernej straty presnosti. Pruning, teda systematické odstraňovanie nadbytočných spojení v sieti, ďalej prispieva ku kompresii a zrýchleniu modelu.
Kľúčovú úlohu v tomto prechode zohráva špecializovaný hardvér – neurónové akcelerátory. Spoločnosť STMicroelectronics predstavila STM32N6, ktorý podľa ST predstavuje prvý mikrokontrolér s dedikovaným hardvérom na AI akceleráciu. Ide o významný míľnik vo vývoji AI hardvéru. Pri pohľade do histórie boli doteraz dva zásadné momenty: čip Apple A11 Bionic z roku 2017, prvý aplikačný procesor s AI akceleráciou, a architektúra Nvidia Pascal z roku 2016, ktorá potvrdila potenciál GPU pre AI úlohy.
Neurónový akcelerátor Neural-ART v STM32N6 obsahuje takmer 300 konfigurovateľných jednotiek na násobenie a sčítanie a dva 64-bitové AXI pamäťové zbernice, čo umožňuje priepustnosť 600 GOPS. To je 600-násobok toho, čo zvládne najrýchlejší STM32H7 bez NPU. Séria STM32N6 je zatiaľ najvýkonnejším mikrokontrolérom od STMicroelectronics, navrhnutým na zvládanie náročných edge AI aplikácií. Obsahuje jadro Arm Cortex-M55 na 800 MHz a akcelerátor Neural-ART na 1 GHz, čo poskytuje až 600 GOPS pre AI inferenciu v reálnom čase. S 4,2 MB RAM a dedikovaným ISP je optimalizovaný pre úlohy v oblasti videnia, audia a priemyselného IoT.
Popri hardvéri sa vyvíjajú aj softvérové frameworky, ktoré tento prechod podporujú. Frameworky pre TinyML poskytujú robustnú a efektívnu infraštruktúru, ktorá umožňuje organizáciám a vývojárom efektívne využívať dáta a nasadzovať pokročilé algoritmy na edge zariadeniach. Tieto frameworky ponúkajú širokú škálu nástrojov a zdrojov špeciálne navrhnutých na podporu strategických iniciatív v oblasti Tiny Machine Learningu. Medzi najlepšie frameworky na implementáciu TinyML patria TensorFlow Lite (TF Lite), Edge Impulse, PyTorch Mobile, uTensor a platformy ako STM32Cube.AI, NanoEdgeAIStudio, NXP eIQ a Microsoft Embedded Learning Library.
Ako táto technológia dozrieva, môžeme očakávať čoraz sofistikovanejšie AI aplikácie bežiace priamo na malých edge zariadeniach, čo umožní nové prípady použitia pri zachovaní súkromia, znížení latencie a minimalizácii spotreby energie. Prechod na Tiny Deep Learning predstavuje významný míľnik v sprístupňovaní pokročilej AI v prostrediach s obmedzenými zdrojmi.