Krajolik ugrađene umjetne inteligencije prolazi kroz temeljitu transformaciju kako razvojni inženjeri prelaze s jednostavnih modela strojnog učenja na implementaciju sofisticiranih dubokih neuronskih mreža na hardveru s izrazito ograničenim resursima.
Dok se tradicionalni TinyML fokusirao na osnovne inferencijske zadatke za mikrokontrolere, novi paradigm Tiny Deep Learninga (TinyDL) predstavlja značajan iskorak u mogućnostima edge računalstva. Proliferacija internetski povezanih uređaja, od nosivih senzora do industrijskih monitora, zahtijeva sve sofisticiraniju umjetnu inteligenciju na samom uređaju. Implementacija složenih algoritama na ovim platformama s ograničenim resursima predstavlja velike izazove, što potiče inovacije u područjima poput kompresije modela i specijaliziranog hardvera. Istraživači sada idu dalje od jednostavnih modela strojnog učenja, poznatih kao 'TinyML', prema implementaciji snažnijih, ali i dalje kompaktnih arhitektura 'Tiny Deep Learninga' (TinyDL).
Ovaj pomak omogućuju ključna tehnološka dostignuća. Temeljno načelo TinyDL-a leži u optimizaciji modela. Duboki modeli učenja, koji su tipično vrlo veliki i računalno zahtjevni, zahtijevaju značajnu prilagodbu za učinkovitu implementaciju na edge uređajima. Tehnike poput kvantizacije, koja smanjuje preciznost numeričkih prikaza unutar modela, od presudne su važnosti. Na primjer, pretvaranje 32-bitnih brojeva s pomičnim zarezom u 8-bitne cijele brojeve drastično smanjuje veličinu modela i računalne zahtjeve, iako potencijalno uz određeni gubitak točnosti. Pruning, odnosno sustavno uklanjanje suvišnih veza unutar neuronske mreže, dodatno doprinosi kompresiji i ubrzanju modela.
Namjenski hardver za neuralno ubrzanje pokazuje se ključnim za ovu tranziciju. STMicroelectronics je predstavio STM32N6, što predstavlja značajan korak u tehnologiji mikrokontrolera jer, prema navodima ST-a, postaje prvi s namjenskim hardverom za AI ubrzanje. Ovo označava važnu prekretnicu u razvoju AI hardvera. Povijesno gledano, postoje dva velika događaja u evoluciji AI hardvera: Appleov A11 Bionic čip iz 2017., prvi aplikacijski procesor s AI ubrzanjem, te Nvidia Pascal arhitektura iz 2016., koja je dokazala potencijal GPU-ova za AI aktivnosti.
Neural-ART akcelerator u današnjem STM32N6 ima gotovo 300 konfigurabilnih jedinica za množenje i zbrajanje te dva 64-bitna AXI memorijska sabirnica za propusnost od 600 GOPS. To je 600 puta više od najbržeg STM32H7, koji nema NPU. Serija STM32N6 najmoćniji je mikrokontroler STMicroelectronicsa do sada, dizajniran za zahtjevne edge AI primjene. Sadrži Arm Cortex-M55 jezgru na 800 MHz i Neural-ART akcelerator na 1 GHz, isporučujući do 600 GOPS za AI inferenciju u stvarnom vremenu. Uz 4,2 MB RAM-a i namjenski ISP, prilagođen je za vizijske, audio i industrijske IoT zadatke.
Softverski okviri razvijaju se paralelno s hardverom kako bi podržali ovu tranziciju. TinyML okviri pružaju robusnu i učinkovitu infrastrukturu koja omogućuje organizacijama i razvojnim inženjerima iskorištavanje podataka i učinkovitu implementaciju naprednih algoritama na edge uređajima. Ovi okviri nude širok spektar alata i resursa posebno dizajniranih za strateške inicijative u Tiny Machine Learningu. Najvažniji okviri za TinyML implementaciju uključuju TensorFlow Lite (TF Lite), Edge Impulse, PyTorch Mobile, uTensor te platforme poput STM32Cube.AI, NanoEdgeAIStudio, NXP eIQ i Microsoftovu Embedded Learning Library.
Kako ova tehnologija sazrijeva, možemo očekivati sve sofisticiranije AI primjene koje će se izvoditi izravno na malim edge uređajima, omogućujući nove slučajeve upotrebe uz očuvanje privatnosti, smanjenje latencije i minimalnu potrošnju energije. Prijelaz na Tiny Deep Learning predstavlja važnu prekretnicu u približavanju napredne umjetne inteligencije okruženjima s ograničenim resursima.