Sulautetun tekoälyn kenttä on perusteellisessa murroksessa, kun kehittäjät siirtyvät yksinkertaisista koneoppimismalleista kohti kehittyneiden syvien neuroverkkojen käyttöönottoa erittäin rajallisilla laitteistoilla.
Perinteinen TinyML keskittyi mikro-ohjainten perusinferenssitehtäviin, mutta nouseva Tiny Deep Learning (TinyDL) -paradigma merkitsee huomattavaa harppausta reunalaskennan kyvykkyydessä. Internet-yhteyksillä varustettujen laitteiden, kuten puettavien antureiden ja teollisuusvalvontalaitteiden, yleistyminen edellyttää yhä kehittyneempää laitekohtaista tekoälyä. Monimutkaisten algoritmien toteuttaminen näillä rajoitetuilla alustoilla on haastavaa, mikä ajaa innovaatioita esimerkiksi mallien tiivistyksessä ja erikoistuneessa laitteistossa. Tutkijat siirtyvät nyt yksinkertaisista 'TinyML'-malleista kohti tehokkaampia, mutta edelleen kompakteja 'Tiny Deep Learning' (TinyDL) -arkkitehtuureja.
Tätä muutosta mahdollistavat useat keskeiset teknologiset kehitysaskeleet. TinyDL:n ytimessä on mallien optimointi. Syvät neuroverkot ovat tyypillisesti suurikokoisia ja laskennallisesti raskaita, joten niiden tehokas käyttö reunalaitteilla vaatii merkittäviä mukautuksia. Kvantisointi, jossa mallin numeeristen arvojen tarkkuutta pienennetään, on keskeistä. Esimerkiksi 32-bittisten liukulukujen muuttaminen 8-bittisiksi kokonaisluvuiksi pienentää mallin kokoa ja laskentatehoa huomattavasti, tosin mahdollisesti hieman tarkkuuden kustannuksella. Prunauksen eli tarpeettomien yhteyksien poistamisen avulla mallia voidaan edelleen tiivistää ja nopeuttaa.
Omistetut neuraalikiihdytinlaitteistot ovat osoittautumassa ratkaisevan tärkeiksi tässä siirtymässä. STMicroelectronics on esitellyt STM32N6:n, joka yhtiön mukaan on ensimmäinen mikro-ohjain, jossa on dedikoitu tekoälykiihdytin. Tämä on merkittävä käännekohta tekoälylaitteistojen kehityksessä. Historiallisesti kaksi merkittävää tapahtumaa ovat olleet Applen A11 Bionic -piiri vuonna 2017, joka oli ensimmäinen sovellusprosessori tekoälykiihdytyksellä, sekä Nvidian Pascal-arkkitehtuuri vuonna 2016, joka osoitti GPU:iden potentiaalin tekoälytehtävissä.
STM32N6:n Neural-ART -kiihdytin sisältää lähes 300 konfiguroitavaa kertolasku-kertymäyksikköä ja kaksi 64-bittistä AXI-muistiväylää, tarjoten 600 GOPS:n suorituskyvyn. Tämä on 600 kertaa enemmän kuin nopeimmalla STM32H7:llä, jossa ei ole NPU:ta. STM32N6-sarja on STMicroelectronicsin tehokkain mikro-ohjain tähän mennessä, suunniteltu vaativiin reunatekoälysovelluksiin. Siinä on 800 MHz:n Arm Cortex-M55 -ydin ja Neural-ART Accelerator, joka toimii 1 GHz:n taajuudella ja tarjoaa jopa 600 GOPS:n reaaliaikaisiin tekoälyinfrensseihin. 4,2 Mt RAM-muistilla ja omalla ISP:llä laite soveltuu erityisesti kuva-, ääni- ja teollisen IoT:n tehtäviin.
Ohjelmistokehykset kehittyvät laitteiston rinnalla tukemaan tätä muutosta. TinyML-kehykset tarjoavat vankan ja tehokkaan infrastruktuurin, jonka avulla organisaatiot ja kehittäjät voivat hyödyntää dataansa ja ottaa käyttöön edistyneitä algoritmeja reunalaitteilla. Nämä kehykset tarjoavat laajan valikoiman työkaluja ja resursseja, jotka on suunniteltu tukemaan Tiny Machine Learningin strategisia tavoitteita. Suosituimpia TinyML-toteutusten kehysalustoja ovat TensorFlow Lite (TF Lite), Edge Impulse, PyTorch Mobile, uTensor sekä alustat kuten STM32Cube.AI, NanoEdgeAIStudio, NXP eIQ ja Microsoftin Embedded Learning Library.
Teknologian kypsyessä voimme odottaa yhä kehittyneempien tekoälysovellusten pyörivän suoraan pienillä reunalaitteilla, mahdollistaen uusia käyttötapauksia, mutta samalla säilyttäen yksityisyyden, pienentäen viivettä ja minimoiden virrankulutuksen. Siirtymä Tiny Deep Learningiin on merkittävä virstanpylväs kehittyneen tekoälyn tuomisessa rajallisten resurssien ympäristöihin.