Sumasailalim sa isang pundamental na pagbabago ang tanawin ng embedded AI habang ang mga developer ay lumalampas na sa simpleng machine learning models at nagsisimulang mag-deploy ng mas sopistikadong deep neural networks sa mga hardware na may matinding limitasyon sa resources.
Habang ang tradisyonal na TinyML ay nakatuon sa mga batayang inference task para sa mga microcontroller, ang umuusbong na Tiny Deep Learning (TinyDL) paradigm ay kumakatawan sa isang malaking hakbang pasulong sa kakayahan ng edge computing. Ang pagdami ng mga internet-connected na device, mula sa mga wearable sensor hanggang sa mga industrial monitor, ay nangangailangan ng mas sopistikadong on-device artificial intelligence. Ang pag-deploy ng mga komplikadong algorithm sa mga platform na may limitadong resources ay nagdudulot ng malalaking hamon, na nagtutulak ng inobasyon sa mga larangan tulad ng model compression at espesyalisadong hardware. Ang mga mananaliksik ay lumalampas na sa simpleng machine learning models, na tinatawag na 'TinyML', patungo sa pag-deploy ng mas makapangyarihan ngunit compact pa rin na 'Tiny Deep Learning' (TinyDL) architectures.
Pinapagana ang pagbabagong ito ng ilang mahahalagang teknolohikal na pag-unlad. Ang pangunahing prinsipyo sa likod ng TinyDL ay ang model optimization. Ang mga deep learning model, na karaniwang napakalaki at nangangailangan ng matinding computation, ay kailangang iangkop nang husto para sa epektibong pag-deploy sa edge devices. Mahalaga ang mga teknik tulad ng quantization, na nagpapababa ng precision ng numerical representations sa loob ng modelo. Halimbawa, ang pag-convert ng 32-bit floating-point numbers sa 8-bit integers ay lubos na nagpapaliit ng laki ng modelo at computational demands, kahit na maaaring bumaba nang kaunti ang accuracy. Ang pruning, o sistematikong pagtanggal ng mga redundant na koneksyon sa neural network, ay nakakatulong pa sa compression at pagpapabilis ng modelo.
Nagiging mahalaga ang dedikadong neural accelerator hardware sa transisyong ito. Inilunsad ng STMicroelectronics ang STM32N6, na isang malaking hakbang sa teknolohiya ng MCU dahil ito, ayon sa ST, ang unang may dedikadong hardware para sa AI acceleration. Ito ay isang mahalagang punto sa kasaysayan ng AI hardware. Sa pagbabalik-tanaw, may dalawang malalaking kaganapan sa ebolusyon ng AI hardware: ang A11 Bionic chip ng Apple noong 2017, ang unang application processor na may AI acceleration, at ang Pascal architecture ng Nvidia noong 2016, na nagpatunay ng potensyal ng GPUs para sa AI activities.
Ang Neural-ART accelerator sa kasalukuyang STM32N6 ay may halos 300 configurable multiply-accumulate units at dalawang 64-bit AXI memory buses para sa throughput na 600 GOPS. Ito ay 600 beses na mas mataas kaysa sa pinakamabilis na STM32H7 na walang NPU. Ang STM32N6 series ay ang pinakamakapangyarihang microcontroller ng STMicroelectronics sa ngayon, idinisenyo para sa mga matitinding edge AI application. Mayroon itong 800 MHz Arm Cortex-M55 core at Neural-ART Accelerator na tumatakbo sa 1 GHz, na nagbibigay ng hanggang 600 GOPS para sa real-time AI inference. Sa 4.2 MB na RAM at dedikadong ISP, ito ay iniakma para sa vision, audio, at industrial IoT na mga gawain.
Kasabay ng hardware, umuunlad din ang mga software framework upang suportahan ang transisyong ito. Nagbibigay ang mga TinyML framework ng matatag at episyenteng imprastraktura na nagpapahintulot sa mga organisasyon at developer na magamit ang kanilang data at mag-deploy ng advanced na mga algorithm sa edge devices nang epektibo. Nag-aalok ang mga framework na ito ng malawak na hanay ng mga tool at resources na partikular na idinisenyo upang itulak ang mga estratehikong inisyatibo sa Tiny Machine Learning. Kabilang sa mga nangungunang framework para sa TinyML implementation ang TensorFlow Lite (TF Lite), Edge Impulse, PyTorch Mobile, uTensor, at mga platform tulad ng STM32Cube.AI, NanoEdgeAIStudio, NXP eIQ, at Microsoft's Embedded Learning Library.
Habang patuloy na nahihinog ang teknolohiyang ito, inaasahan nating makakakita ng mas sopistikadong AI applications na direktang tumatakbo sa maliliit na edge device, nagbibigay-daan sa mga bagong use case habang pinapanatili ang privacy, binabawasan ang latency, at pinapaliit ang power consumption. Ang paglipat sa Tiny Deep Learning ay isang mahalagang milestone sa pagbibigay ng access sa advanced AI sa mga kapaligirang may limitadong resources.