Die Embedded-AI-Landschaft befindet sich im grundlegenden Wandel: Entwickler gehen über einfache Machine-Learning-Modelle hinaus und setzen zunehmend anspruchsvolle tiefe neuronale Netze auf stark ressourcenbeschränkter Hardware ein.
Während sich klassisches TinyML auf grundlegende Inferenzaufgaben für Mikrocontroller konzentrierte, markiert das aufkommende Tiny Deep Learning (TinyDL) einen bedeutenden Sprung in den Fähigkeiten des Edge Computings. Die Verbreitung internetfähiger Geräte – von tragbaren Sensoren bis hin zu industriellen Monitoren – erfordert immer ausgefeiltere On-Device-KI. Die Implementierung komplexer Algorithmen auf diesen ressourcenarmen Plattformen stellt große Herausforderungen dar und treibt Innovationen in Bereichen wie Modellkompression und spezialisierter Hardware voran. Forschende gehen mittlerweile über einfache Machine-Learning-Modelle, bekannt als 'TinyML', hinaus und setzen zunehmend leistungsfähigere, aber dennoch kompakte 'Tiny Deep Learning' (TinyDL)-Architekturen ein.
Dieser Wandel wird durch mehrere zentrale technologische Entwicklungen ermöglicht. Das Kernprinzip von TinyDL liegt in der Modelloptimierung. Tiefe Lernmodelle sind typischerweise sehr groß und rechenintensiv und müssen für den effektiven Einsatz auf Edge-Geräten stark angepasst werden. Techniken wie Quantisierung, bei der die Genauigkeit der numerischen Repräsentationen im Modell reduziert wird, sind dabei entscheidend. Beispielsweise verringert die Umwandlung von 32-Bit-Floating-Point-Zahlen in 8-Bit-Integer sowohl die Modellgröße als auch den Rechenaufwand drastisch, wenn auch möglicherweise auf Kosten der Genauigkeit. Pruning – das systematische Entfernen redundanter Verbindungen in einem neuronalen Netz – trägt zusätzlich zur Modellkompression und -beschleunigung bei.
Spezialisierte Hardware für neuronale Beschleunigung erweist sich als Schlüsselfaktor für diesen Wandel. STMicroelectronics hat mit dem STM32N6 einen bedeutenden Schritt in der Mikrocontroller-Technologie gemacht: Laut ST ist dies der erste Mikrocontroller mit spezieller Hardware für KI-Beschleunigung. Dies markiert einen Wendepunkt in der Entwicklung von KI-Hardware. Rückblickend gab es zwei entscheidende Meilensteine in der Geschichte der KI-Hardware: Apples A11 Bionic Chip im Jahr 2017, der erste Anwendungsprozessor mit KI-Beschleunigung, und Nvidias Pascal-Architektur von 2016, die das Potenzial von GPUs für KI-Anwendungen bewies.
Der Neural-ART-Beschleuniger im heutigen STM32N6 verfügt über fast 300 konfigurierbare Multiply-Accumulate-Einheiten und zwei 64-Bit-AXI-Speicherbusse für einen Durchsatz von 600 GOPS. Das ist 600-mal mehr als beim schnellsten STM32H7, der keine NPU besitzt. Die STM32N6-Serie ist der leistungsstärkste Mikrocontroller von STMicroelectronics und wurde für anspruchsvolle Edge-AI-Anwendungen entwickelt. Sie bietet einen 800 MHz schnellen Arm Cortex-M55-Kern und einen Neural-ART-Beschleuniger mit 1 GHz Taktfrequenz, was bis zu 600 GOPS für Echtzeit-KI-Inferenz ermöglicht. Mit 4,2 MB RAM und einem dedizierten ISP ist sie auf Vision-, Audio- und industrielle IoT-Aufgaben zugeschnitten.
Auch die Software-Frameworks entwickeln sich parallel zur Hardware weiter, um diesen Wandel zu unterstützen. TinyML-Frameworks bieten eine robuste und effiziente Infrastruktur, mit der Unternehmen und Entwickler ihre Daten nutzen und fortschrittliche Algorithmen effektiv auf Edge-Geräten bereitstellen können. Diese Frameworks stellen eine breite Palette an Tools und Ressourcen bereit, die speziell für strategische Initiativen im Bereich Tiny Machine Learning entwickelt wurden. Zu den führenden Frameworks für TinyML zählen TensorFlow Lite (TF Lite), Edge Impulse, PyTorch Mobile, uTensor sowie Plattformen wie STM32Cube.AI, NanoEdgeAIStudio, NXP eIQ und Microsofts Embedded Learning Library.
Mit der Reife dieser Technologie werden zunehmend anspruchsvolle KI-Anwendungen direkt auf winzigen Edge-Geräten möglich, was neue Anwendungsfälle eröffnet und gleichzeitig Datenschutz, geringe Latenz und minimalen Energieverbrauch gewährleistet. Der Übergang zu Tiny Deep Learning markiert einen wichtigen Meilenstein, um fortschrittliche KI auch in ressourcenbeschränkten Umgebungen zugänglich zu machen.