임베디드 AI 분야는 개발자들이 단순한 머신러닝 모델을 넘어, 극도로 자원이 제한된 하드웨어에서 정교한 딥 뉴럴 네트워크를 배포하는 방향으로 근본적인 변화를 겪고 있다.
기존의 TinyML이 마이크로컨트롤러에서 기본적인 추론 작업에 초점을 맞췄다면, 새롭게 부상하는 초소형 딥러닝(TinyDL) 패러다임은 엣지 컴퓨팅의 역량을 한 단계 도약시키는 전환점으로 평가된다. 웨어러블 센서부터 산업용 모니터까지 인터넷에 연결된 디바이스가 급증함에 따라, 온디바이스 인공지능의 정교함에 대한 요구가 커지고 있다. 이러한 자원 제약 플랫폼에 복잡한 알고리즘을 탑재하는 것은 상당한 도전이기에, 모델 압축 및 특화 하드웨어 등 다양한 혁신이 촉진되고 있다. 연구자들은 이제 'TinyML'로 불리는 단순 머신러닝 모델을 넘어, 더 강력하면서도 여전히 소형화된 'Tiny Deep Learning'(TinyDL) 아키텍처의 배포를 모색하고 있다.
이러한 변화는 여러 핵심 기술 발전에 의해 가능해지고 있다. TinyDL의 핵심 원리는 모델 최적화에 있다. 딥러닝 모델은 일반적으로 크기가 방대하고 연산량이 많기 때문에, 엣지 디바이스에 효과적으로 탑재하려면 상당한 변형이 필요하다. 예를 들어, 모델 내 수치 표현의 정밀도를 낮추는 '양자화' 기법은 필수적이다. 32비트 부동소수점 수를 8비트 정수로 변환하면 모델 크기와 연산 요구량이 대폭 줄어들지만, 약간의 정확도 손실이 발생할 수 있다. 또한, 뉴럴 네트워크 내 불필요한 연결을 체계적으로 제거하는 '프루닝' 역시 모델 압축과 속도 향상에 기여한다.
전용 뉴럴 가속기 하드웨어는 이러한 전환에 핵심적인 역할을 하고 있다. ST마이크로일렉트로닉스는 STM32N6를 출시하며, MCU 기술에서 최초로 AI 가속 전용 하드웨어를 탑재했다고 밝혔다. 이는 AI 하드웨어 진화의 중대한 전환점으로 평가된다. 과거를 돌아보면, 2017년 애플의 A11 바이오닉 칩(최초로 AI 가속기를 탑재한 애플리케이션 프로세서)과 2016년 엔비디아의 파스칼 아키텍처(GPU의 AI 활용 가능성을 입증)가 AI 하드웨어 진화의 두 번의 큰 사건이었다.
오늘날 STM32N6에 탑재된 Neural-ART 가속기는 약 300개의 구성 가능한 곱셈-누적 연산 유닛과 두 개의 64비트 AXI 메모리 버스를 갖추고 있어, 600 GOPS의 처리량을 제공한다. 이는 NPU가 없는 기존 최상위 STM32H7 대비 600배에 달하는 성능이다. STM32N6 시리즈는 ST마이크로일렉트로닉스가 출시한 역대 가장 강력한 마이크로컨트롤러로, 고성능 엣지 AI 애플리케이션을 위해 설계되었다. 800MHz Arm Cortex-M55 코어와 1GHz로 동작하는 Neural-ART Accelerator를 탑재해, 실시간 AI 추론에 최대 600 GOPS를 제공한다. 4.2MB의 RAM과 전용 ISP를 갖춰, 비전, 오디오, 산업용 IoT 작업에 최적화되어 있다.
소프트웨어 프레임워크 역시 하드웨어와 함께 진화하며 이 전환을 지원하고 있다. TinyML 프레임워크는 조직과 개발자가 데이터를 효과적으로 활용하고, 엣지 디바이스에 고급 알고리즘을 배포할 수 있도록 견고하고 효율적인 인프라를 제공한다. 이러한 프레임워크는 초소형 머신러닝 전략을 추진하는 데 특화된 다양한 도구와 리소스를 지원한다. 대표적인 TinyML 구현 프레임워크로는 TensorFlow Lite(TF Lite), Edge Impulse, PyTorch Mobile, uTensor, 그리고 STM32Cube.AI, NanoEdgeAIStudio, NXP eIQ, Microsoft Embedded Learning Library 등이 있다.
이 기술이 성숙해짐에 따라, 점점 더 정교한 AI 애플리케이션이 초소형 엣지 디바이스에서 직접 구동되어, 개인정보 보호, 지연 시간 감소, 전력 소모 최소화 등 새로운 활용 사례를 가능하게 할 것으로 기대된다. 초소형 딥러닝으로의 전환은 첨단 AI를 자원 제약 환경에서도 활용할 수 있게 하는 중요한 이정표다.