Implementacja AI/ML dla środowiska programistycznego uczenia maszynowego NXP eIQ kamer typu 'smart’

Dzięki swojej szerokiej ofercie produktów, obejmującej mikrokontrolery, procesory, czujniki, analogowe układy scalone i moduły łączności, NXP katalizuje innowacje w wielu branżach. Wkład ten jest szczególnie zauważalny w domenach motoryzacyjnej, konsumenckiej, przemysłowej i sieciowej.
🏆
Aby rozpocząć pracę z kamerami wyposażonymi w procesor ARM Cortex Quad Core, jednostkę graficzną GPU i neuralną NPU (np. o mocy przetwarzania 2,3 TOPS), zaleca się wykorzystanie środowiska programistycznego NXP eIQ Machine Learning Software Development Environment. eIQ to zestaw bibliotek i narzędzi programistycznych umożliwiających implementację algorytmów uczenia maszynowego w mikrokontrolerach NXP i procesorach aplikacyjnych, w tym w rodzinie i.MX.
🛎️
Kluczowymi komponentami NXP eIQ są:
➡️ Silniki wnioskowania:
➡️ ➡️ TensorFlow Lite: Zoptymalizowana pod kątem urządzeń mobilnych i wbudowanych, obsługująca akcelerację sprzętową za pomocą delegatów, takich jak VX Delegate w serii i.MX 8.
➡️ ➡️ ONNX Runtime: Środowisko wykonawcze wnioskowania dla modeli w formacie ONNX, zapewniające elastyczność w wyborze narzędzi szkoleniowych.
➡️ ➡️ PyTorch: Popularna biblioteka uczenia maszynowego obsługująca dynamiczne sieci neuronowe.
➡️ ➡️ OpenCV: Biblioteka widzenia komputerowego zawierająca moduły do ​​zastosowań uczenia maszynowego.
➡️ Narzędzia:
➡️ ➡️ Zestaw narzędzi eIQ: Zaprojektowany w celu uproszczenia rozwoju aplikacji AI/ML w produktach NXP. Obsługuje zarówno interfejs graficzny (portal eIQ), jak i wiersz poleceń do zarządzania zestawem danych, szkolenia modeli, optymalizacji i wdrażania.
➡️ eIQ Model Zoo:
Repozytorium wstępnie wytrenowanych modeli dla różnych zadań AI, gotowych do wdrożenia na obsługiwanych platformach NXP.
Implementacja AI/ML na platformach i.MX przy użyciu eIQ:
➡️ Konfiguracja środowiska Yocto:
Aby zbudować obraz systemu Linux dla platform i.MX z obsługą eIQ, należy wykorzystać projekt Yocto. Proces ten obejmuje pobranie odpowiednich warstw meta, skonfigurowanie i skompilowanie obrazu. Szczegółowe instrukcje są dostępne w „i.MX Yocto Project User’s Guide”.
➡️ Budowanie i wdrażanie aplikacji ML:
Po skonfigurowaniu środowiska można opracować i wdrożyć aplikacje ML. eIQ udostępnia przykładowe aplikacje demonstrujące integrację sieci neuronowych dla zadań takich jak rozpoznawanie obiektów i analizy dźwięku.
➡️ Optymalizacja i przyspieszenie:
eIQ obsługuje przyspieszenie sprzętowe przy użyciu dostępnych jednostek obliczeniowych, w tym CPU, GPU i NPU. Na przykład TensorFlow Lite może wykorzystywać przyspieszenie GPU lub NPU za pośrednictwem odpowiednich delegatów, umożliwiając efektywne wykorzystanie dostępnych zasobów.
🗝️
ASTERIT rozpoczyna przygodę z kluczowymi komponentami NXP eIQ (TensorFlow Lite, eIQ Toolkit, Model Zoo), implementacją AI/ML na platformach i.MX przy użyciu eIQ (Yocto Environment), budowaniem i wdrażaniem aplikacji ML z optymalizacją i akceleracją dla kamer ArkVision Smart AI.
🪝
Źródło grafiki: futureelectronics.com
Inne źródła: nxp.com