Benchmarking the NXP i.MX8M+ neural processing unit: smart parking case study

Chaves-González, Edgar; León-Vega, Luis G.

Evaluando la unidad de procesamiento neuronal NXP i.MX8M+: el caso de estudio de parqueos inteligentes

dc.creator	Chaves-González, Edgar
dc.creator	León-Vega, Luis G.
dc.date	2022-11-28
dc.date.accessioned	2023-02-16T16:05:39Z
dc.date.available	2023-02-16T16:05:39Z
dc.identifier	https://revistas.tec.ac.cr/index.php/tec_marcha/article/view/6487
dc.identifier	10.18845/tm.v35i9.6487
dc.identifier.uri	https://hdl.handle.net/2238/14162
dc.description	Nowadays, deep learning has become one of the most popular solutions for computer vision, and it has also included the Edge. It has influenced the System-on-Chip (SoC) vendors to integrate accelerators for inference tasks into their SoCs, including NVIDIA, NXP, and Texas Instruments embedded systems. This work explores the performance of the NXP i.MX8M Plus Neural Processing Unit (NPU) as one of the solutions for inference tasks. For measuring the performance, we propose an experiment that uses a GStreamer pipeline for inferring license plates, which is composed of two stages: license plate detection and character inference. The benchmark takes execution time and CPU usage samples within the metrics when running the inference serially and parallel. The results show that the key benefit of using the NPU is the CPU freeing for other tasks. After offloading the license plate detection to NPU, we lowered the overall CPU consumption by 10x. The performance obtained has an inference rate of 1 Hz, limited by the character inference.	en-US
dc.description	Actualmente, el aprendizaje profundo se ha convertido en una de las soluciones más populares para la visión por computador y ha incluido también el Edge. Esto ha influenciado a los productores de System-on-Chip (SoC) a integrar aceleradores para tareas de inferencia en sus SoC, incluyendo a NVIDIA, NXP y Texas Instruments. En este trabajo se explora el rendimiento de la unidad de procesamiento neuronal (NPU) de la NXP i.MX8M Plus como una de las soluciones de tareas de inferencia. Para las mediciones de desempeño, proponemos un experimento basado en un pipeline de GStreamer para la inferencia de placas de vehículos, el cual consta de dos etapas: la detección de placas y la inferencia de sus caracteres. Para ello, este benchmark toma muestras de tiempos de ejecución y uso de CPU dentro de sus muestras cuando se corre la ejecución de la inferencia de manera serial y paralela. Los resultados obtenidos demuestran que el beneficio en el uso del NPU radica en la liberación del CPU para otras tareas. Después de descargar la detección de placas al NPU, reducimos el consumo total de CPU 10 veces. El desempeño obtenido tiene una tasa de inferencia de 1 Hz, limitado por la inferencia de caracteres.	es-ES
dc.format	application/pdf
dc.format	text/html
dc.language	eng
dc.language	spa
dc.publisher	Editorial Tecnológica de Costa Rica (entidad editora)	es-ES
dc.relation	https://revistas.tec.ac.cr/index.php/tec_marcha/article/view/6487/6294
dc.relation	https://revistas.tec.ac.cr/index.php/tec_marcha/article/view/6487/6313
dc.rights	https://creativecommons.org/licenses/by-nc-nd/4.0	es-ES
dc.source	Tecnología en marcha Journal; 2022: Vol. 35 special issue. IEEE International Conference on Bioinspired Processing; Pág. 26-30	en-US
dc.source	Revista Tecnología en Marcha; 2022: Vol. 35 especial. IEEE International Conference on Bioinspired Processing; Pág. 26-30	es-ES
dc.source	2215-3241
dc.source	0379-3982
dc.subject	Computer vision	en-US
dc.subject	AI accelerator	en-US
dc.subject	embedded software	en-US
dc.subject	smart cameras	en-US
dc.subject	convolutional neural networks	en-US
dc.subject	TinyYOLO	en-US
dc.subject	Rosetta	en-US
dc.subject	Visión por computador	es-ES
dc.subject	Acelerador de AI	es-ES
dc.subject	software empotrado	es-ES
dc.subject	cámaras inteligentes	es-ES
dc.subject	convolutional neural networks	es-ES
dc.subject	TinyYOLO	es-ES
dc.subject	Rosetta	es-ES
dc.title	Benchmarking the NXP i.MX8M+ neural processing unit: smart parking case study	en-US
dc.title	Evaluando la unidad de procesamiento neuronal NXP i.MX8M+: el caso de estudio de parqueos inteligentes	es-ES
dc.type	info:eu-repo/semantics/article
dc.type	info:eu-repo/semantics/publishedVersion

Ficheros en el ítem

Ficheros	Tamaño	Formato	Ver
No hay ficheros asociados a este ítem.

Este ítem aparece en la(s) siguiente(s) colección(ones)

Tecnología en Marcha [2043]
Es una revista que se publica por trimestres

Mostrar el registro sencillo del ítem