N-DriverMotion: обучение и прогнозирование движения водителя с использованием камеры, считывающей события, и напрямую обученных импульсных нейронных сетей на Loihi 2

Распознавание движений водителя является ключевым фактором обеспечения безопасности систем вождения. В этой статье представлена новая система для изучения и прогнозирования движений водителя, а также недавно собранный набор данных, основанный на событиях (event-based) (720 × 720), N-DriverMotion, предназначенный для обучения нейроморфной системы технического зрения. Система включает в себя событийную камеру, которая генерирует набор данных о движениях водителя, представляющий собой импульсные входные данные, и эффективные импульсные нейронные сети (spiking neural networks, SNN), эффективные при обучении и прогнозировании жестов водителя. Набор событийных данных состоит из 13 категорий движений водителя, классифицированных по направлению (передняя, боковая стороны), освещению (яркое, умеренное, темное) и участнику. Новая оптимизированная четырехслойная сверточная импульсная нейронная сеть (convolutional spiking neural network, CSNN) была обучена напрямую без какой-либо трудоемкой предварительной обработки. Это обеспечивает эффективную адаптацию к ограниченным по энергии и ресурсам встроенным системам на базе SNN для логического вывода в реальном времени на высокоразрешающих событийных потоках. По сравнению с недавними системами распознавания жестов, использующими нейронные сети для обработки изображений, предложенная нейроморфная система технического зрения достигает конкурентоспособной точности 94,04% в задаче классификации на 13 классов и 97,24% в задаче классификации неожиданных аномальных движений водителя с использованием архитектуры CSNN. Кроме того, при развертывании на нейроморфных чипах Intel Loihi 2 энергозадержанный продукт (energy-delay product, EDP) модели оказался в 20 721 раз эффективнее, чем у непериферийного графического процессора (non-edge GPU), и в 541 раз эффективнее, чем у графического процессора, предназначенного для периферийных устройств (edge-purpose GPU). Предложенная нами CSNN и набор данных могут быть использованы для разработки более безопасных и эффективных систем мониторинга водителя для автономных транспортных средств или периферийных устройств, требующих эффективной архитектуры нейронной сети.

Driver motion recognition is a key factor in ensuring the safety of driving systems. This paper presents a novel system for learning and predicting driver motions, along with an event-based (720 × 720) dataset, N-DriverMotion, newly collected to train a neuromorphic vision system. The system includes an event-based camera that generates a driver motion dataset representing spike inputs and efficient spiking neural networks (SNNs) that are effective in training and predicting the driver's gestures. The event dataset consists of 13 driver motion categories classified by direction (front, side), illumination (bright, moderate, dark), and participant. A novel optimized four-layer convolutional spiking neural network (CSNN) was trained directly without any time-consuming preprocessing. This enables efficient adaptation to energy- and resource-constrained on-device SNNs for real-time inference on high-resolution event-based streams. Compared to recent gesture recognition systems adopting neural networks for vision processing, the proposed neuromorphic vision system achieves competitive accuracy of 94.04% in a 13-class classification task, and 97.24% in an unexpected abnormal driver motion classification task with the CSNN architecture. Additionally, when deployed to Intel Loihi 2 neuromorphic chips, the energy-delay product (EDP) of the model achieved 20,721 times more efficient than that of a non-edge GPU, and 541 times more efficient than edge-purpose GPU. Our proposed CSNN and the dataset can be used to develop safer and more efficient driver-monitoring systems for autonomous vehicles or edge devices requiring an efficient neural network architecture.