Функции, связанные с автономным вождением (Autonomous Driving, AD), предоставляют новые формы мобильности, которые также полезны для других видов интеллектуальных и автономных систем, таких как роботы, интеллектуальный транспорт и "умные" производства. Для этих приложений решения необходимо принимать быстро и в реальном времени. Более того, в условиях перехода к электромобильности эта задача должна следовать политике низкого энергопотребления, не влияя существенно на автономность транспортного средства или робота. Эти две проблемы можно решить с помощью развивающихся импульсных нейронных сетей (Spiking Neural Networks, SNN). При развертывании на специализированном нейроморфном аппаратном обеспечении SNN могут достичь высокой производительности с низкой задержкой и низким энергопотреблением.
В этой статье мы используем SNN, подключенную к событийной камере, для решения одной из ключевых проблем автономного вождения, а именно классификации между автомобилями и другими объектами. Чтобы потреблять меньше энергии, чем традиционные кадровые камеры, мы используем динамическое сенсорное зрение (Dynamic Vision Sensor, DVS) [1]. Эксперименты проводятся с использованием автономного правила обучения с учителем, за которым следует отображение обученной модели SNN на исследовательском нейроморфном чипе Intel Loihi [2]. Наш лучший эксперимент достигает точности 86% при автономной реализации, которая падает до 83% при переносе на чип Loihi. Реализация на нейроморфном аппаратном обеспечении имеет максимальную задержку 0,72 мс для каждого образца и потребляет всего 310 мВт.
Насколько нам известно, эта работа является первой реализацией событийного классификатора для автомобилей на нейроморфном чипе.
*Перевод выполнен с помощью нейросетей
CarSNN: An Efficient Spiking Neural Network for Event-Based Autonomous Cars on the Loihi Neuromorphic Research Processor
Autonomous Driving (AD) related features provide new forms of mobility that are also beneficial for other kind of intelligent and autonomous systems like robots, smart transportation, and smart industries. For these applications, the decisions need to be made fast and in real-time. Moreover, in the quest for electric mobility, this task must follow low power policy, without affecting much the autonomy of the mean of transport or the robot. These two challenges can be tackled using the emerging Spiking Neural Networks (SNNs). When deployed on a specialized neuromorphic hardware, SNNs can achieve high performance with low latency and low power consumption. In this paper, we use an SNN connected to an event-based camera for facing one of the key problems for AD, i.e., the classification between cars and other objects. To consume less power than traditional framebased cameras, we use a Dynamic Vision Sensor (DVS) [1]. The experiments are made following an offline supervised learning rule, followed by mapping the learnt SNN model on the Intel Loihi Neuromorphic Research Chip [2]. Our best experiment achieves an accuracy on offline implementation of 86%, that drops to 83% when it is ported onto the Loihi Chip. The Neuromorphic Hardware implementation has maximum 0.72 ms of latency for every sample, and consumes only 310 mW. To the best of our knowledge, this work is the first implementation of an event-based car classifier on a Neuromorphic Chip.