Функции, связанные с автономным вождением (AD), представляют важные элементы для следующего поколения мобильных роботов и автономных транспортных средств, ориентированных на все более интеллектуальные, автономные и взаимосвязанные системы. Приложения, использующие эти функции, по определению должны обеспечивать принятие решений в реальном времени, и это свойство является ключевым для предотвращения катастрофических аварий. Более того, все процессы принятия решений должны требовать низкого энергопотребления, чтобы увеличить срок службы и автономность систем с батарейным питанием. Эти проблемы могут быть решены за счет эффективной реализации Спайковых Нейронных Сетей (SNN) на Нейроморфных Чипах и использования событийных камер вместо традиционных кадровых камер. В этой статье мы представляем новый подход на основе SNN, называемый LaneSNN, для обнаружения полос, нанесенных на улицы, с использованием входных данных событийной камеры. Мы разрабатываем четыре новые модели SNN, характеризующиеся низкой сложностью и быстрым откликом, и обучаем их с использованием правила обучения с учителем в автономном режиме. Впоследствии мы реализуем и размещаем обученные модели SNN на нейроморфном исследовательском чипе Intel Loihi. Для функции потерь мы разрабатываем новый метод, основанный на линейной композиции взвешенной бинарной перекрестной энтропии (WCE) и среднеквадратичной ошибки (MSE). Наши экспериментальные результаты показывают максимальную меру Intersection over Union (IoU) около 0.62 и очень низкое энергопотребление около 1 Вт. Наилучший показатель IoU достигается при реализации SNN, которая занимает всего 36 нейроядер на процессоре Loihi, обеспечивая при этом низкую задержку менее 8 мс для распознавания одного изображения, что позволяет добиться производительности в реальном времени. Показатели IoU, обеспечиваемые нашими сетями, сравнимы с современными аналогами, но при гораздо более низком энергопотреблении в 1 Вт.
Введение
В последние годы проектирование надежных и эффективных систем автономного вождения (AD) стало одним из ключевых направлений исследований в области предстоящей Умной мобильности [1]. Это приводит к разработке все более совершенных алгоритмов и решений. В данной статье предлагается класс Спайковых Нейронных Сетей (SNN), которые могут быть напрямую реализованы на одном из самых передовых нейроморфных аппаратных средств для энергоэффективного развертывания продвинутых систем AD в реальном времени. Кроме того, мы используем событийные камеры в качестве сенсора зрения благодаря их привлекательным свойствам, таким как энергоэффективность, биологическая правдоподобность, высокий динамический диапазон и хорошая совместимость с нейроморфными системами.
A. Цель исследования и проблемы
Чтобы иметь возможность безопасно управлять, мобильные роботы и автономные транспортные средства должны постоянно анализировать окружающую среду и учитывать малейшие изменения для принятия наилучшего решения и предотвращения катастрофических аварий. Следовательно, важно, чтобы процесс принятия решений происходил в реальном времени. Более того, желательно, чтобы разработанная система AD сохраняла низкое энергопотребление, особенно при ее размещении в электрических транспортных средствах с батарейным питанием.
Чтобы лучше проанализировать общую проблему AD, мы можем разделить процесс принятия решений на две части, которые должны соответствовать ограничениям по низкой задержке и низкому энергопотреблению:
Зрение: внешняя среда оценивается и захватывается одним или несколькими датчиками;
Вычисления: sensed данные анализируются, и предоставляется essentialная информация для прогнозирования реакции системы.
Система зрения может быть представлена камерами, собирающими изображения окружающей среды. Передовые динамические визуальные сенсоры (DVS) позволяют создавать событийные камеры, специализирующиеся на обнаружении изменений освещенности, что имитирует поведение сетчатки глаза. Это очень реактивные, надежные и маломощные устройства [2]. Следовательно, они представляют собой эффективный выбор для передовых приложений AD [3].
Современный тренд для решения сложных проблем AD — это развертывание Глубоких Нейронных Сетей (DNN), которые достигают высокой производительности, но очень дороги с точки зрения энергопотребления [4]. Альтернативный тренд — использование возникающих Спайковых Нейронных Сетей (SNN) [5]. По сравнению с DNN, эти SNN обладают большей биологической правдоподобностью и демонстрируют событийную обработку, что делает их выбором с низкой задержкой и высокой энергоэффективностью для задач AD. Для дальнейшего достижения низкого энергопотребления и низкой задержки Нейроморфные Чипы предоставляют отличные варианты аппаратных платформ [6], [7].
В этой статье мы сосредотачиваемся на проблеме "Обнаружения полос". Следуя этим исследовательским целям, мы проектируем, оптимизируем и реализуем SNN на нейроморфном исследовательском чипе Intel Loihi [8] и оцениваем их на наборе данных DET [9]. Более того, система зрения основана на событийной камере DVS [10], [11].
*Перевод выполнен с помощью нейросетей
LaneSNNs: Spiking Neural Networks for Lane Detection on the Loihi Neuromorphic Processor
Autonomous Driving (AD) related features represent important elements for the next generation of mobile robots and autonomous vehicles focused on increasingly intelligent, autonomous, and interconnected systems. The applications involving the use of these features must provide, by definition, real-time decisions, and this property is key to avoid catastrophic accidents. Moreover, all the decision processes must require low power consumption, to increase the lifetime and autonomy of battery-driven systems. These challenges can be addressed through efficient implementations of Spiking Neural Networks (SNNs) on Neuromorphic Chips and the use of event-based cameras instead of traditional framebased cameras. In this paper, we present a new SNN-based approach, called LaneSNN, for detecting the lanes marked on the streets using the event-based camera input. We develop four novel SNN models characterized by low complexity and fast response, and train them using an offline supervised learning rule. Afterward, we implement and map the learned SNNs models onto the Intel Loihi Neuromorphic Research Chip. For the loss function, we develop a novel method based on the linear composition of Weighted binary Cross Entropy (WCE) and Mean Squared Error (MSE) measures. Our experimental results show a maximum Intersection over Union (IoU) measure of about 0.62 and very low power consumption of about 1 W. The best IoU is achieved with an SNN implementation that occupies only 36 neurocores on the Loihi processor while providing a low latency of less than 8 ms to recognize an image, thereby enabling realtime performance. The IoU measures provided by our networks are comparable with the state-of-the-art, but at a much low power consumption of 1 W.
Introduction
In recent years, the design of reliable and efficient Autonomous Driving (AD) systems has become one of the key research directions of the incoming Smart mobility [1]. Therefore, it leads to the development of increasingly advanced algorithms and solutions. This paper proposes a class of Spiking Neural Networks (SNNs) that are directly implementable on one of the most advanced neuromorphic hardware for energy-efficient real-time deployment of advanced AD systems. Furthermore, we leverage the event-based cameras as the vision sensor, due to their appealing properties, such as energy-efficiency, biological plausibility, high dynamic range, and good compatibility with neuromorphic systems. A. Target Research Problem and Research Challenges To be able to drive safely, mobile robots and autonomous vehicles must continuously analyze the surrounding environment and must take into account any slightestvariation to make the best decision and to prevent catastrophic accidents. Hence, it is essential that the decision process takes place in real time. Moreover, it is desirable that the developed AD system maintains low energy consumption1 , especially with its placement into battery-driven electric means of transport. To better analyze a general AD problem, we can divide the decision process into two parts, which must follow the low-latency and low-power constraints: 1) Vision: the external environment is evaluated and captured by one or more sensors; 2) Computation: the sensed data is analyzed and the essential information to predict the reaction of the system is provided. The vision system can be represented by cameras collecting images of the environment. The advanced dynamic vision sensors (DVS) enable event-based cameras that are specialized for detecting illumination changes, which mimic the behavior of the retina. They are very reactive, robust, and low-power devices [2]. Therefore, they represent an efficient choice for advanced AD applications [3]. A modern trend to address the complex AD problems is to deploy Deep Neural Networks (DNNs) that achieve high performance, but they are very expensive in terms of power consumption [4]. An alternate trend is to leverage the emerging Spiking Neural Networks (SNNs) [5]. Compared to DNNs, these SNNs have higher biological plausibility and exhibit event-based processing, thereby rendering them as a low-latency and energy-efficient choice for AD tasks. To further achieve low power consumption and low latency, the Neuromorphic Chips provide excellent hardware platform options [6], [7]. In this paper, we focus on the “Lane detection” problem. Following these research targets, we design, optimize, and implement SNNs on the Intel Loihi Neuromorphic Research Chip [8], and evaluate them on the DET dataset [9]. Moreover, the vision system is based on a DVS event-based camera [10], [11]. B. Our Novel Contributions We introduce LaneSNNs to detect pixels that represent the lanes on general images collected by an event-based camera. An overview of our novel contributions is shown in Fig. 1. In particular, our key contributions are: • we follow the Semantic Segmentation approach to implement the algorithms (Sec. II-A); • we adopt a dataset pre-processing unit to reduce the resolution of input and output images and to guarantee low complexity (Sec. II-B); • we introduce a novel loss function that provides a trade-off between the Weighted Binary Cross Entropy and the Mean Squared Error measures (Sec. II-C); • we implement the SNNs on the Intel Loihi Neuromorphic Research Chip [8] (Sec. IV-C); As evaluation, we analyze results in form of different Pareto Curves [12] (Sec. IV-D) and we compare our results with the state-of-the-art (Sec. IV-F). Paper Organization: Sec. II presents our target research problem and the general design decisions. Sec. III discusses the LaneSNNs design and the anti-overfitting strategies. Sec. IV evaluates the experimental results, and the implementations of our LaneSNNs onto the Loihi chip. Sec. V concludes the paper.