Событийное видение и управление БПЛА на нейроморфном чипе

Событийные визуальные сенсоры обеспечивают до трех порядков величины лучшее соотношение скорости и энергопотребления при высокоскоростном управлении БПЛА по сравнению с традиционными изображениями. Событийные камеры создают разреженный поток событий, который можно обрабатывать более эффективно и с меньшей задержкой, чем изображения, что позволяет осуществлять сверхбыстрое управление на основе зрения. Здесь мы исследуем, как событийный визуальный алгоритм может быть реализован в виде спайковой нейронной сети на нейроморфном чипе и использован в контроллере дрона. Мы показываем, как бесшовная интеграция событийного восприятия на чипе приводит к еще более высоким частотам управления и меньшей задержке. Кроме того, мы демонстрируем, как может быть реализована онлайн-адаптация SNN-контроллера с использованием обучения на кристалле. Наша спайковая нейронная сеть на чипе является первым примером нейроморфного контроллера на основе зрения, решающего задачу высокоскоростного управления БПЛА. Отличная масштабируемость обработки в нейроморфном оборудовании открывает возможность решения более сложных визуальных задач в будущем и интеграции визуального восприятия в быстрые контуры управления.

Автономные беспилотные летательные аппараты (БПЛА) потенциально могут решать множество задач, например, автономный мониторинг инфраструктуры для прогнозирующего обслуживания, поддержка поисково-спасательных операций или доставка товаров в удаленные районы. Для развертывания в динамичных и непредсказуемых реальных условиях БПЛА требуют быстрого и эффективного восприятия и управления [1]–[4]. Было показано, что событийные камеры — визуальные сенсоры с асинхронными пикселями, сообщающими о локальном изменении яркости, вдохновленные биологической сетчаткой [5], [6] — приводят к до трех порядков величины более быстрой визуальной обработке, чем обычные сенсоры на основе изображений, при этом потребляя всего несколько мВт мощности [4], [7]. Недавно было продемонстрировано, как событийная камера может обеспечить отслеживание простого визуального паттерна с ограниченным БПЛА при угловой скорости >1000 градусов в секунду — недостижимая производительность для сенсоров на основе изображений с бортовыми вычислениями [8].

Событийные камеры, такие как Dynamic Vision Sensor (DVS) [9], [10], генерируют поток событий из своих пикселей вместо обычных матриц изображений. Ни обычные алгоритмы компьютерного зрения, ни сверточные нейронные сети (CNN), обычно используемые сегодня для продвинутого визуального восприятия, неприменимы напрямую к этому типу сигналов [7]. Таким образом, были разработаны специальные событийные визуальные алгоритмы для извлечения релевантной для задачи информации из потока событий [11]–[14]. Для обработки нейронными сетями обычно создаются «событийные изображения» путем накопления событий в обычных матричных структурах на основе фиксированных временных интервалов или фиксированного количества событий [15]–[18]. Были предложены специализированные акселераторы, чтобы сделать обработку таких DNN эффективной для приложений БПЛА [19].

Нейроморфное оборудование происходит из той же линии исследований, что и DVS, и реализует вдохновленные мозгом принципы вычислений на кристалле, такие как: вычисления на основе нейронных сетей, асинхронная событийная коммуникация нейронной активации с помощью «спайков», временная динамика состояния нейронов и эффективное обучение на кристалле в форме локальной синаптической пластичности. Нейроморфные вычислительные устройства — такие как нейроморфный исследовательский чип Intel Loihi [20], использованный в этой работе, и другие системы [21], [22] — поддерживают событийные вычисления напрямую и позволяют создавать маломощные архитектуры спайковых нейронных сетей с обучением на кристалле.

Спайковые нейронные сети (SNN) ранее исследовались для задач зрения, необходимых для управления БПЛА [23], с использованием сквозного обучения и преобразования CNN в SNN. Здесь мы показываем, как SNN для решения задачи визуального отслеживания линии может быть реализована напрямую на нейроморфном оборудовании. Мы сравниваем производительность нейроморфного контроллера с современным контроллером на основе событийного зрения, описанным в [8].

В нашей предыдущей работе мы представили как SNN-пропорциональные (P) контроллеры, так и пропорционально-интегрально-дифференциальные (PID) контроллеры, все реализованные в нейроморфном оборудовании [24]–[26]. Эта работа вдохновила ряд недавних нейроморфных архитектур управления двигателями [27] и продолжила давнюю линию исследований нейронно-вдохновленных методов управления двигателями [28], [29].

В этой статье мы продвигаем эту работу на два шага дальше в сторону маломощного событийного управления БПЛА на основе зрения в реальных задачах:

(1) используя ту же архитектуру сети, что и в [25], мы демонстрируем, как адаптация контроллера может быть реализована в замкнутом контуре с использованием правил обучения на кристалле;

(2) мы реализуем SNN на Loihi, которая генерирует оценки состояния напрямую из входящего потока событий DVS.

Мы демонстрируем улучшенную задержку и скорость обработки по сравнению с CPU-реализацией того же алгоритма. В отличие от предыдущих работ по сверхбыстрому событийному управлению двигателями [8], [30], [31], здесь события DVS подаются на нейронные ядра нейроморфного чипа с использованием интерфейса адресного представления событий (AER) [32] и обрабатываются напрямую SNN. Это открывает возможности для будущих исследований более сложных SNN для эффективного восприятия на кристалле для решения различных задач, необходимых для автономной навигации и управления миссиями: отслеживание цели и избегание препятствий, визуальная одометрия и построение карт.

Мы проводим тестирование различных частей архитектуры SNN и всей системы-прототипа и заключаем, что полностью нейроморфное восприятие в сочетании с обычным PD-управлением может обеспечить еще на порядок большее улучшение в скорости по сравнению с обычным управлением, управляемым событийным зрением, при этом полагаясь на низкое и масштабируемое энергопотребление нейроморфного оборудования.

Event-based vision sensors achieve up to three orders of magnitude better speed vs. power consumption trade off in high-speed control of UAVs compared to conventional image sensors. Event-based cameras produce a sparse stream of events that can be processed more efficiently and with a lower latency than images, enabling ultra-fast vision-driven control. Here, we explore how an event-based vision algorithm can be implemented as a spiking neuronal network on a neuromorphic chip and used in a drone controller. We show how seamless integration of event-based perception on chip leads to even faster control rates and lower latency. In addition, we demonstrate how online adaptation of the SNN controller can be realised using on-chip learning. Our spiking neuronal network on chip is the first example of a neuromorphic vision-based controller solving a high-speed UAV control task. The excellent scalability of processing in neuromorphic hardware opens the possibility to solve more challenging visual tasks in the future and integrate visual perception in fast control loops. I. INTRODUCTION Autonomous unmanned aerial vehicles (UAVs) can potentially solve many tasks, e.g., autonomous infrastructure monitoring for predictive maintenance, supporting search and rescue operations, or delivering goods to remote areas. To be deployed in dynamic and unpredictable real-world environments, UAVs require fast and efficient perception and control [1]–[4]. It has been shown that event-based cameras—visual sensors with asynchronous pixels reporting local luminance change, inspired by biological retinas [5], [6]—lead to up to three orders of magnitude faster visual processing than conventional image-based vision sensors, while also consuming a few mW of power [4], [7]. Recently, it has been demonstrated how an event-based camera can enable tracking of a simple visual pattern with a constrained UAV at an angular velocity of >1000 degrees per second— unreachable performance with image-based sensors with onboard computing [8]. Event-based cameras, such as the Dynamic Vision Sensor (DVS) [9], [10], generate a stream of events from their pixels instead of conventional image-matrices. Neither conventional computer vision algorithms nor convolutional neural networks (CNNs), typically used for advanced visual perception today, are directly applicable to this type ofsignals [7]. Thus, special event-based vision algorithms have been developed to extract task-relevant information from the stream of events [11]–[14]. For neural-network processing, event-images are usually created by accumulating events in conventional matrix structures based on fixed time intervals or a fixed number of events [15]–[18]. Special purpose accelerators have been proposed to make the processing of such DNNs efficient for UAV applications [19]. Neuromorphic hardware originates from the same line of research as the DVS and realizes brain-inspired computing principles on-chip, such as: neuronal-network based computing, asynchronous event-based communication of neuronal activation with “spikes”, temporal dynamics of the state of neurons, and efficient on-chip learning in form of local synaptic plasticity. Neuromorphic computing devices—such as Intel’s neuromorphic research chip Loihi [20] used in this work and other systems [21], [22]—support event-based computation directly and enable low-power spiking neural network architectures with on-chip learning. Spiking Neural Networks (SNNs) have been previously explored for vision tasks required for UAV control [23], using end-to-end learning and CNN to SNN conversion. Here, we show how an SNN for solving a visual line-tracking task can be implemented directly on neuromorphic hardware. We compare the performance of the neuromorphic controller with the state of the art event-based vision-based controller, described in [8]. In our previous work, we have introduced both SNNbased proportional (P) controllers as well as proportional, integral, derivative (PID) controllers, all implemented in neuromorphic hardware [24]–[26]. This work inspired a number of recent neuromorphic motor control architectures [27] and continued the long-standing research line of neuronally inspired motor control methods [28], [29]. In this paper, we bring this work two steps further towards low-power event-based vision-driven UAV control in realworld tasks: (1) using the same network architecture as in [25], we demonstrate how adaptation of the controller can be realised in closed loop using on-chip learning rules; (2) we implement a SNN on Loihi which generates state estimates directly from the incoming DVS event stream. We demonstrate improved latency and processing rate compared to the CPU implementation of the same algorithm. In contrast to previous work on ultra-fast event-driven motor control [8], [30], [31], here the DVS events are input to the neuronal cores of a neuromorphic chip using an address event representation (AER) interface [32], and processed directly by the SNN. This enables future research into more complex SNNs for efficient on-chip perception to solve different tasks required for autonomous navigation and mission control: target tracking and obstacle avoidance, visual odometry, and map formation. We benchmark different parts of the SNN architecture and of the overall prototype system and conclude that the fully neuromorphic perception combined with conventional PD control can bring out another order of magnitude improvement in speed compared to conventional control driven by event-based vision, while relying on the low and scalable power-consumption of neuromorphic hardware.