Нейроморфная система, рассматриваемая в данном исследовании, обучается у пилота-человека. Типичная система для такого типа исследований была бы разработана для графических процессоров, использующих глубокую нейронную сеть. Однако предыдущие исследования показывают, что графические процессоры требуют относительно большого количества энергии для работы и выделяют сравнительно много тепла. Более того, из-за ограничений, связанных с малыми габаритами, весом и энергопотреблением (SWaP), для летательных аппаратов (ЛА) и беспилотных летательных аппаратов (БАС), графические процессоры могут быть вне борта или использовать облачные вычисления. Это может быть непрактично в некоторых ситуациях. Поэтому в качестве альтернативы был выбран нейроморфный процессор Loihi 2. В данном исследовании было обнаружено, что Loihi 2 решает эти проблемы, обеспечивая при этом исключительную и надежную производительность. Сигма-дельта-нейронная сеть Lava (SDNN), вдохновлённая PilotNet, может быть использована для управления самолётом или дроном, обучаясь у пилота-человека с помощью нейроморфной модели Loihi 2. В этом исследовании для обучения SDNN использовались данные реальных лётных испытаний, собранные исследователями в ходе испытательных полётов дронов. В ходе исследования была разработана модель, использующая гиппокамп и зрительную кору головного мозга человека в контексте SDNN. Результаты этого исследования должны расширить возможности автономного управления воздушными судами и беспилотными летательными аппаратами. Это исследование позволит создать больше научных и инженерных приложений для исследований и обеспечения автономности, что в конечном итоге повысит эффективность миссий за счёт быстрых, современных и автономных вычислений. SDNN продемонстрировала надёжный алгоритм, эмулирующий биологические системы и обладающий высокой степенью обобщения. Насколько нам известно, это первая в мире работа, позволяющая беспилотному летательному аппарату (БПЛА) управляться автономно с помощью Loihi 2, используя SDNN.
*Перевод выполнен с помощью нейросетей
Real-time Vision-based Control of SWaP-constrained Flight System with Intel Loihi 2
The Neuromorphic based system contained in this research learns from the human pilot. The typical system for this type of research would have been designed for GPUs utilizing a Deep Neural Network. However, previous research indicates that GPUs require relatively large amounts of energy to operate and produce comparatively high amounts of heat. Moreover, due to Low Size Weight and Power (SWaP) constraints for Aircraft (A/C) and for Uncrewed Aerial Systems (UAS), GPUs may have to be off-board and or cloud computing utilized. Which may not be practical in situations. Therefore as an alternative the neuromorphic processor Loihi 2 was chosen. In this research, it was found that Loihi 2 solves these problems while showing to provide exceptional and robust performance. The Lava Sigma-Delta Neural Network (SDNN) inspired by PilotNet can be used in such a way to fly an aircraft or drone by learning from the human pilot using the neuromorphic Loihi 2. This study utilized actual live flight test data the researchers collected from live drone test flights to train an SDNN. During this research, a model was developed using the human hippocampus and visual cortex as they relate to the SDNN. The results of this study should enable an expanded autonomy envelope for A/C and UAS. This research will allow the creation of more scientific and engineering discovery and autonomy applications, ultimately empowering more mission efficacy by way of fast, on the edge, and stand alone computing. Demonstrated by the SDNN was a robust algorithm that emulated biological systems and generalized very well. To the best of our knowledge, this is the first in the world’s work that enables a UAS to be autonomously flown with Loihi 2, utilizing the SDNN.