Возможность высокоточной посадки расширяет доступ к научно-интересным районам и обеспечивает безопасность приземления. Одной из функций системы наведения, навигации и управления для достижения этой цели является навигация, основанная на техническом зрении. Данный метод навигации требует использования бортовых алгоритмов обработки изображений в реальном времени, выполняющих распознавание образов, выделение признаков, сопоставление, слежение и другие задачи. Однако, несмотря на потребность в быстрой обработке изображений, бортовые компьютеры космического назначения уступают коммерческим аналогам по производительности в 1-2 порядка. Для решения этой проблемы мы исследуем применимость алгоритма навигации по изображениям для классификации кратеров в архитектуре нейроморфных процессорных чипов, которые, как ожидается, будут работать со сверхнизким энергопотреблением. Нейроморфный процессор функционирует асинхронно и параллельно, имитируя нейробиологическую архитектуру, подобную нашему мозгу. Таким образом, процессор работает как спайковая нейронная сеть (SNN). Различие в механизмах между временными спайковыми нейронами и частотными искусственными нейронами создает проблему создания SNN с функциями, эквивалентными искусственным нейронным сетям (ANN). В данном исследовании предлагается метод обучения SNN путем переноса весов специально обученной ANN в качестве синаптической эффективности SNN, а также оценивается точность и энергопотребление SNN.
Возможность высокоточной посадки является важной технологией, которую необходимо освоить, поскольку она расширяет доступ к научно-интересным районам и обеспечивает безопасность приземления. Навигация по изображениям, которая оценивает положение и скорость космического аппарата путем сравнения карт с ориентирами на изображениях планетарной поверхности, является одной из функций наведения, навигации и управления для достижения высокоточной посадки. Типичные технологии навигации по изображениям включают задачи обработки изображений, такие как обнаружение кратеров (см. Рис. 1), сопоставление, отслеживание признаков и другие.
Реализация навигации по изображениям на небесных телах с гравитацией и большим удалением от Земли требует бортовой обработки изображений в реальном времени без связи с наземными станциями из-за высокой скорости спуска и задержек распространения сигнала связи. Однако, несмотря на потребность в быстрых задачах обработки изображений, бортовые компьютеры космического назначения работают хуже коммерческих.
Снижение производительности в основном связано с невозможностью повышения тактовой частоты из-за тепловых ограничений и требований к радиационной стойкости. В последнее десятилетие ожидалось, что процессорные чипы не фон-неймановского типа, такие как программируемые пользователем вентильные матрицы (FPGA), повысят скорость обработки за счет параллельных вычислений. FPGA становятся основными процессорами обработки изображений на космических аппаратах. Однако в настоящее время бортовые процессоры космического назначения отстают по производительности от коммерческих на 1-2 порядка. Поскольку будущие исследовательские миссии предполагают более сложные посадки на более удаленные небесные тела, требования к энергопотреблению процессоров становятся все более жесткими, а алгоритмы навигации — более сложными. Поэтому крайне важно преодолеть разрыв между сложностью алгоритмов и производительностью процессоров с точки зрения низкого энергопотребления. В последнее время несколько исследований были посвящены асинхронным вычислительным системам, имитирующим нейробиологическую архитектуру, подобную нашему мозгу, что называется нейроморфными вычислениями. В мозге связь между нейронами осуществляется путем асинхронной передачи последовательностей потенциалов действия (спайков) последующим нейронам. Поскольку эти отдельные спайки редки во времени, каждый спайк несет большой объем информации. В некоторых исследовательских проектах были разработаны нейроморфные процессорные чипы, которые вычисляют с низким энергопотреблением и высокой скоростью, имитируя такую динамику спайковых нейронов. В то время как обычные процессоры вычисляют последовательно, нейроморфные процессоры вычисляют параллельно, используя асинхронные и разреженные сигналы. Нейроморфная работа на основе спайковой нейронной сети (SNN) сокращает время вычислений и энергопотребление. Недавняя демонстрация нейроморфного процессора показывает, что сверточные нейронные сети (CNN) с миллионом спайковых нейронов на чипе могут работать с энергопотреблением всего в несколько десятков милливатт. Успех исследований таких нейроморфных процессоров открывает возможность того, что сложные алгоритмы навигации по изображениям, такие как глубокое обучение, смогут работать в условиях низкого энергопотребления вычислительной среды космического аппарата. Хотя обсуждается эффективность нейроморфных вычислений для космических систем, конкретных применений не существует. Поэтому в данном исследовании предлагается метод преобразования искусственных нейронных сетей (ANN) в спайковые нейронные сети для работы алгоритмов визуальной навигации на основе нейронных сетей на нейроморфном процессоре, а также оценивается точность и энергопотребление с использованием задачи классификации кратеров в качестве конкретного приложения для навигации по изображениям.
Остальная часть статьи организована следующим образом: компоненты искусственного нейрона и спайкового нейрона описаны в разделах 2.1 и 2.2, а наш метод преобразования ANN в SNN представлен в разделе 2.3. Результаты моделирования нейронной сети классификации кратеров, преобразованной в SNN, показаны в разделе 3. Заключение приведено в разделе 4.
Возможность высокоточной посадки является важной технологией, которую необходимо освоить, поскольку она расширяет доступ к научно-интересным районам и обеспечивает безопасность приземления. Навигация по изображениям, которая оценивает положение и скорость космического аппарата путем сравнения карт с ориентирами на изображениях планетарной поверхности, является одной из функций наведения, навигации и управления для достижения высокоточной посадки. Типичные технологии навигации по изображениям включают задачи обработки изображений, такие как обнаружение кратеров (см. Рис. 1), сопоставление, отслеживание признаков и другие.
Реализация навигации по изображениям на небесных телах с гравитацией и большим удалением от Земли требует бортовой обработки изображений в реальном времени без связи с наземными станциями из-за высокой скорости спуска и задержек распространения сигнала связи. Однако, несмотря на потребность в быстрых задачах обработки изображений, бортовые компьютеры космического назначения работают хуже коммерческих.
Снижение производительности в основном связано с невозможностью повышения тактовой частоты из-за тепловых ограничений и требований к радиационной стойкости. В последнее десятилетие ожидалось, что процессорные чипы не фон-неймановского типа, такие как программируемые пользователем вентильные матрицы (FPGA), повысят скорость обработки за счет параллельных вычислений. FPGA становятся основными процессорами обработки изображений на космических аппаратах. Однако в настоящее время бортовые процессоры космического назначения отстают по производительности от коммерческих на 1-2 порядка. Поскольку будущие исследовательские миссии предполагают более сложные посадки на более удаленные небесные тела, требования к энергопотреблению процессоров становятся все более жесткими, а алгоритмы навигации — более сложными. Поэтому крайне важно преодолеть разрыв между сложностью алгоритмов и производительностью процессоров с точки зрения низкого энергопотребления. В последнее время несколько исследований были посвящены асинхронным вычислительным системам, имитирующим нейробиологическую архитектуру, подобную нашему мозгу, что называется нейроморфными вычислениями. В мозге связь между нейронами осуществляется путем асинхронной передачи последовательностей потенциалов действия (спайков) последующим нейронам. Поскольку эти отдельные спайки редки во времени, каждый спайк несет большой объем информации. В некоторых исследовательских проектах были разработаны нейроморфные процессорные чипы, которые вычисляют с низким энергопотреблением и высокой скоростью, имитируя такую динамику спайковых нейронов. В то время как обычные процессоры вычисляют последовательно, нейроморфные процессоры вычисляют параллельно, используя асинхронные и разреженные сигналы. Нейроморфная работа на основе спайковой нейронной сети (SNN) сокращает время вычислений и энергопотребление. Недавняя демонстрация нейроморфного процессора показывает, что сверточные нейронные сети (CNN) с миллионом спайковых нейронов на чипе могут работать с энергопотреблением всего в несколько десятков милливатт. Успех исследований таких нейроморфных процессоров открывает возможность того, что сложные алгоритмы навигации по изображениям, такие как глубокое обучение, смогут работать в условиях низкого энергопотребления вычислительной среды космического аппарата. Хотя обсуждается эффективность нейроморфных вычислений для космических систем, конкретных применений не существует. Поэтому в данном исследовании предлагается метод преобразования искусственных нейронных сетей (ANN) в спайковые нейронные сети для работы алгоритмов визуальной навигации на основе нейронных сетей на нейроморфном процессоре, а также оценивается точность и энергопотребление с использованием задачи классификации кратеров в качестве конкретного приложения для навигации по изображениям.
Остальная часть статьи организована следующим образом: компоненты искусственного нейрона и спайкового нейрона описаны в разделах 2.1 и 2.2, а наш метод преобразования ANN в SNN представлен в разделе 2.3. Результаты моделирования нейронной сети классификации кратеров, преобразованной в SNN, показаны в разделе 3. Заключение приведено в разделе 4.
*Перевод выполнен с помощью нейросетей
Initial Study of Neuromorphic Application for Vision-Based Navigation
High precision landing capability increases accessibility to scientifically interesting areas and makes a safe landing. Vision-based navigation is one of the GN&C functions to achieve that. The navigation technique requires onboard and real-time image processing algorithms performing image recognition, feature extraction, matching, tracking, etc. However, despite the demand for fast image processing task, space-grade computers have been slower than commercial ones, lagging behind them by 1-2 orders of magnitude in performance. To address the issue, we study the applicability of a vision-based navigation algorithm for crater classification in architecture of neuromorphic processor chips which are expected to operate with ultra-low power consumption. The neuromorphic processor chip operates asynchronously and in parallel mimicking neuro-biological architecture like our brain. Therefore, the processor operates as a spiking neural network (SNN). The difference in mechanisms between timing-based spiking neurons and rate-based artificial neurons has a problem of how to make the SNNs with equivalent functions as artificial neural networks (ANNs). This study proposes a method to train the SNN by transferring weights of the ANN trained specially as synaptic efficacy of the SNN, and also evaluates the accuracy and power consumption of the SNN.
High precision landing capability is an important technique to be acquired because it increases accessibility to scientifically interesting areas and makes a safe landing. Vision-based navigation,1) which estimates state such as position and velocity of a spacecraft by comparing maps with landmarks in images of a planetary surface, is one of the guidance, navigation, and control functions to achieve high precision landing. The typical vision-based navigation technologies involve image processing tasks such as crater detection2) (see Fig. 1), matching,3) feature tracking, etc. Realization of vision-based navigation on celestial bodies with gravity and long distance from the earth requires onboard and real-time image processing without communicating with ground stations because of high-speed descent and communication propagation delay. However, despite the demand for fast image processing tasks, space-grade computers perform worse than commercial ones. The performance degradation is mainly due to the inability to clock up caused by thermal constraints, and the acquisition of radiation resistance. In the past decade, non-von Neumann type processor chips such as field-programmable gate arrays (FPGAs) are expected to improve the processing speed by parallel processing. The FPGAs are becoming mainstream of the image signal processors on spacecraft. However, at present, the spacegrade processors lag behind by 1-2 orders of magnitude in the performance compared to the commercial ones.4) As future exploration missions make a more advanced landing to farther celestial bodies, power consumption requirements for processors become severer, and navigation algorithms become more complicated. Therefore, it is essential to bridge the gap between the complexity of algorithms and the performance of processors in terms of low power consumption. Recently, several studies have addressed asynchronous computing systems mimicking neurobiological architecture like our brain called neuromorphic computing. In the brain, communication between the neurons is achieved by asynchronous transmitting trains of action potentials (spikes) to the subsequent neurons. Because these individual spikes are sparse in time, each spike has a high amount of information. Some research projects5–8) have developed the neuromorphic processor chips that compute with the low power consumption and high speed by imitating such dynamics of the spiking neurons. While conventional processors compute sequentially, the neuromorphic processors compute parallelly by asynchronous and sparse signals. The neuromorphic operation based on a spiking neural network (SNN) reduces calculation time and power consumption. The recent demonstration9) of the neuromorphic processor shows that convolutional neural networks (CNNs) with a million spiking neurons on the chip can be operated with only a few tens of milliwatts of power consumption. The success of research on such neuromorphic processors brings the possibility that advanced vision-based navigation algorithms such as deep learning can work with the spacecraft’s low power computing environment. Although the effectiveness of neuromorphic computing for space systems is discussed,10) no specific application exists. Therefore, this study proposes a method to convert artificial neural networks (ANNs) to spiking neural networks in order to operate neural network based visual navigation algorithms on the neuromorphic processor, and we also evaluate accuracy and power consumption using a crater classification task as a specific application for vision-based navigation. The reminder of the paper is organized as follows: Components of an artificial neuron and a spiking neuron are outlined in section 2.1 and 2.2 and our method to convert ANN to SNN is presented in section 2.3. The results of simulating crater classification neural network converted to SNN are shown in section 3. The conclusion is given in section 4.
High precision landing capability is an important technique to be acquired because it increases accessibility to scientifically interesting areas and makes a safe landing. Vision-based navigation,1) which estimates state such as position and velocity of a spacecraft by comparing maps with landmarks in images of a planetary surface, is one of the guidance, navigation, and control functions to achieve high precision landing. The typical vision-based navigation technologies involve image processing tasks such as crater detection2) (see Fig. 1), matching,3) feature tracking, etc. Realization of vision-based navigation on celestial bodies with gravity and long distance from the earth requires onboard and real-time image processing without communicating with ground stations because of high-speed descent and communication propagation delay. However, despite the demand for fast image processing tasks, space-grade computers perform worse than commercial ones. The performance degradation is mainly due to the inability to clock up caused by thermal constraints, and the acquisition of radiation resistance. In the past decade, non-von Neumann type processor chips such as field-programmable gate arrays (FPGAs) are expected to improve the processing speed by parallel processing. The FPGAs are becoming mainstream of the image signal processors on spacecraft. However, at present, the spacegrade processors lag behind by 1-2 orders of magnitude in the performance compared to the commercial ones.4) As future exploration missions make a more advanced landing to farther celestial bodies, power consumption requirements for processors become severer, and navigation algorithms become more complicated. Therefore, it is essential to bridge the gap between the complexity of algorithms and the performance of processors in terms of low power consumption. Recently, several studies have addressed asynchronous computing systems mimicking neurobiological architecture like our brain called neuromorphic computing. In the brain, communication between the neurons is achieved by asynchronous transmitting trains of action potentials (spikes) to the subsequent neurons. Because these individual spikes are sparse in time, each spike has a high amount of information. Some research projects5–8) have developed the neuromorphic processor chips that compute with the low power consumption and high speed by imitating such dynamics of the spiking neurons. While conventional processors compute sequentially, the neuromorphic processors compute parallelly by asynchronous and sparse signals. The neuromorphic operation based on a spiking neural network (SNN) reduces calculation time and power consumption. The recent demonstration9) of the neuromorphic processor shows that convolutional neural networks (CNNs) with a million spiking neurons on the chip can be operated with only a few tens of milliwatts of power consumption. The success of research on such neuromorphic processors brings the possibility that advanced vision-based navigation algorithms such as deep learning can work with the spacecraft’s low power computing environment. Although the effectiveness of neuromorphic computing for space systems is discussed,10) no specific application exists. Therefore, this study proposes a method to convert artificial neural networks (ANNs) to spiking neural networks in order to operate neural network based visual navigation algorithms on the neuromorphic processor, and we also evaluate accuracy and power consumption using a crater classification task as a specific application for vision-based navigation. The reminder of the paper is organized as follows: Components of an artificial neuron and a spiking neuron are outlined in section 2.1 and 2.2 and our method to convert ANN to SNN is presented in section 2.3. The results of simulating crater classification neural network converted to SNN are shown in section 3. The conclusion is given in section 4.