Наша работа по полностью нейроморфному зрению и управлению для автономного полета дронов опубликована в майском номере журнала Science Robotics за 2024 год.
В этой работе мы разработали дрон, способный автономно летать, используя нейроморфную обработку изображений и управление, основанное на принципах работы мозга животных. Мозг животных потребляет меньше данных и энергии по сравнению с современными глубокими нейронными сетями, работающими на графических процессорах (GPU). Поэтому нейроморфные процессоры очень хорошо подходят для небольших дронов, поскольку им не требуется тяжелое и громоздкое оборудование и батареи. Результаты поразительны: во время полета глубокая нейронная сеть дрона обрабатывает данные до 64 раз быстрее и потребляет в три раза меньше энергии, чем при работе на графическом процессоре. Дальнейшее развитие этой технологии может позволить дронам стать такими же маленькими, маневренными и умными, как летающие насекомые или птицы.
В этой работе мы разработали дрон, способный автономно летать, используя нейроморфную обработку изображений и управление, основанное на принципах работы мозга животных. Мозг животных потребляет меньше данных и энергии по сравнению с современными глубокими нейронными сетями, работающими на графических процессорах (GPU). Поэтому нейроморфные процессоры очень хорошо подходят для небольших дронов, поскольку им не требуется тяжелое и громоздкое оборудование и батареи. Результаты поразительны: во время полета глубокая нейронная сеть дрона обрабатывает данные до 64 раз быстрее и потребляет в три раза меньше энергии, чем при работе на графическом процессоре. Дальнейшее развитие этой технологии может позволить дронам стать такими же маленькими, маневренными и умными, как летающие насекомые или птицы.
Обучение на основе изучения мозга животных: импульсные нейронные сети
Искусственный интеллект обладает огромным потенциалом для наделения автономных роботов интеллектом, необходимым для реальных задач. Однако современный ИИ опирается на глубокие нейронные сети, требующие значительных вычислительных мощностей. Процессоры, предназначенные для работы с глубокими нейронными сетями (графические процессоры, GPU), потребляют большое количество энергии. Особенно это проблема для небольших роботов, таких как летающие дроны, поскольку они могут использовать лишь очень ограниченные ресурсы в плане сенсорики и вычислений.
Мозг животных обрабатывает информацию совершенно иначе, чем нейронные сети, работающие на графических процессорах. Биологические нейроны обрабатывают информацию асинхронно и в основном обмениваются данными посредством электрических импульсов, называемых спайками. Поскольку отправка таких спайков требует энергии, мозг минимизирует их импульсную активность, что приводит к разреженной обработке информации.
Вдохновленные этими свойствами мозга животных, ученые и технологические компании разрабатывают новые нейроморфные процессоры. Эти новые процессоры позволяют запускать импульсные нейронные сети и обещают быть намного быстрее и энергоэффективнее.
В то время как цифровым импульсным нейронам достаточно складывать целые числа, стандартным нейронам необходимо умножать и складывать числа с плавающей запятой. Это делает импульсные нейронные сети быстрее и энергоэффективнее. Энергоэффективность еще больше повышается при использовании нейроморфных процессоров в сочетании с нейроморфными датчиками, такими как нейроморфные камеры. Такие камеры не создают изображения с фиксированным интервалом времени. Вместо этого каждый пиксель посылает сигнал только тогда, когда он становится ярче или темнее. Преимущества таких камер заключаются в том, что они гораздо быстрее распознают движение, более энергоэффективны и хорошо работают как в темных, так и в светлых условиях. Более того, сигналы от нейроморфных камер могут напрямую поступать в импульсные нейронные сети, работающие на нейроморфных процессорах. Вместе они могут стать мощным инструментом для создания автономных роботов, особенно небольших, маневренных роботов, таких как летающие дроны.
*Перевод выполнен с помощью нейросетей
Fully neuromorphic vision and control for autonomous drone flight
Our work on fully neuromorphic vision and control for autonomous drone flight has been published in the Science Robotics May 2024 issue.
In this work, we have developed a drone that flies autonomously using neuromorphic image processing and control based on the workings of animal brains. Animal brains use less data and energy compared to current deep neural networks running on GPUs (graphics chips). Neuromorphic processors are therefore very suitable for small drones because they don’t need heavy and large hardware and batteries. The results are extraordinary: during flight the drone’s deep neural network processes data up to 64 times faster and consumes three times less energy than when running on a GPU. Further developments of this technology may enable the leap for drones to become as small, agile, and smart as flying insects or birds.
In this work, we have developed a drone that flies autonomously using neuromorphic image processing and control based on the workings of animal brains. Animal brains use less data and energy compared to current deep neural networks running on GPUs (graphics chips). Neuromorphic processors are therefore very suitable for small drones because they don’t need heavy and large hardware and batteries. The results are extraordinary: during flight the drone’s deep neural network processes data up to 64 times faster and consumes three times less energy than when running on a GPU. Further developments of this technology may enable the leap for drones to become as small, agile, and smart as flying insects or birds.
Learning from animal brains: spiking neural networks
Artificial intelligence holds great potential to provide autonomous robots with the intelligence needed for real-world applications. However, current AI relies on deep neural networks that require substantial computing power. The processors made for running deep neural networks (Graphics Processing Units, GPUs) consume a substantial amount of energy. Especially for small robots like flying drones this is a problem, since they can only carry very limited resources in terms of sensing and computing.
Animal brains process information in a way that is very different from the neural networks running on GPUs. Biological neurons process information asynchronously, and mostly communicate via electrical pulses called spikes. Since sending such spikes costs energy, the brain minimizes spiking, leading to sparse processing.
Inspired by these properties of animal brains, scientists and tech companies are developing new, neuromorphic processors. These new processors allow to run spiking neural networks and promise to be much faster and more energy efficient.
Whereas digital spiking neurons only need to add integers, standard neurons have to multiply and add floating point numbers. This makes spiking neural networks quicker and more energy efficient. This energy efficiency is further boosted if neuromorphic processors are used in combination with neuromorphic sensors, like neuromorphic cameras. Such cameras do not make images at a fixed time interval. Instead, each pixel only sends a signal when it becomes brighter or darker. The advantages of such cameras are that they can perceive motion much more quickly, are more energy efficient, and function well both in dark and bright environments. Moreover, the signals from neuromorphic cameras can feed directly into spiking neural networks running on neuromorphic processors. Together, they can form a huge enabler for autonomous robots, especially small, agile robots like flying drones.