Полностью асинхронное нейроморфное восприятие для маневрирования мобильного робота с чипами Loihi

Разреженное и асинхронное восприятие и обработка информации в природных организмах приводят к сверхнизкой задержке и энергоэффективности восприятия. Вдохновленные этими характеристиками, событийные камеры привлекли широкое внимание академических кругов и промышленности. Однако основные парадигмы обработки потока событий (например, кадры событий, 3D-воксели) сталкиваются с такими проблемами, как потеря признаков, наложение событий и высокая вычислительная нагрузка. Эти проблемы отклоняются от предполагаемого назначения событийных камер. Для решения этих проблем мы предлагаем полностью асинхронную нейроморфную парадигму, которая интегрирует событийные камеры, импульсные сети и нейроморфные процессоры (Intel Loihi). Эта парадигма может точно обрабатывать каждое событие асинхронно по мере его поступления, имитируя обработку сигналов, управляемую импульсами, в биологическом мозге. Сначала мы предлагаем модуль Key-Event-Point для извлечения ключевого потока событий из необработанного потока событий, эффективно решая проблему ограниченной пропускной способности передачи при обработке событий на нейроморфных процессорах. Затем мы предлагаем полный конвейер для сети уклонения, основанный на импульсных нейронных сетях, для достижения автономного обучения и онлайн-вывода. Наконец, мы подробно сравниваем предложенную парадигму с парадигмами обработки событийных кадров и 3D-вокселей на реальной задаче уклонения мобильного робота. Экспериментальные результаты показывают, что наша схема демонстрирует лучшую устойчивость, чем методы, имитирующие изображения, при различных временных окнах и условиях освещения. Кроме того, энергопотребление на один вывод нашей схемы на встроенном процессоре Loihi составляет всего 4,30% от энергопотребления метода импульсных тензоров событий на NVIDIA Jetson Orin NX в режиме энергосбережения и 1,64% от энергопотребления метода событийных кадров на том же нейроморфном процессоре. Насколько нам известно, это первый случай реализации полностью асинхронной нейроморфной парадигмы для решения последовательных задач на реальном мобильном роботе. *

*Перевод выполнен с помощью нейросетей

Sparse and asynchronous sensing and processing in natural organisms lead to ultra low-latency and energy-efficient perception. Inspired by these characteristics, event cameras have attracted extensive attention from academia and industry. However, the mainstream event stream processing paradigms (e.g., event frames, 3D voxels) encounter issues such as feature loss, event stacking, and high computational burden. These problems deviate from the intended purpose of event cameras. To address these issues, we propose a fully asynchronous neuromorphic paradigm that integrates event cameras, spiking networks, and neuromorphic processors (Intel Loihi). This paradigm can faithfully process each event asynchronously as it arrives, mimicking the spike-driven signal processing in biological brains. We first propose a Key-Event-Point module to extract the key event stream from the raw event stream, effectively addressing the issue of limited transmission bandwidth when processing events on neuromorphic processors. Then, we propose the complete pipeline for the dodging network based on spiking neural networks to achieve offline training and online inference. Finally, we compare the proposed paradigm with event frames and 3D voxels processing paradigms in detail on the real mobile robot dodging task. Experimental results show that our scheme exhibits better robustness than image-like methods with different time windows and light conditions. Additionally, the energy consumption per inference of our scheme on the embedded Loihi processor is only 4.30% of that of the event spike tensor method on NVIDIA Jetson Orin NX with energy-saving mode, and 1.64% of that of the event frame method on the same neuromorphic processor. To the best of our knowledge, this is the first time that a fully asynchronous neuromorphic paradigm has been implemented for solving sequential tasks on a real mobile robot.