По мере того как роботы становятся умнее и повсеместнее, оптимизация энергопотребления интеллектуальных вычислений становится необходимо для обеспечения устойчивости технологического прогресса. Нейроморфное аппаратное обеспечение использует биологически вдохновленные нейронные архитектуры для достижения улучшений в энергопотреблении и задержке по сравнению с традиционной вычислительной архитектурой фон Неймана. Применение этих преимуществ в робототехнике было продемонстрировано в нескольких работах в области нейроробототехники, как правило, на относительно простых задачах управления. Здесь мы представляем пример применения нейроморфных вычислений к реальной промышленной задаче вставки объекта. Мы обучили спайковую нейронную сеть (SNN) выполнять управление по силомоментной обратной связи, используя подход обучения с подкреплением в симуляции. Затем мы перенесли SNN на нейроморфный исследовательский чип Intel Loihi, взаимодействующий с роботизированной рукой KUKA. Во время вывода мы показываем задержку, конкурентоспособную с текущими архитектурами CPU/GPU, и на порядок меньшее энергопотребление по сравнению с современным энергоэффективным периферийным оборудованием. Мы предлагаем этот пример в качестве proof of concept реализации нейроморфного контроллера в реальной робототехнической среде, подчеркивая преимущества нейроморфного оборудования для разработки интеллектуальных контроллеров для роботов.
По мере интеграции интеллектуальных роботов в повседневную жизнь, соображения устойчивого развития требуют более строгой оптимизации энергопотребления не только для приведения в действие, но и для вычислений, вовлеченных в управлении роботом. Текущие энергетические требования GPU и CPU либо ограничивают масштаб и «интеллект» периферийных вычислений, либо требуют протоколов связи с высокой задержкой для облачных вычислений. В то время как перемещение системы ИИ, такой как IBM Watson или ChatGPT, на периферию требует киловатт мощности для непрерывного вывода [1], [2], человеческий мозг выполняет гораздо более сложное поведение за крошечную долю этой энергии [3]. Таким образом, биологическое вдохновение продолжает влиять как на разработку алгоритмов, так и на аппаратное обеспечение в области нейроморфных вычислений, с растущим числом приложений в робототехнике.
Нейроморфное оборудование относится к новой аппаратной архитектуре, которая использует принципы вычислений в биологических мозгах и нейронных системах, и было показано, что она радикально улучшает задержку и использование энергии для многих вычислительных задач [4], в частности тех, которые полагаются на рекуррентные, временные и разреженные вычисления, как это часто бывает в планировании движений и управлении [5]. Как правило, следуя биологическому вдохновению, нейроморфные процессоры реализуют в hardware так называемые Спайковые нейронные сети (SNN) [6], [7]. Они отличаются от более распространенных Искусственных нейронных сетей (ANN) лучшим использованием разреженности и рекуррентности за счет асинхронной многопроцессорной обработки (нет глобальных часов) и нейронов с состоянием. Более того, обилие локальной памяти позволяет эффективно непрерывное обучение вместе с обновлениями нейронного состояния.
В последние годы наблюдается растущий интерес к использованию нейроморфного оборудования и SNN для их преимуществ в энерго- и временной эффективности в робототехнике — область, называемая «нейроробототехникой». Мы предложили дорожную карту для будущего развития и более глубокого вдохновения от биологии для таких систем [8]. Хотя это молодая область исследований, нейроробототехника уже начала видеть первые результаты. Примеры включают автомобильное избегание столкновений [9], SLAM [10], подводное движение [11], управление дронами [12], [13] и управление силой захвата [14]. На фронте симуляции, Платформа Нейроробототехники (Neurorobotics Platform) была разработана в рамках европейского проекта Human Brain Project specifically как песочница для таких приложений [16].
Однако до сих пор большая часть исследований проводилась либо частично, либо полностью в рамках симуляции [11], [17], [18], [19], [20]; с нейроморфными датчиками в паре с классическим не-спайковым оборудованием [21], [22], [23]; или с простыми профилями движения (например, 1-мерное движение), которые не представляют собой полноценные кейсы использования [24], [25], [26], [12], [14], [13]. Другие усилия использовали пользовательские нейроморфные схемы, в которых прямые измерения энергии/задержки невозможны [27], или гибридные подходы, которые лишь частично управляются нейроморфным оборудованием [28].
Следствием является то, что ожидаемые нейроморфные преимущества не могут быть выведены для реальных систем с практическими приложениями. Чтобы решить эту проблему, мы представляем реальную нейророботическую систему, в которой роботизированная рука, оснащенная силомоментным (FT) датчиком, выполняет задачу вставки, полностью управляемую нейроморфным оборудованием. Классическая задача роботизированной вставки была выбрана потому, что она служит основой для ряда связанных подзадач, таких как ввинчивание винтов, крепление кабелей, сборка деталей и т.д. Кроме того, задача «peg-in-hole» исторически служила benchmark для роботизированной интеграции новых алгоритмов, датчиков и оборудования [30], [31], [32], [33], [34], [35], [36] и т.д.
Рука обучается в симуляции с использованием спайкового обучения с подкреплением (RL). Обученная сеть затем переносится на нейроморфный исследовательский чип Intel Loihi, который подключен к нашей роботизированной руке KUKA. Мы используем методы sim2real для выполнения вставки с реальным роботом.
Эта техника RL в симуляции + sim2real аналогична недавно примененной для маневрирования дронов и четвероногих роботов с использованием обычных ANN [38], [39], [40], [41]. Наш подход схож, но реализован с помощью SNN и развернут на нейроморфном чипе. Мы утверждаем, что по мере созревания оборудования это может привести к созданию энергоэффективных обученных контроллеров для широкого развертывания интеллектуальных роботов. Наши эксперименты показали на порядок меньшее энергопотребление по сравнению с текущим современным (SotA) не-нейроморфным, оптимизированным для периферии оборудованием при схожей задержке.
Мы выделяем следующие новые вклады этой работы: это первый реальный нетривиальный пример использования в робототехнике (вставка колышка в отверстие с промышленной роботизированной рукой), полностью управляемые нейроморфным оборудованием. В этой связи, измерения энергии и задержки нейроморфного оборудования были здесь выполнены впервые. Мы обнаружили, что энергия, затрачиваемая на работу сети на нейроморфном чипе, находится в микроджоулевом диапазоне. Более того, это первая нейророботическая система, включающая силомоментный датчик.
По мере интеграции интеллектуальных роботов в повседневную жизнь, соображения устойчивого развития требуют более строгой оптимизации энергопотребления не только для приведения в действие, но и для вычислений, вовлеченных в управлении роботом. Текущие энергетические требования GPU и CPU либо ограничивают масштаб и «интеллект» периферийных вычислений, либо требуют протоколов связи с высокой задержкой для облачных вычислений. В то время как перемещение системы ИИ, такой как IBM Watson или ChatGPT, на периферию требует киловатт мощности для непрерывного вывода [1], [2], человеческий мозг выполняет гораздо более сложное поведение за крошечную долю этой энергии [3]. Таким образом, биологическое вдохновение продолжает влиять как на разработку алгоритмов, так и на аппаратное обеспечение в области нейроморфных вычислений, с растущим числом приложений в робототехнике.
Нейроморфное оборудование относится к новой аппаратной архитектуре, которая использует принципы вычислений в биологических мозгах и нейронных системах, и было показано, что она радикально улучшает задержку и использование энергии для многих вычислительных задач [4], в частности тех, которые полагаются на рекуррентные, временные и разреженные вычисления, как это часто бывает в планировании движений и управлении [5]. Как правило, следуя биологическому вдохновению, нейроморфные процессоры реализуют в hardware так называемые Спайковые нейронные сети (SNN) [6], [7]. Они отличаются от более распространенных Искусственных нейронных сетей (ANN) лучшим использованием разреженности и рекуррентности за счет асинхронной многопроцессорной обработки (нет глобальных часов) и нейронов с состоянием. Более того, обилие локальной памяти позволяет эффективно непрерывное обучение вместе с обновлениями нейронного состояния.
В последние годы наблюдается растущий интерес к использованию нейроморфного оборудования и SNN для их преимуществ в энерго- и временной эффективности в робототехнике — область, называемая «нейроробототехникой». Мы предложили дорожную карту для будущего развития и более глубокого вдохновения от биологии для таких систем [8]. Хотя это молодая область исследований, нейроробототехника уже начала видеть первые результаты. Примеры включают автомобильное избегание столкновений [9], SLAM [10], подводное движение [11], управление дронами [12], [13] и управление силой захвата [14]. На фронте симуляции, Платформа Нейроробототехники (Neurorobotics Platform) была разработана в рамках европейского проекта Human Brain Project specifically как песочница для таких приложений [16].
Однако до сих пор большая часть исследований проводилась либо частично, либо полностью в рамках симуляции [11], [17], [18], [19], [20]; с нейроморфными датчиками в паре с классическим не-спайковым оборудованием [21], [22], [23]; или с простыми профилями движения (например, 1-мерное движение), которые не представляют собой полноценные кейсы использования [24], [25], [26], [12], [14], [13]. Другие усилия использовали пользовательские нейроморфные схемы, в которых прямые измерения энергии/задержки невозможны [27], или гибридные подходы, которые лишь частично управляются нейроморфным оборудованием [28].
Следствием является то, что ожидаемые нейроморфные преимущества не могут быть выведены для реальных систем с практическими приложениями. Чтобы решить эту проблему, мы представляем реальную нейророботическую систему, в которой роботизированная рука, оснащенная силомоментным (FT) датчиком, выполняет задачу вставки, полностью управляемую нейроморфным оборудованием. Классическая задача роботизированной вставки была выбрана потому, что она служит основой для ряда связанных подзадач, таких как ввинчивание винтов, крепление кабелей, сборка деталей и т.д. Кроме того, задача «peg-in-hole» исторически служила benchmark для роботизированной интеграции новых алгоритмов, датчиков и оборудования [30], [31], [32], [33], [34], [35], [36] и т.д.
Рука обучается в симуляции с использованием спайкового обучения с подкреплением (RL). Обученная сеть затем переносится на нейроморфный исследовательский чип Intel Loihi, который подключен к нашей роботизированной руке KUKA. Мы используем методы sim2real для выполнения вставки с реальным роботом.
Эта техника RL в симуляции + sim2real аналогична недавно примененной для маневрирования дронов и четвероногих роботов с использованием обычных ANN [38], [39], [40], [41]. Наш подход схож, но реализован с помощью SNN и развернут на нейроморфном чипе. Мы утверждаем, что по мере созревания оборудования это может привести к созданию энергоэффективных обученных контроллеров для широкого развертывания интеллектуальных роботов. Наши эксперименты показали на порядок меньшее энергопотребление по сравнению с текущим современным (SotA) не-нейроморфным, оптимизированным для периферии оборудованием при схожей задержке.
Мы выделяем следующие новые вклады этой работы: это первый реальный нетривиальный пример использования в робототехнике (вставка колышка в отверстие с промышленной роботизированной рукой), полностью управляемые нейроморфным оборудованием. В этой связи, измерения энергии и задержки нейроморфного оборудования были здесь выполнены впервые. Мы обнаружили, что энергия, затрачиваемая на работу сети на нейроморфном чипе, находится в микроджоулевом диапазоне. Более того, это первая нейророботическая система, включающая силомоментный датчик.
*Перевод выполнен с помощью нейросетей
Neuromorphic force-control in an industrial task: validating energy and latency benefits
As robots become smarter and more ubiquitous, optimizing the power consumption of intelligent compute becomes imperative towards ensuring the sustainability of technological advancements. Neuromorphic computing hardware makes use of biologically inspired neural architectures to achieve energy and latency improvements compared to conventional von Neumann computing architecture. Applying these benefits to robots has been demonstrated in several works in the field of neurorobotics, typically on relatively simple control tasks. Here, we introduce an example of neuromorphic computing applied to the real-world industrial task of object insertion. We trained a spiking neural network (SNN) to perform force-torque feedback control using a reinforcement learning approach in simulation. We then ported the SNN to the Intel neuromorphic research chip Loihi interfaced with a KUKA robotic arm. At inference time we show latency competitive with current CPU/GPU architectures, and one order of magnitude less energy usage in comparison to stateof-the-art low-energy edge-hardware. We offer this example as a proof of concept implementation of a neuromoprhic controller in real-world robotic setting, highlighting the benefits of neuromorphic hardware for the development of intelligent controllers for robots.
Moving towards the integration of intelligent robots in daily life, sustainability considerations require stricter optimization of energy consumption not only for actuation, but also for the computing involved in robot control. The current energy requirements of GPUs and CPUs either limit the scale and “intelligence” of edge computation, or require highlatency communication protocols for cloud computing. While moving an AI system such as IBM Watson or ChatGPT to the edge requires killowatts of power for continuous inference1 [1], [2], the human brain accomplishes much more complex behaviour at a tiny fraction of this [3]. Biological inspiration therefore continues to influence both algorithm and hardware development in the field of neuromorphic computing, with an increasing number of applications in robotics. Neuromorphic hardware refers to a novel hardware architecture that uses principles of computing in biological brains and neural systems and has been shown to drastically improve latency and energy usage for many computing tasks[4], in particular ones that rely on recurrent, temporal, and sparse computation, as often the case in motion planning and control [5]. Typically, following biological inspiration, neuromorphic processors realise in hardware so called Spiking Neural Networks (SNNs) [6], [7]. These differ from more ubiquitous Artificial Neural Networks (ANNs) in better exploitation of sparsity and recurrency through asynchronous multi-core processing (there is no global clock) and statefull neurons. Moreover, abundance of local memory enables efficient continual learning, along with the neural state updates. In recent years there has been an increasing interest in using neuromorphic hardware and SNNs for their advantages in energy and time efficiency in robotics — a domain referred to as “neurorobotics”. We have proposed a roadmap for future development and deeper inspiration from biology for such systems [8]. Although a young area of research, neurorobotics has begun to see some first results. Examples include automotive object avoidance [9], SLAM [10], underwater propulsion [11], drone control [12], [13], and grasping force control [14]. See [15] for an overview. On the simulation front, the Neurorobotics Platform has been developed in the European Human Brain Project specifically as a sandbox for such applications [16]. However, as of yet the bulk of research has been carried out either partially or entirely within simulation [11], [17], [18], [19], [20]; with neuromorphic sensors paired with classical non-spiking hardware [21], [22], [23]; or with simple motion profiles (e.g. 1-dimensional movement) that do not constitute full use cases [24], [25], [26], [12], [14], [13]. Other efforts have used customized neuromorphic circuits in which direct energy/latency measurements are not possible [27] or hybrid approaches that are only partially guided by neuromorphic hardware [28]. See [29] for a full review. The consequence is that expected neuromorphic benefits cannot be inferred for real-world systems with practical applications. To address this, we present a real-world neurorobotic system in which a robotic arm equipped with a forcetorque (FT) sensor accomplishes an insertion task while fully controlled by neuromorphic hardware. The classic robotic insertion task has been chosen as it serves as the foundation for a number of related sub-tasks such as screw insertion, cable attachment, part assembly, etc. Additionally, the “pegin-hole” task has historically served as a benchmark for robotic integration of new algorithms, sensors, and hardware [30], [31], [32], [33], [34], [35], [36], etc (see [37] for an overview). The arm is trained in simulation using spiking reinforcement learning (RL). The trained network is then ported to an Intel Loihi neuromorphic research chip, which is connected to our KUKA robotic arm. We use sim2real techniques to accomplish insertion with the real robot. An accompanying video can be viewed at https://tinyurl.com/y2szkbyb. This RL in simulation + sim2real technique is similar to that recently applied to drone and quadrupedal maneuvering using conventional ANNs [38], [39], [40], [41]. Our approach is similar, but realised with SNNs and deployed on a neuromorphic chip. We argue that, as the hardware matures, this could lead to energy efficient trained controllers for a broad deployment of intelligent robots. Our experiments have shown one order of magnitude less energy usage in comparison to current SotA non-neuromorphic edge-optimized hardware at a similar latency. We highlight the following novel contributions of this work: this is the first real-world non-trivial robotic use-case (peg-in-hole insertion with an industrial robotic arm) fully guided by neuromorphic hardware. In this setting, energy and latency measurements of neuromorphic hardware were herein performed for the first time. We have found energy spent on running the network on the neuromorphic chip to be in the microjoule range. Moreover, this is the first neurorobotic system to incorporate a force-torque sensor.
Moving towards the integration of intelligent robots in daily life, sustainability considerations require stricter optimization of energy consumption not only for actuation, but also for the computing involved in robot control. The current energy requirements of GPUs and CPUs either limit the scale and “intelligence” of edge computation, or require highlatency communication protocols for cloud computing. While moving an AI system such as IBM Watson or ChatGPT to the edge requires killowatts of power for continuous inference1 [1], [2], the human brain accomplishes much more complex behaviour at a tiny fraction of this [3]. Biological inspiration therefore continues to influence both algorithm and hardware development in the field of neuromorphic computing, with an increasing number of applications in robotics. Neuromorphic hardware refers to a novel hardware architecture that uses principles of computing in biological brains and neural systems and has been shown to drastically improve latency and energy usage for many computing tasks[4], in particular ones that rely on recurrent, temporal, and sparse computation, as often the case in motion planning and control [5]. Typically, following biological inspiration, neuromorphic processors realise in hardware so called Spiking Neural Networks (SNNs) [6], [7]. These differ from more ubiquitous Artificial Neural Networks (ANNs) in better exploitation of sparsity and recurrency through asynchronous multi-core processing (there is no global clock) and statefull neurons. Moreover, abundance of local memory enables efficient continual learning, along with the neural state updates. In recent years there has been an increasing interest in using neuromorphic hardware and SNNs for their advantages in energy and time efficiency in robotics — a domain referred to as “neurorobotics”. We have proposed a roadmap for future development and deeper inspiration from biology for such systems [8]. Although a young area of research, neurorobotics has begun to see some first results. Examples include automotive object avoidance [9], SLAM [10], underwater propulsion [11], drone control [12], [13], and grasping force control [14]. See [15] for an overview. On the simulation front, the Neurorobotics Platform has been developed in the European Human Brain Project specifically as a sandbox for such applications [16]. However, as of yet the bulk of research has been carried out either partially or entirely within simulation [11], [17], [18], [19], [20]; with neuromorphic sensors paired with classical non-spiking hardware [21], [22], [23]; or with simple motion profiles (e.g. 1-dimensional movement) that do not constitute full use cases [24], [25], [26], [12], [14], [13]. Other efforts have used customized neuromorphic circuits in which direct energy/latency measurements are not possible [27] or hybrid approaches that are only partially guided by neuromorphic hardware [28]. See [29] for a full review. The consequence is that expected neuromorphic benefits cannot be inferred for real-world systems with practical applications. To address this, we present a real-world neurorobotic system in which a robotic arm equipped with a forcetorque (FT) sensor accomplishes an insertion task while fully controlled by neuromorphic hardware. The classic robotic insertion task has been chosen as it serves as the foundation for a number of related sub-tasks such as screw insertion, cable attachment, part assembly, etc. Additionally, the “pegin-hole” task has historically served as a benchmark for robotic integration of new algorithms, sensors, and hardware [30], [31], [32], [33], [34], [35], [36], etc (see [37] for an overview). The arm is trained in simulation using spiking reinforcement learning (RL). The trained network is then ported to an Intel Loihi neuromorphic research chip, which is connected to our KUKA robotic arm. We use sim2real techniques to accomplish insertion with the real robot. An accompanying video can be viewed at https://tinyurl.com/y2szkbyb. This RL in simulation + sim2real technique is similar to that recently applied to drone and quadrupedal maneuvering using conventional ANNs [38], [39], [40], [41]. Our approach is similar, but realised with SNNs and deployed on a neuromorphic chip. We argue that, as the hardware matures, this could lead to energy efficient trained controllers for a broad deployment of intelligent robots. Our experiments have shown one order of magnitude less energy usage in comparison to current SotA non-neuromorphic edge-optimized hardware at a similar latency. We highlight the following novel contributions of this work: this is the first real-world non-trivial robotic use-case (peg-in-hole insertion with an industrial robotic arm) fully guided by neuromorphic hardware. In this setting, energy and latency measurements of neuromorphic hardware were herein performed for the first time. We have found energy spent on running the network on the neuromorphic chip to be in the microjoule range. Moreover, this is the first neurorobotic system to incorporate a force-torque sensor.