Приближение прикосновений к границам возможного: нейроморфный подход к обработке событий для тактильных систем

Рост популярности нейроморфных приложений выявил выдающийся потенциал биологически вдохновлённых систем. Несмотря на значительный прогресс в аудиовизуальных технологиях, исследования, направленные на тактильные ощущения, не были столь обширными. Мы предлагаем нейроморфную тактильную систему для восприятия и обработки, которая демонстрирует многообещающие результаты для периферийных устройств и приложений. В данном исследовании для демонстрации возможностей системы использовались нейроморфный тактильный датчик, два метода кодирования данных и двухслойная импульсная нейронная сеть (SNN), развёрнутая на нейроморфной системе на чипе (NSoC) AKD1000 Akida. Результаты экспериментов с набором данных ST-MNIST показали высокую точность: вариант с дополнительным кодированием достиг 93,1%, что превзошло предыдущие современные модели для этого набора данных. Кроме того, разведочное исследование показало возможность ранней классификации: для большинства образцов для правильной классификации требуется всего 38% доступных событий, что сокращает объём обрабатываемых данных. Низкое энергопотребление и высокая пропускная способность обеих моделей нейронных сетей (SNN) со средней динамической потребляемой мощностью 6,37 мВт и 7,76 мВт и средней пропускной способностью 586 и 589 кадров в секунду соответственно) делают предлагаемую систему подходящей для периферийных устройств с ограниченными мощностями и вычислительными ресурсами. В целом, предлагаемая система тактильных датчиков представляет собой многообещающее решение для периферийных приложений, требующих высокой точности, низкого энергопотребления и высокой пропускной способности.

The rise of neuromorphic applications has highlighted the remarkable potential of biologically-inspired systems. Despite significant advancements in audio and visual technologies, research directed towards tactile sensing has not been as extensive. We propose a neuromorphic tactile system for sensing and processing that presents promising results for edge devices and applications. In this study, a neuromorphic tactile sensor, two data encoding techniques, and a two-layer spiking neural network (SNN) deployed on the AKD1000 Akida Neuromorphic System on Chip (NSoC) were used to demonstrate the system's capabilities. Results from experiments on the ST-MNIST dataset showed high accuracy, with the complement-coded variant achieving 93.1%, outperforming previous state-of-the-art models for this dataset. Additionally, an exploratory study showed that early classification was possible, with most samples requiring only 38% of the available events to classify correctly, reducing the amount of data that needs to be processed. The low power consumption and high throughput of both SNN models, with an average dynamic power consumption of 6.37 mW and 7.76 mW and an average throughput of 586 and 589 frames-per-second respectively, make the proposed system suitable for edge devices with limited power and processing resources. Overall, the proposed tactile sensing system presents a promising solution for edge applications that require high accuracy, low power consumption, and high throughput.