Спайковые нейронные сети (SNN) обеспечивают эффективный вычислительный механизм для обработки временных сигналов, особенно в сочетании со специализированными интегральными схемами (ASIC) для энергоэффективного вывода SNN. Исторически SNN было трудно настраивать из-за отсутствия общего метода поиска решений для произвольных задач. В последние годы методы оптимизации на основе градиентного спуска все чаще и успешнее применяются к SNN. Таким образом, SNN и процессоры для их вывода предлагают хорошую платформу для коммерческой обработки сигналов с низким энергопотреблением в условиях ограниченной энергии и без зависимости от облачных сервисов. Однако до сих пор эти методы не были доступны инженерам по машинному обучению (ML) в промышленности, требуя подготовки на уровне выпускника вуза для успешной настройки даже одного SNN-приложения. Здесь мы демонстрируем удобный высокоуровневый конвейер для проектирования, обучения и развертывания приложений обработки произвольных временных сигналов на аппаратное обеспечение для вывода SNN с потреблением менее мВт. Мы применяем новую простую архитектуру SNN, разработанную для обработки временных сигналов, используя "пирамиду" синаптических постоянных времени для извлечения особенностей сигнала в различных временных масштабах. Мы демонстрируем эту архитектуру на задаче классификации фонового аудио, развернутой на процессоре Xylo для вывода SNN в потоковом режиме. Наше приложение достигает высокой точности (98%) и малой задержки (100 мс) при низком энергопотреблении (<100 мкВт динамической мощности при выводе). Наш подход делает обучение и развертывание SNN-приложений доступными для инженеров ML с общим опытом работы с нейронными сетями, без необходимости предварительного специфического опыта работы со спайковыми сетями. Мы надеемся, что наш подход сделает нейроморфное оборудование и SNN привлекательным выбором для коммерческих приложений обработки сигналов с низким энергопотреблением и на периферийных устройствах.
*Перевод выполнен с помощью нейросетей
Sub-mW Neuromorphic SNN audio processing applications with Rockpool and Xylo
Spiking Neural Networks (SNNs) provide an efficient computational mechanism for temporal signal processing, especially when coupled with low-power SNN inference ASICs. SNNs have been historically difficult to configure, lacking a general method for finding solutions for arbitrary tasks. In recent years, gradient-descent optimization methods have been applied to SNNs with increasing ease. SNNs and SNN inference processors therefore offer a good platform for commercial low-power signal processing in energy constrained environments without cloud dependencies. However, to date these methods have not been accessible to Machine Learning (ML) engineers in industry, requiring graduate-level training to successfully configure a single SNN application. Here we demonstrate a convenient high-level pipeline to design, train and deploy arbitrary temporal signal processing applications to sub-mW SNN inference hardware. We apply a new straightforward SNN architecture designed for temporal signal processing, using a pyramid of synaptic time constants to extract signal features at a range of temporal scales. We demonstrate this architecture on an ambient audio classification task, deployed to the Xylo SNN inference processor in streaming mode. Our application achieves high accuracy (98 %) and low latency (100 ms) at low power (<100 µW dynamic inference power). Our approach makes training and deploying SNN applications available to ML engineers with general NN backgrounds, without requiring specific prior experience with spiking NNs. We intend for our approach to make Neuromorphic hardware and SNNs an attractive choice for commercial lowpower and edge signal processing applications.