Обобщение знаний между DNN и SNN для интеллектуальных сенсорных систем на чипе Loihi

Создание точных и эффективных моделей глубоких нейронных сетей (DNN) для интеллектуальных сенсорных систем для локальной обработки данных имеет важное значение. Импульсные нейронные сети (SNN) приобрели значительную популярность в последние годы, поскольку они более биологически правдоподобны и энергоэффективны, чем DNN. Однако SNN обычно имеют более низкую точность, чем DNN. В этой статье мы предлагаем использовать SNN для приложений сканирования изображений. Более того, мы представляем алгоритм извлечения знаний DNN-SNN для сокращения разрыва в точности между DNN и SNN. Наше извлечение знаний DNNSNN повышает точность SNN за счет передачи знаний между DNN и SNN. Для лучшей передачи знаний наш алгоритм создает два пути обучения от DNN к SNN. Один путь проходит между выходным слоем, а другой — между промежуточным слоем. DNN используют действительные числа для распространения информации между нейронами, в то время как SNN используют 1-битные импульсы. Для улучшения взаимодействия между глубокими нейронными сетями (DNN) и непрерывными нейронными сетями (SNN) мы используем декодер для декодирования пиков в действительные числа. Кроме того, наш алгоритм создаёт путь обучения от SNN к DNN. Этот путь обучения лучше адаптирует DNN к SNN, позволяя DNN получать знания от SNN. Наши модели SNN развернуты на Loihi, специализированном чипе для моделей SNN. На наборе данных MNIST наши модели SNN, обученные методом выжимки знаний DNN-SNN, достигают большей точности, чем модели SNN на графическом процессоре, обученные другими алгоритмами обучения, при значительно меньшем энергопотреблении на одно изображение.

Building accurate and efficient deep neural network (DNN) models for intelligent sensing systems to process data locally is essential. Spiking neural networks (SNNs) have gained significant popularity in recent years because they are more biological-plausible and energy-efficient than DNNs. However, SNNs usually have lower accuracy than DNNs. In this paper, we propose to use SNNs for image sensing applications. Moreover, we introduce the DNN-SNN knowledge distillation algorithm to reduce the accuracy gap between DNNs and SNNs. Our DNNSNN knowledge distillation improves the accuracy of an SNN by transferring knowledge between a DNN and an SNN. To better transfer the knowledge, our algorithm creates two learning paths from a DNN to an SNN. One path is between the output layer and another path is between the intermediate layer. DNNs use real numbers to propagate information between neurons while SNNs use 1-bit spikes. To empower the communication between DNNs and SNNs, we utilize a decoder to decode spikes into real numbers. Also, our algorithm creates a learning path from an SNN to a DNN. This learning path better adapts the DNN to the SNN by allowing the DNN to learn the knowledge from the SNN. Our SNN models are deployed on Loihi, which is a specialized chip for SNN models. On the MNIST dataset, our SNN models trained by the DNN-SNN knowledge distillation achieve better accuracy than the SNN models on GPU trained by other training algorithms with much lower energy consumption per image.