Аннотация
Мы представляем новую концепцию обработки сигналов, которая изначально интегрирует возможности обработки искусственного интеллекта (ИИ) в спутниковые платформы. В рабочем процессе обработки на высокопроизводительных платформах с ограниченными ресурсами, как правило, доминируют программируемые вентильные матрицы (ПЛИС), что затрудняет эффективную интеграцию компонентов машинного обучения. Мы решаем эту проблему, используя новую гетерогенную вычислительную платформу на базе систем на кристалле (SoC) и предлагаем концепцию развертывания, которая обеспечивает гибкое и динамичное распределение традиционных и основанных на ИИ этапов обработки. После всестороннего анализа аппаратных компонентов мы определяем эффективную межкомпонентную потоковую передачу данных как основную проблему реализации, которую мы решаем с помощью стратегии нулевого копирования. Описан полный процесс развертывания для сценария обработки телекоммуникационных данных с использованием ИИ. В заключение данной работы представлен краткий анализ производительности критического межкомпонентного потока данных, выявляющий потенциальные узкие места и обсуждающий пути дальнейшего усовершенствования.
Введение
Искусственный интеллект (ИИ) стал неотъемлемой частью наземных приложений, предлагая инновационные решения для быстрого и эффективного решения задач в различных областях, включая распознавание изображений и речи, наблюдение за поведением, автономные реакции и многое другое. Несмотря на широкое распространение ИИ на Земле, его потенциал для космических систем, особенно спутников, только недавно начал привлекать значительное внимание [1]. Возможные преимущества бортового ИИ затрагивают всю экосистему внутри и "снаружи" спутников. Это включает устранение необходимости вмешательства человека в управление космическим аппаратом за счет использования механизмов самоконтроля и самовосстановления на основе анализа поведения с помощью ИИ [2], снижение нагрузок на каналы передачи при пересылке необработанных данных для приложений наблюдения Земли (Earth Observation, EO), основанных на компьютерном зрении, благодаря обработке данных непосредственно на борту [3], а также повышение общей производительности системы за счет использования преимуществ машинного обучения (Machine Learning, ML) в задачах, требующих интенсивной цифровой обработки сигналов (Digital Signal Processing, DSP), таких как телекоммуникации [4]. В конечном итоге ИИ может полностью изменить то, как спутники взаимодействуют с наземными системами, превратив их из простых сборщиков данных с ретрансляционной функцией в автономные центры обработки данных в космосе.
Ключевым фактором является интеграция универсальных вычислительных мощностей, ориентированных на ИИ, в платформу спутника и обеспечение их нативной интеграции в традиционный вычислительный процесс. В то время как наземные системы выигрывают от широкого спектра специализированного аппаратного обеспечения, такого как графические процессоры (Graphics Processing Units, GPU), тензорные процессоры (Tensor Processing Units, TPU), цифровые сигнальные процессоры и т.д., которые могут эффективно работать совместно благодаря стандартизированным протоколам связи и драйверам, космические решения не обладают таким разнообразием. Среди множества ограничений, таких как недостаток доступных аппаратных технологий из-за вредного излучения, жесткий бюджет мощности из-за использования солнечной энергии и необходимости терморегулирования, а также низкая общая вычислительная мощность из-за применения проверенных временем процессоров, главной проблемой является чрезвычайная зависимость от программируемых вентильных матриц (Field Programmable Gate Array, FPGA), особенно для высокопроизводительных спутников, что делает бесшовную интеграцию ИИ в вычислительный конвейер сложной задачей. Эта проблема породила гонку как среди признанных компаний, так и среди недавно созданных стартапов. Среди множества предложенных решений существует простой подход — использование автономных модулей, предназначенных для вычислений ИИ, таких как серия встраиваемых модулей GPU от NVIDIA [5] и процессор машинного зрения Movidius™ Myriad™ X от Intel, или нейроморфных архитектур, таких как Akida IP от Brainchip [6] и чип Loihi от Intel [7], принимая при этом недостаток радиационной стойкости и связанные с этим проблемы сбоев во время работы и сокращения срока службы устройства.
Другой подход — это концепция универсальных вычислений на графических процессорах (General Purpose Computing on Graphics Processing Units, GPGPU) с использованием ускоренных на FPGA soft-ядер GPU (IP-ядер), что фактически позволяет реализовать GPU на FPGA [8]. Кроме того, активно разрабатываются чисто программные решения, ориентированные на выполнение на центральных процессорах (Central Processing Units, CPU) и микроконтроллерах, такие как высокоэффективный фреймворк для инференса от Klepsydra AI [9]. Однако преобладающим подходом среди большинства решений является рассмотрение приложения ИИ как отдельной сущности, будь то управление им как изолированным программным приложением или выделение его в отдельный аппаратный компонент. Отсутствие нативной интеграции и, как следствие, неоптимальные интерфейсы снижают эффективность высокопроизводительных приложений.
В данной статье предлагается иной подход, заключающийся в интеграции и, что более важно, во взаимосвязи возможностей ИИ внутри самого сердца спутника. Основные его положения следующие: на основе детального компонентного анализа нашего процессора следующего поколения для спутников мы разрабатываем стратегию развертывания, которая ставит во главу угла эффективный поток данных и эффективное использование аппаратного обеспечения, основываясь на перспективном эталонном сценарии из области телекоммуникаций, предложенном Петри и др. [10]. Чтобы подчеркнуть взаимосвязь между обеими работами, в данной статье используется согласованная цветовая схема. Остальная часть этой статьи организована следующим образом: Раздел II знакомит с архитектурой телекоммуникационного спутникового процессора и рассматривает эталонный сценарий, подлежащий реализации. В разделе III предлагается концепция развертывания после анализа соответствующих аппаратных ресурсов и возможностей их взаимосвязи, а также описывается процедура отображения алгоритма на аппаратное обеспечение. Краткий анализ производительности потока данных выполняется в разделе IV, за которым следует анализ поведения системы и обсуждение возможных улучшений. И наконец, раздел V завершает эту работу. Далее следует обзор оставшихся проблем на пути к достижению мощной интеграции ИИ.
Мы представляем новую концепцию обработки сигналов, которая изначально интегрирует возможности обработки искусственного интеллекта (ИИ) в спутниковые платформы. В рабочем процессе обработки на высокопроизводительных платформах с ограниченными ресурсами, как правило, доминируют программируемые вентильные матрицы (ПЛИС), что затрудняет эффективную интеграцию компонентов машинного обучения. Мы решаем эту проблему, используя новую гетерогенную вычислительную платформу на базе систем на кристалле (SoC) и предлагаем концепцию развертывания, которая обеспечивает гибкое и динамичное распределение традиционных и основанных на ИИ этапов обработки. После всестороннего анализа аппаратных компонентов мы определяем эффективную межкомпонентную потоковую передачу данных как основную проблему реализации, которую мы решаем с помощью стратегии нулевого копирования. Описан полный процесс развертывания для сценария обработки телекоммуникационных данных с использованием ИИ. В заключение данной работы представлен краткий анализ производительности критического межкомпонентного потока данных, выявляющий потенциальные узкие места и обсуждающий пути дальнейшего усовершенствования.
Введение
Искусственный интеллект (ИИ) стал неотъемлемой частью наземных приложений, предлагая инновационные решения для быстрого и эффективного решения задач в различных областях, включая распознавание изображений и речи, наблюдение за поведением, автономные реакции и многое другое. Несмотря на широкое распространение ИИ на Земле, его потенциал для космических систем, особенно спутников, только недавно начал привлекать значительное внимание [1]. Возможные преимущества бортового ИИ затрагивают всю экосистему внутри и "снаружи" спутников. Это включает устранение необходимости вмешательства человека в управление космическим аппаратом за счет использования механизмов самоконтроля и самовосстановления на основе анализа поведения с помощью ИИ [2], снижение нагрузок на каналы передачи при пересылке необработанных данных для приложений наблюдения Земли (Earth Observation, EO), основанных на компьютерном зрении, благодаря обработке данных непосредственно на борту [3], а также повышение общей производительности системы за счет использования преимуществ машинного обучения (Machine Learning, ML) в задачах, требующих интенсивной цифровой обработки сигналов (Digital Signal Processing, DSP), таких как телекоммуникации [4]. В конечном итоге ИИ может полностью изменить то, как спутники взаимодействуют с наземными системами, превратив их из простых сборщиков данных с ретрансляционной функцией в автономные центры обработки данных в космосе.
Ключевым фактором является интеграция универсальных вычислительных мощностей, ориентированных на ИИ, в платформу спутника и обеспечение их нативной интеграции в традиционный вычислительный процесс. В то время как наземные системы выигрывают от широкого спектра специализированного аппаратного обеспечения, такого как графические процессоры (Graphics Processing Units, GPU), тензорные процессоры (Tensor Processing Units, TPU), цифровые сигнальные процессоры и т.д., которые могут эффективно работать совместно благодаря стандартизированным протоколам связи и драйверам, космические решения не обладают таким разнообразием. Среди множества ограничений, таких как недостаток доступных аппаратных технологий из-за вредного излучения, жесткий бюджет мощности из-за использования солнечной энергии и необходимости терморегулирования, а также низкая общая вычислительная мощность из-за применения проверенных временем процессоров, главной проблемой является чрезвычайная зависимость от программируемых вентильных матриц (Field Programmable Gate Array, FPGA), особенно для высокопроизводительных спутников, что делает бесшовную интеграцию ИИ в вычислительный конвейер сложной задачей. Эта проблема породила гонку как среди признанных компаний, так и среди недавно созданных стартапов. Среди множества предложенных решений существует простой подход — использование автономных модулей, предназначенных для вычислений ИИ, таких как серия встраиваемых модулей GPU от NVIDIA [5] и процессор машинного зрения Movidius™ Myriad™ X от Intel, или нейроморфных архитектур, таких как Akida IP от Brainchip [6] и чип Loihi от Intel [7], принимая при этом недостаток радиационной стойкости и связанные с этим проблемы сбоев во время работы и сокращения срока службы устройства.
Другой подход — это концепция универсальных вычислений на графических процессорах (General Purpose Computing on Graphics Processing Units, GPGPU) с использованием ускоренных на FPGA soft-ядер GPU (IP-ядер), что фактически позволяет реализовать GPU на FPGA [8]. Кроме того, активно разрабатываются чисто программные решения, ориентированные на выполнение на центральных процессорах (Central Processing Units, CPU) и микроконтроллерах, такие как высокоэффективный фреймворк для инференса от Klepsydra AI [9]. Однако преобладающим подходом среди большинства решений является рассмотрение приложения ИИ как отдельной сущности, будь то управление им как изолированным программным приложением или выделение его в отдельный аппаратный компонент. Отсутствие нативной интеграции и, как следствие, неоптимальные интерфейсы снижают эффективность высокопроизводительных приложений.
В данной статье предлагается иной подход, заключающийся в интеграции и, что более важно, во взаимосвязи возможностей ИИ внутри самого сердца спутника. Основные его положения следующие: на основе детального компонентного анализа нашего процессора следующего поколения для спутников мы разрабатываем стратегию развертывания, которая ставит во главу угла эффективный поток данных и эффективное использование аппаратного обеспечения, основываясь на перспективном эталонном сценарии из области телекоммуникаций, предложенном Петри и др. [10]. Чтобы подчеркнуть взаимосвязь между обеими работами, в данной статье используется согласованная цветовая схема. Остальная часть этой статьи организована следующим образом: Раздел II знакомит с архитектурой телекоммуникационного спутникового процессора и рассматривает эталонный сценарий, подлежащий реализации. В разделе III предлагается концепция развертывания после анализа соответствующих аппаратных ресурсов и возможностей их взаимосвязи, а также описывается процедура отображения алгоритма на аппаратное обеспечение. Краткий анализ производительности потока данных выполняется в разделе IV, за которым следует анализ поведения системы и обсуждение возможных улучшений. И наконец, раздел V завершает эту работу. Далее следует обзор оставшихся проблем на пути к достижению мощной интеграции ИИ.
*Перевод выполнен с помощью нейросетей
Zero-Copy AI-Augmented Signal Processing Pipeline on Heterogeneous Satellite ProcessorsLow-Power Lossless Image Compression on Small Satellite Edge using Spiking Neural Network
We present a novel signal processing concept that natively integrates artificial intelligence (AI) processing capabilities into satellite platforms. The processing workflow on high-end, resource-constrained platforms is typically Field Programmable Gate Array (FPGA)-dominated which renders the efficient integration of Machine Learning-based components a challenge. We address this by leveraging a novel System-on-Chip (SoC)-based heterogeneous compute platform and propose a deployment concept that allows for a flexible and dynamic arrangement of conventional and AI-based processing steps. After a comprehensive review of the hardware components we identify efficient inter-component data streaming as the primary implementation challenge, which we address using a zero-copy strategy. The complete deployment process is outlined for an AI-augmented telecommunications processing scenario. A succinct performance analysis of the critical inter-component data flow concludes this work, identifying potential bottlenecks and discussing avenues for future enhancements.
Introduction
Artificial intelligence (AI) has become ubiquitous in terrestrial applications, offering innovative solutions for rapid and efficient problem solving across various domains, including image and speech recognition, behavioral observations, autonomous reactions, and many more. While AI has seen widespread adoption on earth, its potential for space-bound systems, particularly satellites, has just recently begun to receive significant attention [1]. Possible benefits of on-board AI affect the whole ecosystem within and ”outside” of satellites. This includes removing the necessity of human-based intervention in spacecraft control by utilizing self-supervision and -recovery mechanisms through AI-powered behavior analysis [2], alleviating bandwidthintensive raw data transfers for computer vision-based earth observation (EO) applications by processing data directly on-board [3], and increasing overall system performance by exploiting the strengths of Machine Learning (ML) in digital signal processing (DSP)-intensive tasks, such as telecommunications [4]. Ultimately, AI can completely transform how satellites interact with terrestrial systems, transforming them from mere data collectors with relay functionality to autonomous datacenters in space.
Key enabler is the integration of generic AI-centric processing capabilities into the satellite platform and ensuring a native integration into the conventional processing flow. While terrestrial systems benefit from a wide landscape of specialized hardware, such as Graphics Processing Units (GPU), Tensor Processing Units (TPU), Digital Signal Processors, etc., which can efficiently work in concert due to standardized communication protocols and drivers, space-bound solutions lack this diversity. Amongst multiple restrictions, such as the limitation in available hardware technology due to harmful radiation, a tight power budget due to solar energy sources as well as thermal management, or weak general computational power due to heritage-proofed processors, the major challenge is the extreme reliance on Field Programmable Gate Array (FPGA)- devices, especially for high-performance satellites, which renders the seamless integration of AI into the processing chain cumbersome. This challenge has initiated a race amongst both established companies as well as newly formed start-ups. Amongst many proposed solutions, a straightforward approach is to utilize standalone modules designed for AI computation, such as NVIDIA’s embedded GPU module series [5] and Intel’s Movidius™ Myriad™ X Vision Processing Unit, or neuromorphic architectures, such as Brainchip’s akida IP [6] and Intel’s Loihi chip [7], accepting the penalty of missing radiation compliance and its associated problems of runtime faults and a shortened device lifespan. A different approach is the concept of General Purpose Computing on Graphics Processing Units (GPGPU) using FPGA-accelerated soft-GPU Intellectual Property (IP)- cores, effectively realizing a GPU on the FPGA [8]. Furthermore, purely software-based solutions that target execution on Central Processing Units (CPU) and microcontrollers are in active development, such as Klepsydra AI’s high efficiency inference framework [9]. However, the prevailing approach, among most solutions, is to treat the AI application as a separate entity by either managing it as an isolated software application or separating it into a distinct hardware component. The lack of native integration and the resulting suboptimal interfaces impede the effectiveness for high-performance applications. This paper takes a different approach by integrating, and more importantly, interconnecting AI capabilities within the heart of the satellite. Its main contributions are the following: Based on a detailed component-level analysis of our nextgeneration satellite processor, we derive a deployment strategy that prioritizes efficient data flow and effective hardware utilization based on a future reference scenario from the telecommunications domain, proposed by Petry et al [10]. To highlight relationships between both works, a coherent colorscheme is used throughout this work. The rest of this paper is structured as follows: Sec. II introduces the telecommunications satellite processor design and reviews the reference scenario to be implemented. Sec. III proposes a deployment concept after analyzing the relevant hardware resources and their interconnectivity capabilities and describes the mapping procedure from algorithm to hardware. A brief performance analysis of the data flow is performed in Sec. IV, followed by an analysis of the system’s behaviour and a discussion of possible improvements. Lastly, Sec. V concludes this work. This is followed by an outlook on the remaining challenges towards achieving powerful AI integration.
Artificial intelligence (AI) has become ubiquitous in terrestrial applications, offering innovative solutions for rapid and efficient problem solving across various domains, including image and speech recognition, behavioral observations, autonomous reactions, and many more. While AI has seen widespread adoption on earth, its potential for space-bound systems, particularly satellites, has just recently begun to receive significant attention [1]. Possible benefits of on-board AI affect the whole ecosystem within and ”outside” of satellites. This includes removing the necessity of human-based intervention in spacecraft control by utilizing self-supervision and -recovery mechanisms through AI-powered behavior analysis [2], alleviating bandwidthintensive raw data transfers for computer vision-based earth observation (EO) applications by processing data directly on-board [3], and increasing overall system performance by exploiting the strengths of Machine Learning (ML) in digital signal processing (DSP)-intensive tasks, such as telecommunications [4]. Ultimately, AI can completely transform how satellites interact with terrestrial systems, transforming them from mere data collectors with relay functionality to autonomous datacenters in space.
Key enabler is the integration of generic AI-centric processing capabilities into the satellite platform and ensuring a native integration into the conventional processing flow. While terrestrial systems benefit from a wide landscape of specialized hardware, such as Graphics Processing Units (GPU), Tensor Processing Units (TPU), Digital Signal Processors, etc., which can efficiently work in concert due to standardized communication protocols and drivers, space-bound solutions lack this diversity. Amongst multiple restrictions, such as the limitation in available hardware technology due to harmful radiation, a tight power budget due to solar energy sources as well as thermal management, or weak general computational power due to heritage-proofed processors, the major challenge is the extreme reliance on Field Programmable Gate Array (FPGA)- devices, especially for high-performance satellites, which renders the seamless integration of AI into the processing chain cumbersome. This challenge has initiated a race amongst both established companies as well as newly formed start-ups. Amongst many proposed solutions, a straightforward approach is to utilize standalone modules designed for AI computation, such as NVIDIA’s embedded GPU module series [5] and Intel’s Movidius™ Myriad™ X Vision Processing Unit, or neuromorphic architectures, such as Brainchip’s akida IP [6] and Intel’s Loihi chip [7], accepting the penalty of missing radiation compliance and its associated problems of runtime faults and a shortened device lifespan. A different approach is the concept of General Purpose Computing on Graphics Processing Units (GPGPU) using FPGA-accelerated soft-GPU Intellectual Property (IP)- cores, effectively realizing a GPU on the FPGA [8]. Furthermore, purely software-based solutions that target execution on Central Processing Units (CPU) and microcontrollers are in active development, such as Klepsydra AI’s high efficiency inference framework [9]. However, the prevailing approach, among most solutions, is to treat the AI application as a separate entity by either managing it as an isolated software application or separating it into a distinct hardware component. The lack of native integration and the resulting suboptimal interfaces impede the effectiveness for high-performance applications. This paper takes a different approach by integrating, and more importantly, interconnecting AI capabilities within the heart of the satellite. Its main contributions are the following: Based on a detailed component-level analysis of our nextgeneration satellite processor, we derive a deployment strategy that prioritizes efficient data flow and effective hardware utilization based on a future reference scenario from the telecommunications domain, proposed by Petry et al [10]. To highlight relationships between both works, a coherent colorscheme is used throughout this work. The rest of this paper is structured as follows: Sec. II introduces the telecommunications satellite processor design and reviews the reference scenario to be implemented. Sec. III proposes a deployment concept after analyzing the relevant hardware resources and their interconnectivity capabilities and describes the mapping procedure from algorithm to hardware. A brief performance analysis of the data flow is performed in Sec. IV, followed by an analysis of the system’s behaviour and a discussion of possible improvements. Lastly, Sec. V concludes this work. This is followed by an outlook on the remaining challenges towards achieving powerful AI integration.