Аннотация
Цель программы «Vision Zero» — сократить количество смертельных случаев и серьезных травм, связанных с дорожным движением, одновременно способствуя обеспечению справедливой, безопасной и здоровой мобильности для всех. Ключевая задача заключается в обнаружении пешеходов в дневное время и, особенно, ночью для реализации мер безопасности. Настоящее исследование представляет award-winning энергоэффективное решение, использующее нейроморфное визуальное sensing и гибридную нейро-статистическую обработку, разработанное командой Нюрнбергского технического университета для конкурса TinyML Vision Zero San Jose. Решение предлагает новейшее нейроморфное периферийное (edge) объединение импульсных нейронных сетей (spiking neural networks) и событийного алгоритма максимизации ожидания (expectation maximization) для обнаружения и отслеживания пешеходов и велосипедистов. Мы предоставляем готовую к развертыванию оценку производительности обнаружения наряду с надежностью, энергопотреблением и устойчивостью к погодным условиям, подчеркивая преимущества нейро-статистического периферийного решения и его возможности масштабирования на уровне города.
Введение
Ожидается, что в ближайшие годы рост населения городских и столичных районов продолжится. Города и муниципалитеты будут продолжать стремиться обеспечить жителям чувство безопасности и свободы. Системы мониторинга на основе камер в настоящее время являются наиболее зрелым решением для городского наблюдения, например, для мониторинга дорожного движения и, конечно, обнаружения аномальных движений и активностей пешеходов на обочине. Если точнее, внезапные движения велосипедистов в сторону улицы или резкие движения пешеходов, например, попытка перебежать на другую сторону улицы. Такая задача требует как обнаружения (различения велосипедистов и пешеходов), так и отслеживания для определения скорости изменения позиции обнаруженного участника движения. Однако большинство существующих и established алгоритмов и систем для городского дорожного наблюдения требуют дорогостоящего и энергоемкого компьютерного оборудования. Нейроморфные сенсоры и вычислительные системы, на которых сосредоточено наше award-winning решение для обнаружения пешеходов, являются promising альтернативой. Ключевые преимущества таких систем — высокая энергоэффективность, быстрый и репрезентативный (relevant) сбор данных, быстрая периферийная обработка (edge processing), улучшенная защита данных и конфиденциальности, и рациональное бюджетное использование ресурсов.
«Vision Zero» — это политика безопасности на улицах, которая стремится к ликвидации смертельных случаев в дорожном движении для всех видов транспорта и была implemented в нескольких местах по всему миру (больше информации доступно на https://visionzeronetwork.org/about/what-is-vision-zero/). Она advocates для рентабельных и точных технических решений, используемых для обнаружения пешеходов, велосипедистов или пользователей электросамокатов в дневное время и особенно ночью, для реализации различных мер по повышению безопасности. Более того, такие системы должны обеспечивать надежное обнаружение в широком спектре погодных условий (например, от дождливой облачности до ясного неба), а также при специфических суточных вариациях освещенности (т.е. на рассвете или закате). Подводя итог, ценные кандидаты в решения TinyML для Vision Zero должны иметь отличный показатель энергопотребления (energy footprint), обеспечивать точное и надежное обнаружение и использовать только локальную обработку, и все это в рамках бюджета, позволяющего масштабирование на уровень города. Решение, предлагаемое в данном исследовании, представляет собой автономный модуль, состоящий из событийной (event-based) нейроморфной камеры и нейроморфной встраиваемой (embedded) платы обработки. Для обнаружения и классификации участников дорожного движения
агрегированный поток событий (aggregated event stream) от нейроморфной камеры подается на импульсную нейронную сеть (spiking neural network, SNN). Это реализовано в модуле обнаружения на рисунке 2. Поток событий также изначально ingested (на основе каждого отдельного события) алгоритмом максимизации ожидания (expectation maximization, EM), используемым для отслеживания пешеходов и велосипедистов. Это реализовано в модуле отслеживания на рисунке 2.
Цель программы «Vision Zero» — сократить количество смертельных случаев и серьезных травм, связанных с дорожным движением, одновременно способствуя обеспечению справедливой, безопасной и здоровой мобильности для всех. Ключевая задача заключается в обнаружении пешеходов в дневное время и, особенно, ночью для реализации мер безопасности. Настоящее исследование представляет award-winning энергоэффективное решение, использующее нейроморфное визуальное sensing и гибридную нейро-статистическую обработку, разработанное командой Нюрнбергского технического университета для конкурса TinyML Vision Zero San Jose. Решение предлагает новейшее нейроморфное периферийное (edge) объединение импульсных нейронных сетей (spiking neural networks) и событийного алгоритма максимизации ожидания (expectation maximization) для обнаружения и отслеживания пешеходов и велосипедистов. Мы предоставляем готовую к развертыванию оценку производительности обнаружения наряду с надежностью, энергопотреблением и устойчивостью к погодным условиям, подчеркивая преимущества нейро-статистического периферийного решения и его возможности масштабирования на уровне города.
Введение
Ожидается, что в ближайшие годы рост населения городских и столичных районов продолжится. Города и муниципалитеты будут продолжать стремиться обеспечить жителям чувство безопасности и свободы. Системы мониторинга на основе камер в настоящее время являются наиболее зрелым решением для городского наблюдения, например, для мониторинга дорожного движения и, конечно, обнаружения аномальных движений и активностей пешеходов на обочине. Если точнее, внезапные движения велосипедистов в сторону улицы или резкие движения пешеходов, например, попытка перебежать на другую сторону улицы. Такая задача требует как обнаружения (различения велосипедистов и пешеходов), так и отслеживания для определения скорости изменения позиции обнаруженного участника движения. Однако большинство существующих и established алгоритмов и систем для городского дорожного наблюдения требуют дорогостоящего и энергоемкого компьютерного оборудования. Нейроморфные сенсоры и вычислительные системы, на которых сосредоточено наше award-winning решение для обнаружения пешеходов, являются promising альтернативой. Ключевые преимущества таких систем — высокая энергоэффективность, быстрый и репрезентативный (relevant) сбор данных, быстрая периферийная обработка (edge processing), улучшенная защита данных и конфиденциальности, и рациональное бюджетное использование ресурсов.
«Vision Zero» — это политика безопасности на улицах, которая стремится к ликвидации смертельных случаев в дорожном движении для всех видов транспорта и была implemented в нескольких местах по всему миру (больше информации доступно на https://visionzeronetwork.org/about/what-is-vision-zero/). Она advocates для рентабельных и точных технических решений, используемых для обнаружения пешеходов, велосипедистов или пользователей электросамокатов в дневное время и особенно ночью, для реализации различных мер по повышению безопасности. Более того, такие системы должны обеспечивать надежное обнаружение в широком спектре погодных условий (например, от дождливой облачности до ясного неба), а также при специфических суточных вариациях освещенности (т.е. на рассвете или закате). Подводя итог, ценные кандидаты в решения TinyML для Vision Zero должны иметь отличный показатель энергопотребления (energy footprint), обеспечивать точное и надежное обнаружение и использовать только локальную обработку, и все это в рамках бюджета, позволяющего масштабирование на уровень города. Решение, предлагаемое в данном исследовании, представляет собой автономный модуль, состоящий из событийной (event-based) нейроморфной камеры и нейроморфной встраиваемой (embedded) платы обработки. Для обнаружения и классификации участников дорожного движения
агрегированный поток событий (aggregated event stream) от нейроморфной камеры подается на импульсную нейронную сеть (spiking neural network, SNN). Это реализовано в модуле обнаружения на рисунке 2. Поток событий также изначально ingested (на основе каждого отдельного события) алгоритмом максимизации ожидания (expectation maximization, EM), используемым для отслеживания пешеходов и велосипедистов. Это реализовано в модуле отслеживания на рисунке 2.
*Перевод выполнен с помощью нейросетей
Edge neuro-statistical learning for event-based visual motion detection and tracking in roadside safety systems
The Vision Zero Program’s purpose is to reduce traffic-related fatalities and serious injuries while promoting equitable, safe, and healthy mobility for all. Ultimately, the challenge is to detect pedestrians during the day and especially at night to implement safety measures. The current study introduces an award-winning low-power solution employing neuromorphic visual sensing and hybrid neuro-statistical processing developed by the Technische Hochschule Nürnberg team for the TinyML Vision Zero San Jose Competition. The solution proposes a novel neuromorphic edge fusion of spiking neural networks and event-based expectation maximization for the detection and tracking of pedestrians and bicyclists. We provide a deployment-ready evaluation of the detection performance along with robustness, energy footprint, and weatherization while emphasizing the advantages of the neuro-statistical edge solution and its city-level scaling capabilities.
Introduction For urban and metropolitan areas, population growth is expected to continue in the coming years. Cities and municipalities will continue to strive to provide residents with a sense of security and freedom. Camera-based monitoring systems are currently the most mature solution for urban surveillance, for example, in monitoring road traffic and, of course, detecting abnormal pedestrian motion and activity on the roadside. More precisely, the abrupt motions of the bicyclists towards the street or abrupt motions of the pedestrians, for instance, trying to sprint towards the other side of the street. Such a task requires both detection, bicyclists vs pedestrians, and tracking alike to detect the rate of change in position of the detected traffic participant. However, most existing and established algorithms and systems for urban road surveillance require expensive and power-hungry computer hardware. Neuromorphic sensors and computing systems, which are the focus of our award-winning pedestrian detection solution, are a promising alternative. The key advantages of such systems are high energy efficiency, fast and representative (relevant) data acquisition, fast edge processing, improved data and privacy protection, and rationally budgeted use of resources. ‘Vision Zero’ is a street safety policy that strives for the elimination of traffic fatalities for all transportation modes and has been implemented in multiple locations worldwide (more information available at https://visionzeronetwork.org/about/what-is-vision-zero/). It advocates for cost-effective and accurate technical solutions used to detect pedestrians, bicyclists, or electric scooter riders during the day and especially at night to implement various measures for improved safety. Moreover, such systems should provide robust detection across a wide spectrum of weather conditions (e.g. from rainy overcast to clear sky) and also specific time-of-day variations in luminance (i.e. sunrise or sunset). To sum up, valuable candidate TinyML solutions for Vision Zero must have an excellent energy footprint, deliver accurate and robust detection, and only use local processing, all this with a budget that allows scaling to the city level. More about the TinyML Foundation Challenge is available at https://brainchip.com/tinyml-hackathon-2023-pedestriandetection/. The solution proposed in this study is a stand-alone module composed of an event-based neuromorphic camera and a neuromorphic embedded processing board. To detect and classify traffic participants, the aggregated event stream from the neuromorphic camera is fed to a spiking neural network (SNN). This is implemented in the detection module in figure 2. The event stream is also natively ingested (on a per-event basis) by an event-based expectation maximization (EM) algorithm employed for tracking pedestrians and bicyclists. This is implemented in the tracking module in figure 2.
Introduction For urban and metropolitan areas, population growth is expected to continue in the coming years. Cities and municipalities will continue to strive to provide residents with a sense of security and freedom. Camera-based monitoring systems are currently the most mature solution for urban surveillance, for example, in monitoring road traffic and, of course, detecting abnormal pedestrian motion and activity on the roadside. More precisely, the abrupt motions of the bicyclists towards the street or abrupt motions of the pedestrians, for instance, trying to sprint towards the other side of the street. Such a task requires both detection, bicyclists vs pedestrians, and tracking alike to detect the rate of change in position of the detected traffic participant. However, most existing and established algorithms and systems for urban road surveillance require expensive and power-hungry computer hardware. Neuromorphic sensors and computing systems, which are the focus of our award-winning pedestrian detection solution, are a promising alternative. The key advantages of such systems are high energy efficiency, fast and representative (relevant) data acquisition, fast edge processing, improved data and privacy protection, and rationally budgeted use of resources. ‘Vision Zero’ is a street safety policy that strives for the elimination of traffic fatalities for all transportation modes and has been implemented in multiple locations worldwide (more information available at https://visionzeronetwork.org/about/what-is-vision-zero/). It advocates for cost-effective and accurate technical solutions used to detect pedestrians, bicyclists, or electric scooter riders during the day and especially at night to implement various measures for improved safety. Moreover, such systems should provide robust detection across a wide spectrum of weather conditions (e.g. from rainy overcast to clear sky) and also specific time-of-day variations in luminance (i.e. sunrise or sunset). To sum up, valuable candidate TinyML solutions for Vision Zero must have an excellent energy footprint, deliver accurate and robust detection, and only use local processing, all this with a budget that allows scaling to the city level. More about the TinyML Foundation Challenge is available at https://brainchip.com/tinyml-hackathon-2023-pedestriandetection/. The solution proposed in this study is a stand-alone module composed of an event-based neuromorphic camera and a neuromorphic embedded processing board. To detect and classify traffic participants, the aggregated event stream from the neuromorphic camera is fed to a spiking neural network (SNN). This is implemented in the detection module in figure 2. The event stream is also natively ingested (on a per-event basis) by an event-based expectation maximization (EM) algorithm employed for tracking pedestrians and bicyclists. This is implemented in the tracking module in figure 2.