Несмотря на технологические прорывы в создании передовых систем помощи водителю, невнимательное вождение остается серьезной проблемой для безопасности дорожного движения. Данное исследование вносит вклад в развитие научных знаний, приближая решение этой проблемы путем разработки метода индивидуализированного определения состояния водителя с использованием электроэнцефалографии (ЭЭГ) и нейроморфных вычислений для создания менее инвазивного и более энергоэффективного решения для передовых систем помощи водителю (ADAS). Кроме того, в нем исследуются изменения функциональной связности мозга в условиях невнимательного вождения, чтобы лучше понять информацию о состоянии мозга, которая может быть использована для систем нейробиоуправления. Первый вклад представляет концепцию использования сверточных импульсных нейронных сетей (Convolutional Spiking Neural Networks, CSNN) для распознавания паттернов, содержащихся в данных ЭЭГ и обладающих предсказательной силой в отношении намерения совершить движение, и применяет эту концепцию к задаче прогнозирования намерения водителя нажать на тормоз путем идентификации негативной вариации условно-негативной волны (contingent negative variation, CNV). Второй вклад расширяет первые результаты в методологию быстрого создания высокопроизводительных индивидуализированных моделей на уровне чипа. Это преодолевает недостатки обобщенной модели группового уровня за счет снижения неопределенности производительности, специфичной для конкретного водителя, посредством индивидуально-ориентированного подхода. Последний вклад расширяет предыдущие результаты путем исследования более широких паттернов активации мозга во время невнимательного вождения, а именно путем наблюдения зависящих от времени паттернов функциональных сетей мозга как во время обычного, так и во время невнимательного вождения с использованием анализа "динамической" функциональной связности и отмечая различия между ними как качественным, так и количественным образом. Это позволяет получить более полное понимание изменений функциональной связности мозга, происходящих во время невнимательного вождения, и дает идеи для будущих усовершенствований предлагаемых разработок в области ADAS посредством более обобщенного обнаружения невнимательного вождения.
*Перевод выполнен с помощью нейросетей
Design of real-time and energy-efficient driver assist systems using electroencephalogram and neuromorphic computing
Despite the technological breakthroughs in advanced driver assist systems, distracted driving persists as a major challenge to roadway safety. This investigation advances the body of knowledge towards a solution by developing an individualized driver-state detection method using electroencephalogram (EEG) and neuromorphic computing to provide a less invasive and more energy efficient ADAS solution. It furthermore explores the changes in brain functional connectivity under distracted conditions to better understand brain state information that could be used for neuro-feedback intervention systems. The first contribution introduces the concept of using Convolutional Spiking Neural Networks (CSNNs) for recognition of patterns with movement-intention predictive power contained within EEG data and applies this concept to the problem of predicting driver braking intent through identification of the contingent negative variation (CNV). The second contribution extends the first results into a methodology of rapidly creating high-performance, individualized models at the chip level. This overcomes the short-comings of a generalized group-level model by reducing driver-specific performance uncertainty through an individual-focused approach. The final contribution expands upon the preceding results by investigating the broader brain activation patterns during distracted driving, namely by observing the time-dependent patterns of brain functional networks during both normal and distracted driving using ”dynamic” functional connectivity analysis and noting the differences between the two in both a qualitative and quantitative manner. This allows for a more comprehensive understanding of the brain functional connectivity changes that occur during distracted driving and provides ideas for future augmentations of the proposed ADAS advancements through more generalized distracted driving detection