Чувство осязания имеет решающее значение для решения повседневных задач, связанных с взаимодействием с объектами, для их безопасного манипулирования и изучения с целью понимания их физических свойств (1), а также для восприятия и самосознания (2). Когда люди лишены надежной тактильной информации [например, из-за онемения анестезированных или замерзших пальцев (3, 4)], их движения становятся неуклюжими, и возрастает вероятность несчастных случаев. Аналогичным образом, тактильное sensing (ощущение) или haptics (осязание) также играют жизненно важную роль в разработке когнитивных и интеллектуальных роботизированных систем, поскольку позволяют им автономно исследовать окружающую среду. Таким образом, будущим роботизированным системам необходимо тактильное восприятие для безопасного взаимодействия в динамичных, неструктурированных и зачастую непредсказуемых средах. В результате за последние несколько десятилетий исследователи изучили множество способов создания искусственного осязания с помощью различных типов сенсоров в гибких и растяжимых форм-факторах (5–8) [например, резистивных (9), пьезорезистивных (10, 11), емкостных (12), оптических (13), пьезоэлектрических (14, 15), акустических (16)] — как по отдельности, так и в виде стека (17), и все же мы еще далеки от тактильных возможностей, присущих человеку.
Чтобы робот обладал способностью к восприятию на уровне человека, важно связать тактильные сенсоры с аналогичной системой обработки данных так, как это делают рецепторы в периферической нервной системе (ПНС). Это требует физически распределенного вычислительного аппаратного обеспечения на мягких подложках вместе с тактильными сенсорами. Хотя тактильные сенсоры уже давно привлекают значительное внимание, кодирование и обработка данных с помощью специализированного аппаратного обеспечения изучены не так глубоко. Обработка тактильной информации в робототехнике до сих пор в основном включала аналитические или основанные на данных подходы с использованием программных платформ (18). Аналитические подходы используют физические модели для получения тактильной информации, такой как свойства объекта и команды действий, из необработанных тактильных данных. Однако эти модели часто основаны на структурированных взаимодействиях и не обеспечивают точной информации, необходимой для управления или надежного восприятия. Альтернатива заключается в использовании методов, основанных на данных, которые изучают отображения из необработанных сенсорных данных или признаков низкого уровня в свойства объектов высокого уровня и команды действий. В этом отношении можно исследовать обучение с учителем, без учителя и с подкреплением. Иерархические представления, такие как нейронные сети, часто используются для изучения признаков нескольких уровней (19, 20). Гибкие представления позволяют роботу адаптировать изученную модель к конкретной задаче непосредственно на основе данных. Аналитические, основанные на данных или алгоритмические подходы могут быть более эффективными при распределенных вычислениях в тактильной коже (21). Нейроподобное аппаратное обеспечение, разработанное для других сенсорных модальностей, таких как зрение и слух, или чипы, созданные для имитации работы центральной нервной системы (ЦНС) (22–24), могут быть адаптированы для обработки тактильных данных. Однако такие решения не идеальны для тактильного считывания, потому что, в отличие от других сенсорных модальностей, тактильное считывание физически распределено по всему телу и требует механической мягкости для взаимодействия с другими объектами. Робототехника значительно продвинулась от использования нескольких сенсоров в руках до использования большого количества сенсоров по всему телу (рис. 1), чтобы соответствовать требованиям новых задач, которые используют контакт на большой площади или всем телом для манипулирования объектами или навигации в неструктурированных или загроможденных средах. С увеличением количества сенсоров объем генерируемых ими тактильных данных может быстро приблизиться к практическим пределам, таким как занятие полосы пропускания канала связи. Таким образом, непрактично отправлять все данные в централизованное вычислительное аппаратное обеспечение робота (эквивалент мозга). Аналогичным образом, требования к мощности могут быть весьма высокими. Это требует от электронной кожи наличия возможности эффективного управления данными, и этого можно достичь с помощью распределенного маломощного электронного аппаратного обеспечения для вычислений. Это понятие согласуется с тем, как ПНС дополняет ЦНС. Сосредоточившись на вычислительном аппаратном обеспечении для электронной кожи, данный обзор дополняет предыдущие обзорные статьи, в которых рассматривались такие темы, как различные типы тактильных сенсоров (25–28), методы и материалы (например, с использованием жидкого металла и гидрогеля) для создания сенсоров в мягких и гибких форм-факторах (29, 30), идентификация свойств объектов и взаимодействий (31), а также распределенная энергетика (32, 33). Эта статья также дополняет предыдущие обзоры, посвященные нейро-/биовдохновленной электронной коже (34–36), предоставляя систематическое и всестороннее обсуждение вычислительного элемента в тактильном считывании. В этом отношении данный обзор является уникальным и своевременным. Обсуждение начинается с биологической перспективы, обобщая современные взгляды, связанные с кодированием и обработкой тактильных данных в ПНС. В обсуждении также подчеркивается ключевое сообщение для аппаратной реализации нейроподобной обработки в электронной коже. За этим следует обсуждение различных строительных блоков для аппаратных реализаций. Хотя некоторые из этих строительных блоков разработаны не для электронной кожи, их можно адаптировать для ее разработки, чтобы решить указанные выше проблемы. После этого обсуждаются пути интеграции этих строительных блоков с возможными алгоритмами, ведущие к разработке вычислительной электронной кожи. Затем мы покажем, как реализация электронной кожи с вычислениями на большой площади может выиграть от достижений в технологиях гибкой и печатной электроники. Интеллектуальная роботизированная кожа, способная извлекать информацию низкого уровня из обильных тактильных данных, также может открыть новые прикладные направления в таких областях, как медицинские инструменты, носимые устройства и нейропротезирование, и, следовательно, исследователи, работающие в этих разнообразных областях, получат пользу от этой статьи.*
*Перевод выполнен с помощью нейросетей
Чтобы робот обладал способностью к восприятию на уровне человека, важно связать тактильные сенсоры с аналогичной системой обработки данных так, как это делают рецепторы в периферической нервной системе (ПНС). Это требует физически распределенного вычислительного аппаратного обеспечения на мягких подложках вместе с тактильными сенсорами. Хотя тактильные сенсоры уже давно привлекают значительное внимание, кодирование и обработка данных с помощью специализированного аппаратного обеспечения изучены не так глубоко. Обработка тактильной информации в робототехнике до сих пор в основном включала аналитические или основанные на данных подходы с использованием программных платформ (18). Аналитические подходы используют физические модели для получения тактильной информации, такой как свойства объекта и команды действий, из необработанных тактильных данных. Однако эти модели часто основаны на структурированных взаимодействиях и не обеспечивают точной информации, необходимой для управления или надежного восприятия. Альтернатива заключается в использовании методов, основанных на данных, которые изучают отображения из необработанных сенсорных данных или признаков низкого уровня в свойства объектов высокого уровня и команды действий. В этом отношении можно исследовать обучение с учителем, без учителя и с подкреплением. Иерархические представления, такие как нейронные сети, часто используются для изучения признаков нескольких уровней (19, 20). Гибкие представления позволяют роботу адаптировать изученную модель к конкретной задаче непосредственно на основе данных. Аналитические, основанные на данных или алгоритмические подходы могут быть более эффективными при распределенных вычислениях в тактильной коже (21). Нейроподобное аппаратное обеспечение, разработанное для других сенсорных модальностей, таких как зрение и слух, или чипы, созданные для имитации работы центральной нервной системы (ЦНС) (22–24), могут быть адаптированы для обработки тактильных данных. Однако такие решения не идеальны для тактильного считывания, потому что, в отличие от других сенсорных модальностей, тактильное считывание физически распределено по всему телу и требует механической мягкости для взаимодействия с другими объектами. Робототехника значительно продвинулась от использования нескольких сенсоров в руках до использования большого количества сенсоров по всему телу (рис. 1), чтобы соответствовать требованиям новых задач, которые используют контакт на большой площади или всем телом для манипулирования объектами или навигации в неструктурированных или загроможденных средах. С увеличением количества сенсоров объем генерируемых ими тактильных данных может быстро приблизиться к практическим пределам, таким как занятие полосы пропускания канала связи. Таким образом, непрактично отправлять все данные в централизованное вычислительное аппаратное обеспечение робота (эквивалент мозга). Аналогичным образом, требования к мощности могут быть весьма высокими. Это требует от электронной кожи наличия возможности эффективного управления данными, и этого можно достичь с помощью распределенного маломощного электронного аппаратного обеспечения для вычислений. Это понятие согласуется с тем, как ПНС дополняет ЦНС. Сосредоточившись на вычислительном аппаратном обеспечении для электронной кожи, данный обзор дополняет предыдущие обзорные статьи, в которых рассматривались такие темы, как различные типы тактильных сенсоров (25–28), методы и материалы (например, с использованием жидкого металла и гидрогеля) для создания сенсоров в мягких и гибких форм-факторах (29, 30), идентификация свойств объектов и взаимодействий (31), а также распределенная энергетика (32, 33). Эта статья также дополняет предыдущие обзоры, посвященные нейро-/биовдохновленной электронной коже (34–36), предоставляя систематическое и всестороннее обсуждение вычислительного элемента в тактильном считывании. В этом отношении данный обзор является уникальным и своевременным. Обсуждение начинается с биологической перспективы, обобщая современные взгляды, связанные с кодированием и обработкой тактильных данных в ПНС. В обсуждении также подчеркивается ключевое сообщение для аппаратной реализации нейроподобной обработки в электронной коже. За этим следует обсуждение различных строительных блоков для аппаратных реализаций. Хотя некоторые из этих строительных блоков разработаны не для электронной кожи, их можно адаптировать для ее разработки, чтобы решить указанные выше проблемы. После этого обсуждаются пути интеграции этих строительных блоков с возможными алгоритмами, ведущие к разработке вычислительной электронной кожи. Затем мы покажем, как реализация электронной кожи с вычислениями на большой площади может выиграть от достижений в технологиях гибкой и печатной электроники. Интеллектуальная роботизированная кожа, способная извлекать информацию низкого уровня из обильных тактильных данных, также может открыть новые прикладные направления в таких областях, как медицинские инструменты, носимые устройства и нейропротезирование, и, следовательно, исследователи, работающие в этих разнообразных областях, получат пользу от этой статьи.*
*Перевод выполнен с помощью нейросетей
Neuro-inspired electronic skin forrobots
Touch is a complex sensing modality owing to large number of receptors (mechano, thermal, pain) nonuniformly embedded in the soft skin all over the body. These receptors can gather and encode the large tactile data, allowing us to feel and perceive the real world. This efficient somatosensation far outperforms the touch-sensing capability of most of the state-of-the-art robots today and suggests the need for neural-like hardware for electronic skin (e-skin). This could be attained through either innovative schemes for developing distributed electronics or repurposing the neuromorphic circuits developed for other sensory modalities such as vision and audio. This Review highlights the hardware implementations of various computational building blocks for e-skin and the ways they can be integrated to potentially realize human skin–like or peripheral nervous system–like functionalities. The neural-like sensing and data processing are discussed along with various algorithms and hardware architectures. The integration of ultrathin neuromorphic chips for local computation and the printed electronics on soft substrate used for the development of e-skin over large areas are expected to advance robotic interaction as well as open new avenues for research in medical instrumentation, wearables, electronics, and neuroprosthetics.
The sense of touch is crucial to cope with the everyday challenges related to interaction with objects, to safely manipulate and explore them to understand their physical properties (1), and for perception and self-awareness (2). When deprived of reliable tactile information [e.g., through the numbness of anesthetized or cold fingers (3, 4)], people become clumsy, and accidents are prone to occur. Similarly, tactile sensing or haptics also has a vital role in the development of cognitive and intelligent robotic systems because it allows them to autonomously explore their surroundings. Robotic systems of the future thus need touch sensing to safely interact in dynamic, unstructured, and often uncertain environments. As a result, during the past several decades, researchers have explored numerous ways to create an artificial sense of touch through various types of sensors in bendable and stretchable form factors (5–8) [e.g., resistive (9), piezoresistive (10, 11), capacitive (12), optical (13), piezoelectric (14, 15), acoustic (16)]—either individually or as a stack (17), and yet, we are far from the tactile sensing capabilities possessed by humans. Some of the key developments for tactile sensing or electronic skin (e-skin) in robotics are shown in Fig. 1. For a robot to have human-level perceptual capability, it is important to associate the tactile sensors with a similar data processing system in the way that receptors work in the peripheral nervous system (PNS). This requires physically distributed computing hardware on soft substrates, along with tactile sensors. Although tactile sensors have received substantial attention in the past, the data encoding and processing using dedicated hardware has not been explored as much. The tactile information processing in robotics so far has mainly involved analytical or data-driven approaches, using a software platform (18). Analytical approaches exploit physics-based models to obtain tactile information, such as object properties and action commands, from the raw tactile data. However, these models often rely on structured interactions and do not provide accurate information needed for control or robust perception. The alternative is to use data-driven methods that learn mappings from raw sensory data, or lower-level features, to high-level object properties and action commands. In this regard, supervised, unsupervised, and reinforcement learning can be explored. Hierarchical representations, such as neural networks, are often used to learn multiple levels of features (19, 20). Flexible representations allow the robot to adapt the learned model to the specific task based directly on data. The analytical, data-driven, or algorithmic approaches can be more effective with distributed computing in tactile skin (21). The neural-like hardware developed for other sensory modalities, such as vision and audio, or the chips developed to imitate the working of central nervous system (CNS) (22–24) can be repurposed for tactile data processing. However, such solutions are not ideal for tactile sensing, because unlike other sensory modalities, tactile sensing is physically distributed all over the body and requires mechanical softness to interact with other objects. Robotics has considerably advanced from using few sensors in the hands to using large numbers of sensors all over the body (Fig. 1) to meet the requirements of emerging tasks that exploit the large-area or whole-body contact to manipulate objects or navigate through unstructured or cluttered environments. With increasing numbers of sensors, the amount of tactile data they generate can rapidly approach practical limits, such as occupying the communication bandwidth. As such, it is impractical to send all of the data to the robot’s centralized computing hardware (an equivalent of the brain). Likewise, the power requirements can be considerably high. This calls for e-skin to have efficient data handling capability, and it could be achieved through distributed low-power electronic hardware for computing. This notion aligns with the way the PNS complements the CNS. Focusing on the computing hardware for e-skin, this Review complements previous review articles that have presented topics such as various types of tactile sensors (25–28), techniques, and materials (for example, using liquid metal and hydrogel) to realize sensors in soft and flexible form factors (29, 30), identification of object properties and interactions (31), and distributed energy (32, 33). This article also complements previous reviews covering neuro-/bio-inspired e-skin (34–36), providing a systematic and comprehensive discussion on the computing element in tactile sensing. In this regard, this Review is distinct and timely. The discussion starts from a biological perspective, summarizing the state-of-the-art viewpoints related to tactile data encoding and processing in PNS. The discussion also highlights the key message for the hardware implementation of neural-like processing in e-skin. This is followed by the discussion on various building blocks for hardware implementations. Although some of these building blocks are not developed for e-skin, they can be repurposed to develop one to address the challenges stated above. The pathways for the integration of these building blocks with possible algorithms, leading to the development of computational e-skin, are discussed afterward. We then present how the implementation of large-area computational e-skin could gain from the advances in flexible and printed electronics technologies. The intelligent robotic skin capable of extracting low-level information from the abundant tactile data could also open new application avenues in areas such as medical instruments, wearables, and neuroprosthetics, and therefore, researchers working in these diverse areas will benefit from this article.