2025-02-07 13:44

Контроль ручных операций с помощью компьютерного зрения

Проект “Норма”- пожалуй, один из самых крупных и сложных кейсов в истории компании, поскольку включает большое количество задач, основан на RnD-технологиях и пилотировался сразу на пяти площадках, каждая из которых требовала сбора собственных датасетов: во Научно-исследовательском институте автоматики имени Духова, заводе “Камаз”, Центре подготовки космонавтов имени Гагарина, компании Татнефть и научно-производственном объединении “Энергомаш”. Выбор площадок для пилотирования разработок осуществлялся ВНИИА и ФПИ и был обусловлен уровнем внедрения передовых технологий и готовностью апробировать инновационные методы работы.

Бизнес- эффекты

Автоматизация процесса обучения персонала
Сокращение производственных потерь
Оптимизация работы с базами инструкций и регламентов
Предотвращение нарушений техпроцесса

Стек технологий

Локализация, классификация и оценка положения объектов в пространстве
Генерация синтетических данных
Построение языковой модели
Распознавание голоса
Распознавание ручных операций (последовательность действий)
Распознавание жестов и жестовое управление
Интеграция графических инструкций в очки дополненной реальности (положение найденного объекта, анимированные и текстовые подсказки)
Голосовая коммуникация между специалистами
Проекция дополненной реальности на рабочий стол мастера
Контроль техпроцесса сборки изделия, распознавание типовых ошибок
Разработка "умных" инструментов для системы контроля

Проект занимает важное место в вопросах внедрения перспективных технологий поскольку имеет большой диапазон применения и позволяет параллельно решать ряд задач: снизить количество брака,
сократить время работы сразу нескольких специалистов (главного технолога, службы качества, инженеров конструкторского бюро, руководителей сборочных производств)
исключить экономические издержки, возникающие при неправильной сборке механизмов.

Особое значение технология имеет для опасных производств и в местах ликвидаций аварий, там где в будущем должны будут работать роботы.

Возможности использования стека технологий проекта “Норма”

сборочные операции
слесарные операции
комплектование
монтаж кабелей и труб
инспекция инфраструктуры
пуско-наладка

Эффективные технологические решения

Синтетическая генерация изображений для обучения ИИ

Для того чтобы качественно распознать положение объекта в пространстве, необходимо собрать более 100 тысяч его изображений. Фотосъемка такого объема сильно замедлила бы реализацию проекта (высокая зависимость от условий съемки, разное качество объектов съемки и тд). Синтетическая генерация данных для работы позволила снизить временные и финансовые затраты.

Преимущества синтетики:

обучение по CAD-моделям
устойчивость к изменениям. Фон, освещение, состояние объектов (сколы, ржавчина, цвет) не повлияют на качество собранных данных
простота создания дополнительных данных, например, добавление нового типа разметки
точные автоматические разметка и балансировка датасета
высокая скорость генерации. В 60 раз быстрее съемки реальных объектов

Сравнение съемки реальных и генерации синтетических объектов на примере ВНИИА (Центра робототехники и аварийного реагирования)

	синтетический	реальный
исходные данные	CAD- модели	изготовленные детали
источник изображений	генерация в Blender	видеосъемка
способ разметки	автоматическая	ручная
размер датасета	113 400 шт	113 400 шт
затраты времени: 1. подготовка 2. генерация 3 всего	1. 10 часов 2. 63 часа 3. 73 часа	1. 1230 часов 2. 3305 часов 3. 4535 часов

Подготовка изображений для обучения ИИ

Определенные сложности составила конвертация имеющихся CAD- моделей, представленных пилотными площадками, в полигональные 3D-модели для последующей генерации синтетических данных. Компании использовали разные программы CAD, отличались даже версии пакетов. Однако в результате использования специально разработанных программных модулей, удалось создать качественные обучающие наборы синтетических данных. В результате проведенных исследований/экспериментов качество распознавания деталей на тестовой выборке составило 86% (на обучающей 89%) .

Определение положения в пространстве деталей

Определение положения в пространстве деталей, узлов и изделий реализовано с помощью технологии 6D Pose Estimation. 6D Pose Estimation — технология, позволяющая оценить позиционирование и размер объекта относительно его реального местоположения в пространстве. С помощью pose estimation, имеется возможность «наложить» поверх реального объекта 3D объект. Визуализация 3D объекта в дополненной реальности поверх деталей и узлов позволяет фокусировать внимание сборщика на целевом узле текущего этапа сборки изделия и обеспечивать его корректное пространственное позиционирование

Переработка языковых данных (текстовых инструкций)

Инструкции, предназначенные для обучения специалистов, написаны сложным языком с обилием технических терминов и аббревиатур. Для вывода их на интерфейс устройств требуется обработка естественного языка: редактирование информации и ее перевод на машинный язык. Программный модуль, переводящий инструкции и операции выполнения сборки на машинный язык, позволил составить граф переходов, на основе которого формировалась этапность сборки или ТОиР изделий.

Особенности площадок

Площадки, на которых проходила апробация технологии, имели свою специфику, поэтому практически для каждой необходимо было вносить существенные изменения в техпроцесс. Кроме того для распознавания и классификации объектов под каждую площадку необходимо создавать свои датасеты.

Виртуальный помощник используемый в робототехнике для сборки машиностроительных изделий

Контроль сборки детали для крупного машиностроения

Контроль сборки каретки для буровой платформы

AR-система, контролирующая сборку ракетных двигателей

Повышение точности лабораторных экспериментов на МКС

Итоги проекта "Норма"

Технологии контроля ручных операций могут применяться компаниями, у которых есть циклы с большим количеством однотипных операций: в промышленности, на складских комплексах, в центрах повышения квалификации, а также организациях образования, спорта, медицины.

В зависимости от специфики работы и контекста требуются разные типы оборудования и подготовка собственных датасетов. Однако не смотря на высокие трудозатраты при внедрении, технология имеет большое значение для увеличения эффективности бизнес-процессов.

Контроль ручных операций позволяет сократить затраты рабочего времени (как линейного персонала, так и контролирующего), повышает точность выполняемых операций (за счет использования алгоритмов искусственного интеллекта), уменьшает влияние человеческого фактора (снижение концентрации внимания в процессе работы) и сокращает количество брака (ошибок персонала).

Помимо повышения операционной эффективности, технология имеет большое значение для решения стратегических задач: анализа и систематизации данных о рабочих процессах, обучения персонала, выявления узких мест и потенциально опасных ситуаций, формирования технологических стандартов.