В МТУСИ разработали алгоритм для определения объекта захвата роботом-манипулятором

info@vsetut.pro

О проекте

Вернуться

11.10.2024 11:07:04 | Хабр

Хабы: Блог компании МТУСИ

Эксперты разработали алгоритм для определения объекта захвата роботом-манипулятором

Внедрение промышленных роботов в процессы сортировки и манипулирования объектов открывает новые горизонты для повышения эффективности и автоматизации производственных линий. Однако, несмотря на очевидные преимущества роботизированных систем, существуют задачи, требующие решения специфических проблем.

Наблюдения показали, что в современной робототехнике существует проблема сортировки объектов, хаотично расположенных в рабочей зоне манипулятора. Один объект может полностью или частично закрывать другой, и тогда роботу будет сложно захватить нужный объект, не затронув другие или не повредив захватное устройство.

Для решения этой проблемы применяются интеллектуальные алгоритмы, основанные на компьютерном зрении, которые могли бы определять положение и ориентацию объектов. Первый этапом при решении этой проблемы является поиск нужных объектов в видеопотоке.

Никита Белов, старший преподаватель кафедры ИСУиА МТУСИ, предложил алгоритм, основанный на нейронной сети и RGB-D сенсоре, позволяющий определить объект захвата в технологическом процессе сортировки объектов с применением промышленного манипулятора.

«В ходе эксперимента использовался робот-манипулятор KUKA KR4 R600. Для достижения высокой точности определения объектов применялись нейросетевой алгоритм YOLOv8 и камера Intel RealSense D415i, которая использовалась для определения расстояния до объекта по вертикальной оси. Далее производится выделения контуров распознанных объектов на чёрно-белых изображениях с помощью метода FindContours. Одним из важнейших этапов работы алгоритма стал расчёт индекса Жаккара, который позволил выявить перекрывающиеся ограничивающие рамки распознанных объектов. В результате получается массив данных, который включал все пересекающиеся объекты и отклонения их отношений периметра к площади от эталонных значений», — пояснил Никита Белов.

Подробнее