[Перевод] Тактильное восприятие в сочетании со зрением для успешного роботизированного ведения домашнего хозяйства. Часть 2

05.10.2024 08:06:07 | Хабр

Хабы: Искусственный интеллект, Робототехника

Часть 1. https://habr.com/ru/articles/848264/

Архитектура тактильно-визуального слияния и стабильная стратегия восприятия

Хотя предлагаемый мультимодальный тактильный сенсор наделяет роботов быстрым и сложным тактильным восприятием, само по себе тактильное восприятие недостаточно для удовлетворения потребностей роботов в сложных сценариях. Мы объединяем тактильное восприятие с визуальным и в дальнейшем внедряем гибридную тактильно-визуальную архитектуру слияния. Эта архитектура объединяет информацию тактильного и визуального восприятия на уровне данных, функций и решений, предоставляя роботам возможность эффективно взаимодействовать со сложными средами. Специфическая архитектура робота показана на рис. 4a. Мы разделяем архитектуру на разные уровни, начиная с нижнего, с уровня сигнала, за которым следует уровень восприятия, уровень принятия решений и, наконец, системный уровень. На уровне сигнала бинокулярная камера глубины используется для захвата визуальных сигналов, а вышеупомянутые мультимодальные тактильные датчики используются для сбора сигналов интерфейса, скольжения, давления и температуры. На уровне восприятия компьютер преобразует сигналы датчиков в соответствующие когнитивные функции. В частности, визуальные сигналы позволяют распознавать объекты и их локализацию, в то время как тактильные сигналы позволяют при контакте воспринимать температуру, теплопроводность, контактное давление, текстуру и состояние скольжения объектов. На основе мультимодального восприятия робот принимает соответствующее решение и отправляет задания исполнительным механизмам (роботизированной руке и автоматизированному управляемому транспортному средству (AGV)). Исполнительные механизмы выполняют ряд действий, таких как управление движением автомобиля с помощью AGV, приближение к объекту, захват и сортировка объектов роботизированной рукой. Объединив все эти уровни, мы создали комплексную тактильно-визуальную архитектуру роботизированной системы (системный уровень). Более того, благодаря дополнительным датчикам и исполнительным механизмам это может наделить роботов еще большими возможностями восприятия и выполнения, что позволяет выполнять более сложные задачи.

Подробнее