Ловкие руки-роботы с легкостью манипулируют тысячами объектов

OpenAI попробовал это с помощью «Dactyl» (что означает «палец» от греческого слова daktylos), используя свою гуманоидную руку робота для решения кубика Рубика с помощью программного обеспечения, которое является шагом к более общему ИИ и шагом в сторону от обычного одиночного – ментальность задачи. DeepMind создала «RGB-Stacking», систему на основе видения, которая заставляет робота научиться брать предметы и складывать их.

Ученые из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL), постоянно стремясь заставить машины воспроизводить человеческие способности, создали более масштабную структуру: систему, которая может переориентировать более двух тысяч различных объектов с помощью руки робота. лицом вверх и вниз. Эта способность манипулировать чем угодно, от чашки до банки с тунцом и коробки Cheez-It, может помочь руке быстро подбирать и размещать объекты определенным образом и в определенных местах – и даже обобщать на невидимые объекты.

Эта умелая «ручная работа», которая обычно ограничивается отдельными задачами и вертикальным положением, может быть преимуществом для ускорения логистики и производства, помогая с общими требованиями, такими как упаковка предметов в слоты для комплектования или ловкое манипулирование более широким спектром инструментов. Команда использовала смоделированную антропоморфную руку с 24 степенями свободы и продемонстрировала доказательства того, что в будущем эту систему можно перенести на настоящую роботизированную систему.

«В промышленности чаще всего используется захват с параллельными губками, отчасти из-за простоты управления, но он физически неспособен работать со многими инструментами, которые мы видим в повседневной жизни», – говорит доктор философии MIT CSAIL. студент Тао Чен, член лаборатории невероятного искусственного интеллекта и ведущий исследователь проекта. «Даже использовать плоскогубцы сложно, потому что они не могут ловко перемещать одну ручку вперед и назад. Наша система позволит многопалой руке ловко манипулировать такими инструментами, что откроет новую область для приложений робототехники ».

Дай мне руку

Этот тип переориентации объекта «в руке» был сложной проблемой в робототехнике из-за большого количества двигателей, которыми нужно было управлять, и частого изменения состояния контакта между пальцами и объектами. И с более чем двумя тысячами объектов модели нужно было многому научиться.

Проблема становится еще более сложной, когда рука смотрит вниз. Роботу необходимо не только манипулировать объектом, но и обходить гравитацию, чтобы он не упал.

Команда обнаружила, что простой подход может решить сложные проблемы. Они использовали безмодельный алгоритм обучения с подкреплением (что означает, что система должна вычислять функции ценности из взаимодействия с окружающей средой) с глубоким обучением и так называемый метод обучения «учитель-ученик».

Чтобы это работало, сеть «учителей» обучается на информации об объекте и роботе, которая легко доступна в моделировании, но не в реальном мире, такой как расположение кончиков пальцев или скорость объекта. Чтобы гарантировать, что роботы могут работать вне симуляции, знания «учителя» превращаются в наблюдения, которые могут быть получены в реальном мире, такие как изображения глубины, снятые камерами, положение объекта и положение суставов робота. Они также использовали «учебную программу по гравитации», в которой робот сначала изучает навык в условиях невесомости, а затем медленно адаптирует контроллер к нормальным условиям гравитации, что при таком темпе действительно улучшает общую производительность.

Хотя это может показаться нелогичным, один контроллер (известный как мозг робота) может переориентировать большое количество объектов, которые он никогда раньше не видел, и без знания формы.

«Первоначально мы думали, что алгоритмы визуального восприятия для определения формы, в то время как робот манипулирует объектом, будут основной проблемой», – говорит профессор Массачусетского технологического института Пулкит Агравал, автор статьи об исследовании. «Напротив, наши результаты показывают, что можно изучить надежные стратегии управления, которые не зависят от формы. Это говорит о том, что визуальное восприятие может быть гораздо менее важным для манипуляции, чем то, что мы привыкли думать, и может быть достаточно более простых стратегий обработки восприятия ».

Многие маленькие предметы круглой формы (яблоки, теннисные мячи, шарики) имели почти стопроцентный шанс успеха при переориентации рукой вверх и вниз, что неудивительно для более сложных предметов, таких как ложка, отвертка, ножницы, ближе к тридцати.

Помимо вывода системы на рынок, поскольку в будущем показатели успеха зависят от формы объекта, команда отмечает, что обучение модели на основе форм объектов может улучшить производительность.