Роботизированное лицо смотрит в глаза и использует искусственный интеллект, чтобы предвидеть и воспроизводить улыбку человека до того, как она появится.

Что бы вы сделали, если бы подошли к роботу с человеческой головой, и он первым улыбнулся бы вам? Вы, вероятно, улыбнетесь в ответ и, возможно, почувствуете, что вы двое искренне общаетесь. Но откуда робот знает, как это сделать? Или, лучше, вопрос: откуда он знает, как заставить вас улыбнуться в ответ?

Хотя мы привыкаем к роботам, владеющим вербальным общением, отчасти благодаря достижениям в области крупных языковых моделей, таких как ChatGPT, их навыки невербального общения, особенно мимика, сильно отстают. Разработка робота, который мог бы не только отображать широкий спектр выражений лица, но и знать, когда их использовать, оказалась непростой задачей.

Решение проблемы

Лаборатория Creative Machines в Columbia Engineering работает над этой задачей уже более пяти лет. В новом исследовании, опубликованном сегодня в Научная робототехникагруппа представляет Эмо, робота, который предугадывает выражения лица и выполняет их одновременно с человеком. Он даже научился предсказывать предстоящую улыбку примерно за 840 миллисекунд до того, как человек улыбнется, и выражать улыбку одновременно с человеком.

Команда, возглавляемая Ходом Липсоном, ведущим исследователем в области искусственного интеллекта (ИИ) и робототехники, столкнулась с двумя проблемами: как механически спроектировать выразительно универсальное роботизированное лицо, которое включает в себя сложное оборудование и исполнительные механизмы, и знать, какое выражение генерировать. чтобы они выглядели естественными, своевременными и подлинными.

Команда предложила научить робота предугадывать будущие выражения лица людей и выполнять их одновременно с человеком. Выбор времени для этих выражений имел решающее значение: запоздалая мимика лица выглядит неискренне, но совместное выражение лица кажется более искренним, поскольку для своевременного выполнения требуется правильный вывод об эмоциональном состоянии человека.

Как Эмо связывается с вами

Эмо — это человеческая голова с лицом, оснащенным 26 актуаторами, которые позволяют использовать широкий спектр тонких выражений лица. Голова покрыта мягкой силиконовой оболочкой с магнитной системой крепления, что позволяет легко настраивать и быстро обслуживать. Для более реалистичного взаимодействия исследователи интегрировали камеры высокого разрешения в зрачок каждого глаза, что позволило эмо устанавливать зрительный контакт, что имеет решающее значение для невербального общения.

Команда разработала две модели искусственного интеллекта: одну, которая предсказывает выражения лица человека, анализируя тонкие изменения в целевом лице, и другую, которая генерирует двигательные команды, используя соответствующие выражения лица.

Чтобы научить робота выражать мимику, исследователи поместили Эмо перед камерой и позволили ему совершать произвольные движения. Через несколько часов робот усвоил взаимосвязь между выражением лица и двигательными командами — примерно так же, как люди тренируют выражение лица, глядя в зеркало. Это то, что команда называет «самомоделированием» — аналогично нашей человеческой способности представлять, как мы выглядим, когда выражаем определенные эмоции.

Затем команда запустила видео с выражениями человеческих лиц, чтобы Эмо мог наблюдать их кадр за кадром. После обучения, которое длилось несколько часов, Эмо мог предсказывать выражение лица людей, наблюдая за крошечными изменениями на их лицах, когда у них начинает формироваться намерение улыбнуться.

«Я думаю, что точное предсказание выражений человеческого лица — это революция в области HRI. Традиционно роботы не были предназначены для учета выражений людей во время взаимодействия. Теперь робот может интегрировать выражения человеческого лица в качестве обратной связи», — сказал ведущий автор исследования Юхан Ху. кто является доктором философии? студент Колумбийского инженерного института в лаборатории Липсона.

«Когда робот выражает эмоции людям в режиме реального времени, это не только улучшает качество взаимодействия, но и помогает укрепить доверие между людьми и роботами. В будущем, взаимодействуя с роботом, он будет наблюдать и интерпретировать ваши выражения лица. , совсем как настоящий человек».

Что дальше

Сейчас исследователи работают над интеграцией вербального общения, используя большую языковую модель, такую ​​как ChatGPT, в Emo. Поскольку роботы становятся все более способными вести себя как люди, Липсон хорошо осознает этические соображения, связанные с этой новой технологией.

«Хотя эта возможность предвещает множество положительных применений, от домашних помощников до учебных пособий, разработчики и пользователи обязаны проявлять осмотрительность и этические соображения», — говорят Липсон, Джеймс и Салли Скапа, профессор инноваций на факультете машиностроения. в Columbia Engineering, содиректор Makerspace в Колумбии и член Института науки о данных.

«Но это также очень интересно: развивая роботов, которые могут точно интерпретировать и имитировать человеческие выражения, мы приближаемся к будущему, в котором роботы смогут легко интегрироваться в нашу повседневную жизнь, предлагая общение, помощь и даже сочувствие. Представьте себе мир, где Взаимодействовать с роботом так же естественно и комфортно, как разговаривать с другом».