Глаза из кремния и голос GPT-4 — умный робопёс вслух проведет незрячего по маршруту и опишет каждую преграду
NewsMakerПока лабрадоры молча тянут за поводок, машины пишут будущее….
В Бингемтонском университете показали новую версию роботизированной собаки–поводыря, которая не просто ведет человека по маршруту, а разговаривает с ним по дороге. Система использует большие языковые модели и голосовое взаимодействие, чтобы объяснять путь, предупреждать о препятствиях и отвечать на команды пользователя. Идея в том, чтобы превратить навигацию из набора механических сигналов в более понятный и живой диалог.
Разработка выросла из более ранних экспериментов, где робот–собака реагировал в основном на физические сигналы вроде натяжения поводка. Теперь же пользователь может голосом сообщить, куда хочет попасть, а робот в ответ предложит варианты маршрута, объяснит дорогу и будет сопровождать человека по ходу движения словесными подсказками.
Авторы работы делают ставку сразу на две функции. Первая отвечает за объяснение маршрута до начала движения. Перед выходом система рассказывает, какими путями можно добраться до цели и сколько времени примерно займет дорога. Вторая работает уже в процессе навигации. Робот комментирует обстановку вокруг в реальном времени, описывает коридоры, изменения пространства и предупреждает о препятствиях. Для незрячих и слабовидящих такая поддержка особенно важна, потому что без зрения понимание сцены и окружающей обстановки заметно ограничено.
По сути разработчики пытаются дать роботу то, чего не хватает обычной биологической собаке–поводырю. Животное может хорошо вести хозяина и понимать ограниченный набор команд, но не объясняет, почему выбирает тот или иной путь, что находится вокруг и сколько еще осталось идти. Роботизированная система, дополненная GPT–4 и голосовым управлением, получает куда более сильные языковые возможности.
В Бингемтонском университете показали новую версию роботизированной собаки–поводыря, которая не просто ведет человека по маршруту, а разговаривает с ним по дороге. Система использует большие языковые модели и голосовое взаимодействие, чтобы объяснять путь, предупреждать о препятствиях и отвечать на команды пользователя. Идея в том, чтобы превратить навигацию из набора механических сигналов в более понятный и живой диалог.
Разработка выросла из более ранних экспериментов, где робот–собака реагировал в основном на физические сигналы вроде натяжения поводка. Теперь же пользователь может голосом сообщить, куда хочет попасть, а робот в ответ предложит варианты маршрута, объяснит дорогу и будет сопровождать человека по ходу движения словесными подсказками.
Авторы работы делают ставку сразу на две функции. Первая отвечает за объяснение маршрута до начала движения. Перед выходом система рассказывает, какими путями можно добраться до цели и сколько времени примерно займет дорога. Вторая работает уже в процессе навигации. Робот комментирует обстановку вокруг в реальном времени, описывает коридоры, изменения пространства и предупреждает о препятствиях. Для незрячих и слабовидящих такая поддержка особенно важна, потому что без зрения понимание сцены и окружающей обстановки заметно ограничено.
По сути разработчики пытаются дать роботу то, чего не хватает обычной биологической собаке–поводырю. Животное может хорошо вести хозяина и понимать ограниченный набор команд, но не объясняет, почему выбирает тот или иной путь, что находится вокруг и сколько еще осталось идти. Роботизированная система, дополненная GPT–4 и голосовым управлением, получает куда более сильные языковые возможности.