Компьютерное зрение и неопределенность ИИ для роботизированного протезирования

«Роботизированные протезы нижних конечностей должны выполнять различное поведение в зависимости от местности, по которой ходят пользователи», – говорит Эдгар Лобатон, соавтор статьи о работе и доцент кафедры электротехники и компьютерной инженерии в Университете штата Северная Каролина. «Созданная нами структура позволяет ИИ в роботизированных протезах предсказывать тип местности, на которую будут наступать пользователи, количественно оценивать неопределенности, связанные с этим прогнозом, а затем учитывать эту неопределенность при принятии решений."
Исследователи сосредоточились на различении шести различных ландшафтов, требующих корректировки в поведении роботизированного протеза: плитка, кирпич, бетон, трава, «наверху» и «внизу»."
«Если степень неопределенности слишком высока, ИИ не вынужден принимать сомнительное решение – вместо этого он может уведомить пользователя о том, что у него недостаточно уверенности в своем прогнозе, чтобы действовать, или он может по умолчанию принять« безопасный режим ", – говорит Боксуан Чжун, ведущий автор статьи и недавний доктор.D. выпускник штата Северная Каролина.
Новая структура "экологического контекста" включает в себя как аппаратные, так и программные элементы.

Исследователи разработали структуру для использования с любым роботизированным экзоскелетом нижних конечностей или роботизированным протезом, но с одним дополнительным оборудованием: камерой. В своем исследовании исследователи использовали камеры, которые носили на очках, и камеры, установленные на самом протезе нижней конечности. Исследователи оценили, как ИИ смог использовать данные компьютерного зрения от обоих типов камер по отдельности и при совместном использовании.
«Включение компьютерного зрения в программное обеспечение для управления носимой робототехникой – захватывающая новая область исследований», – говорит Хелен Хуанг, соавтор статьи. «Мы обнаружили, что использование обеих камер работает хорошо, но требует больших вычислительных мощностей и может стоить непомерно дорого.

Однако мы также обнаружили, что использование только камеры, установленной на нижней конечности, работает довольно хорошо – особенно для краткосрочных прогнозов, например, как будет выглядеть местность для следующего шага или двух.Хуанг – заслуженный профессор биомедицинской инженерии в семье Джексонов на совместном факультете биомедицинской инженерии в штате Северная Каролина и Университете Северной Каролины в Чапел-Хилл.

Однако наиболее значительным достижением стал сам ИИ.
«Мы придумали лучший способ научить системы глубокого обучения оценивать и определять неопределенность таким образом, чтобы система могла учитывать неопределенность при принятии решений», – говорит Лобатон. «Это, безусловно, актуально для роботизированного протезирования, но наша работа здесь может быть применена к любому типу системы глубокого обучения."
Чтобы обучить систему искусственного интеллекта, исследователи подключили камеры к работоспособным людям, которые затем прошли через множество помещений и на открытом воздухе.

Затем исследователи провели проверку концепции, попросив человека с ампутацией нижних конечностей носить камеры, путешествуя по той же среде.
«Мы обнаружили, что модель может быть соответствующим образом перенесена, чтобы система могла работать с субъектами из разных популяций», – говорит Лобатон. "Это означает, что ИИ работал хорошо, даже если он был обучен одной группой людей и использован кем-то другим."
Однако новый фреймворк еще не тестировался на роботизированном устройстве.
«Мы рады включить эту структуру в систему управления работающим роботизированным протезированием – это следующий шаг», – говорит Хуанг.

«И мы также планируем работать над способами сделать систему более эффективной с точки зрения необходимости меньшего количества визуальных данных и обработки данных», – говорит Чжун.