Предоставление автономным транспортным средствам возможности заглядывать за углы: обнаруживая крошечные изменения в тенях, новая система определяет приближающиеся объекты, которые могут вызвать столкновение

Когда-нибудь автономные автомобили смогут использовать эту систему, чтобы быстро избежать потенциального столкновения с другим автомобилем или пешеходом, выходящим из-за угла здания или между припаркованными автомобилями. В будущем роботы, которые могут перемещаться по коридорам больниц для доставки лекарств или предметов снабжения, могут использовать эту систему, чтобы не задевать людей.
В документе, представленном на Международной конференции по интеллектуальным роботам и системам (IROS) на следующей неделе, исследователи описывают успешные эксперименты с автономным автомобилем, проезжающим по гаражу, и автономным инвалидным креслом, перемещающимся по коридорам.

При обнаружении и остановке приближающегося транспортного средства автомобильная система превосходит традиционный LiDAR, который может обнаруживать только видимые объекты, более чем на полсекунды.
Исследователи говорят, что это может показаться не таким уж большим, но малые доли секунды, когда дело доходит до быстро движущихся автономных транспортных средств.
«Для приложений, в которых роботы перемещаются в среде с другими движущимися объектами или людьми, наш метод может дать роботу раннее предупреждение о том, что кто-то приближается из-за угла, чтобы транспортное средство могло замедлиться, скорректировать свой путь и заранее подготовиться, чтобы избежать столкновение ", – добавляет соавтор Даниэла Рус, директор Лаборатории компьютерных наук и искусственного интеллекта (CSAIL), и профессор электротехники и компьютерных наук Эндрю и Эрна Витерби. «Большая мечта – обеспечить своего рода« рентгеновское зрение »для транспортных средств, быстро движущихся по улицам."

В настоящее время система протестирована только в помещениях. В помещении скорость роботов намного ниже, а условия освещения более стабильны, что упрощает распознавание и анализ теней для системы.

К работе с Русью присоединились: первый автор Феликс Насер SM ’19, бывший исследователь CSAIL; Александр Амини, аспирант CSAIL; Игорь Гилищенский, постдок CSAIL; недавняя выпускница Кристина Ляо ’19; Гай Росман из Исследовательского института Toyota; и Сертац Караман, доцент кафедры воздухоплавания и космонавтики Массачусетского технологического института.
Расширение ShadowCam

Для своей работы исследователи построили свою систему под названием «ShadowCam», которая использует методы компьютерного зрения для обнаружения и классификации изменений теней на земле. Профессора Массачусетского технологического института Уильям Фриман и Антонио Торральба, которые не являются соавторами статьи IROS, совместно работали над более ранними версиями системы, которые были представлены на конференциях в 2017 и 2018 годах.
Для ввода ShadowCam использует последовательности видеокадров с камеры, нацеленной на определенную область, например пол перед углом. Он обнаруживает изменения интенсивности света с течением времени от изображения к изображению, что может указывать на то, что что-то удаляется или приближается.

Некоторые из этих изменений могут быть трудными для обнаружения или невидимыми невооруженным глазом, и их можно определить по различным свойствам объекта и окружающей среды. ShadowCam вычисляет эту информацию и классифицирует каждое изображение как содержащее неподвижный объект или динамический, движущийся объект. Если он попадает в динамическое изображение, он реагирует соответствующим образом.

Адаптация ShadowCam для автономных транспортных средств потребовала некоторых улучшений. Ранняя версия, например, полагалась на выравнивание области метками дополненной реальности под названием «AprilTags», которые напоминают упрощенные QR-коды.

Роботы сканируют теги AprilTags, чтобы определить и вычислить их точное трехмерное положение и ориентацию относительно тега. ShadowCam использовала теги как особенности среды, чтобы сосредоточить внимание на определенных участках пикселей, которые могут содержать тени.

Но изменять реальную среду с помощью AprilTags непрактично.

Исследователи разработали новый процесс, сочетающий в себе регистрацию изображений и новую технику визуальной одометрии. Часто используется в компьютерном зрении, регистрация изображений по существу накладывает несколько изображений, чтобы выявить различия в изображениях.

Например, регистрация медицинских изображений накладывается на медицинские снимки для сравнения и анализа анатомических различий.
Визуальная одометрия, используемая для марсоходов, оценивает движение камеры в режиме реального времени путем анализа позы и геометрии в последовательностях изображений. Исследователи специально используют метод «Прямая разреженная одометрия» (DSO), который может вычислять характерные точки в средах, аналогичных тем, которые были захвачены AprilTags. По сути, DSO отображает особенности среды в трехмерном облаке точек, а затем конвейер компьютерного зрения выбирает только объекты, расположенные в интересующей области, например, на полу рядом с углом. (Интересующие области были предварительно аннотированы вручную.)

Поскольку ShadowCam принимает входные последовательности изображений интересующей области, он использует метод регистрации DSO-изображений для наложения всех изображений с одной и той же точки зрения робота. Даже когда робот движется, он может сосредоточиться на том же участке пикселей, где расположена тень, чтобы помочь ему обнаружить любые незначительные отклонения между изображениями.

Далее идет усиление сигнала, техника, представленная в первой статье. Пиксели, которые могут содержать тени, получают усиление цвета, что снижает отношение сигнал / шум. Это делает очень слабые сигналы от изменений тени гораздо более заметными.

Если усиленный сигнал достигает определенного порога, частично основанного на том, насколько он отличается от других ближайших теней, ShadowCam классифицирует изображение как "динамическое"."В зависимости от силы этого сигнала система может приказать роботу замедлиться или остановиться.
"Обнаружив этот сигнал, вы можете быть осторожны.

Это может быть тень бегущего из-за угла человека или припаркованная машина, поэтому автономный автомобиль может замедлиться или полностью остановиться », – говорит Насер.
Тестирование без тегов
В одном тесте исследователи оценили производительность системы при классификации движущихся или неподвижных объектов с помощью AprilTags и нового метода на основе DSO.

Автономная инвалидная коляска направилась к разным углам коридора, в то время как люди свернули за угол на путь инвалидной коляски. Оба метода достигли одинаковой 70-процентной точности классификации, что указывает на то, что AprilTags больше не нужны.

В отдельном тесте исследователи внедрили ShadowCam в автономный автомобиль на стоянке, где фары были выключены, имитируя ночные условия вождения. Они сравнили время обнаружения автомобилей с LiDAR. В примере сценария ShadowCam обнаружила, что автомобиль поворачивает стойки примерно на 0.72 секунды быстрее, чем LiDAR. Более того, поскольку исследователи настроили ShadowCam специально на условия освещения гаража, система достигла точности классификации около 86 процентов.

Затем исследователи разрабатывают систему для работы в различных условиях внутреннего и внешнего освещения. В будущем также могут появиться способы ускорить обнаружение теней системой и автоматизировать процесс аннотирования целевых областей для обнаружения теней.

Работа финансировалась Исследовательским институтом Toyota.

Пластиковые машины