Роботы смогут видеть с помощью 3D-зрения благодаря безлинзовой камере, которая использует новые алгоритмы обработки изображений для захвата информации об объектах сцены за одну экспозицию.
Это заявление группы из Калифорнийского университета в Дэвисе, которая считает, что безлинзовая камера находит применение в контроле промышленных деталей, распознавании жестов и сборе данных для систем трехмерного отображения.
«Мы считаем нашу камеру безлинзовой, потому что она заменяет объемные линзы, используемые в обычных камерах, тонкой и легкой матрицей микролинз, изготовленной из гибкого полимера», — сказал руководитель исследовательской группы Вейцзянь Ян из Калифорнийского университета в Дэвисе. «Поскольку каждая микролинза может наблюдать за объектами под разными углами обзора, она может выполнять сложные задачи визуализации, такие как получение 3D-информации от объектов, частично скрытых объектами, расположенными ближе к камере».
В Optics Express Ян и первый автор Фэн Тянь, аспирант лаборатории Янга, описывают новую 3D-камеру. Поскольку камера учится на основе существующих данных, как реконструировать трехмерную сцену в цифровом виде, она может создавать трехмерные изображения в режиме реального времени.
«Эта 3D-камера может быть использована для предоставления роботам трехмерного зрения, что может помочь им ориентироваться в трехмерном пространстве или выполнять сложные задачи, такие как манипулирование мелкими объектами», — сказал Ян в своем заявлении. «Ее также можно использовать для получения богатой 3D-информации, которая может предоставлять контент для 3D-дисплеев, используемых в играх, развлечениях или многих других приложениях».
Отдельные линзы в новой камере позволяют видеть объекты с разных точек зрения, что обеспечивает информацию о глубине. Другие исследовательские группы разработали камеры на основе однослойных массивов микролинз, но, как говорят, было трудно сделать их практичными из-за обширных процессов калибровки и низкой скорости реконструкции.
Чтобы сделать 3D-камеру более практичной для макроскопических объектов, исследователи рассмотрели массив микролинз и алгоритм реконструкции вместе, а не подходили к ним по отдельности. Они разработали и изготовили массив микролинз, который содержит 37 маленьких линз, распределенных в круглом слое полимера диаметром 12 мм. Алгоритм реконструкции, который они разработали, основан на искусственной нейронной сети, которая учится преобразовывать информацию с изображения обратно в объекты сцены.
«Многие существующие нейронные сети могут выполнять определенные задачи, но лежащий в их основе механизм трудно объяснить и понять», — сказал Ян. «Наша нейронная сеть основана на физической модели реконструкции изображения. Это значительно упрощает процесс обучения и приводит к высококачественным реконструкциям».
После завершения процесса обучения он может реконструировать изображения, содержащие объекты, находящиеся на разном расстоянии от камеры, с очень высокой скоростью. Новая камера не требует калибровки и может использоваться для отображения трехмерных местоположений и пространственных профилей объектов.
После выполнения численного моделирования для проверки производительности камеры исследователи выполнили 2D-изображение, которое показало удовлетворительные результаты. Затем они проверили способность камеры создавать трехмерные изображения объектов на разной глубине. Полученная 3D-реконструкция может быть перефокусирована на другую глубину или расстояние. Камера также создала карту глубины, соответствующую фактическому расположению объекта.
«В последней демонстрации мы показали, что наша камера может отображать объекты за непрозрачными препятствиями», — сказал Ян. «Насколько нам известно, это первая демонстрация изображения объектов за непрозрачными препятствиями с помощью безлинзовой камеры».
В настоящее время исследователи работают над уменьшением артефактов в 3D-реконструкциях и улучшением алгоритмов для повышения качества и скорости. Они также хотят уменьшить общую площадь устройства, чтобы оно могло поместиться в мобильный телефон.
Будьте в курсе в удобном формате, присоединяйтесь: TG-канал и ВК
Бесплатная служба распространения новостей для научных организаций и стартапов
hello@technovery.com