В фотографии глубина резкости означает, на какой части трехмерного пространства камера может сфокусироваться одновременно. Малая глубина резкости, например, сохранит резкость объекта, но размоет большую часть переднего плана и фона. Теперь исследователи из Национального института стандартов и технологий вдохновились древними трилобайтами, чтобы продемонстрировать новую камеру светового поля с самой глубокой из когда-либо зарегистрированных глубиной резкости.
Около полумиллиарда лет назад в океанах кишели трилобайты, дальние родственники сегодняшних мечехвостов. Их зрительные системы были довольно сложными — глаза включали от десятков до тысяч крошечных независимых единиц, каждая со своей собственной роговицей, хрусталиком и фоторецепторными клетками.
В частности, один трилобайт, Dalmanitina socialis, привлек внимание исследователей NIST из-за своей уникальной сложной структуры глаза. Исследование окаменелостей показывает, что зрительная система этого малыша имела двухслойные линзы, в отличие от всего остального в сегодняшнем царстве членистоногих, и что верхние слои этих линз имели выпуклость посередине, которая создавала вторую точку фокусировки. Это означало, что Dalmanitina socialis могла фокусироваться как на добыче прямо перед ней, так и на хищниках, которые могли приближаться издалека.
Выпуклость верхней линзы глаз древних трилобитов давала им возможность одновременно фокусироваться на ближних и дальних точках.
Исследовательская группа решила посмотреть, можно ли применить эту идею к камере светового поля. В то время как обычные камеры в основном принимают свет и записывают информацию о цвете и яркости по двумерной сетке, камеры светового поля гораздо сложнее, кодируют не только цвет и яркость, но и направление каждого луча света, попадающего на датчик.
Когда таким образом захватывается все световое поле, вы получаете достаточно информации, чтобы реконструировать сцену с точки зрения цвета, глубины, прозрачности, зеркальности, преломления и окклюзии, и вы можете настроить такие параметры, как фокус, глубина резкости, наклон и т. д.
Проблема до сих пор, по словам команды NIST, заключалась в увеличении глубины резкости без потери пространственного разрешения, потери информации о цвете или закрытия диафрагмы настолько, что стало бы проблемой для скорости затвора. И именно здесь эти бифокальные трилобайтные линзы вдохновили на прорыв.
Слева: изображение, полученное с помощью оптического микроскопа, секции 3×3 изготовленной матрицы металинз. Справа: изображения, полученные с помощью сканирующей электронной микроскопии, показывающие вид сверху вниз и под углом на точно сформированные и расположенные наностолбики диоксида титана.
Команда разработала массив металинз, плоскую стеклянную поверхность, усеянную множеством крошечных прямоугольных столбиков из наноразмерного диоксида титана. Каждая из этих колонн имела точную форму и ориентацию, чтобы манипулировать светом определенным образом.
Поляризация сыграла здесь ключевую роль — наностолбики изгибают свет по-разному, если он поляризован по левому кругу (LCP) или по кругу справа (RCP). Разная степень изгиба приводит к разным фокусным точкам, поэтому у исследователей уже было две фокусные точки для работы. Проблема заключалась в том, что один датчик мог захватить сфокусированное изображение только из одной из этих фокусных точек.
Поэтому исследователи разместили эти наностолбчатые металинзы так, чтобы часть света, попадающего в каждую из них, проходила через длинную сторону прямоугольника, а часть — по более короткому пути. Опять же, это искривляло свет на две разные величины и создавало две разные фокусные точки: одна фокусировалась вблизи, как макрообъектив, а другая фокусировалась на расстоянии, как телеобъектив, так что между этим и поляризацией у исследователей было четыре точки. изображения, с которыми нужно иметь дело.
Два фокусных расстояния, определяемые круговой поляризацией, и еще два, определяемые формой металинзы, согласованы таким образом, что ближняя и дальняя фокусные точки могут сходиться в одной плоскости изображения.
Исследователи вычислили точную геометрию металинзы, благодаря которой левая круговая поляризованная версия телефото-сфокусированных световых лучей фокусировалась в той же плоскости, что и правая круговая поляризованная версия макрообъектива. -сфокусированные световые лучи, что позволяет регистрировать их одновременно, в резком фокусе, одним датчиком светового поля — без потери пространственного разрешения.
Команда спроектировала и построила массив металинз 39 x 39 с ближней точкой фокусировки, установленной на расстоянии всего 3 см (1,2 дюйма), и дальней точкой, установленной на расстоянии 1,7 км (чуть более мили). Дополнительно разработали алгоритм реконструкции с использованием многомасштабных сверточных нейронных сетей для исправления всех многочисленных аберраций, вносимых этими 1521 крошечной металинзой двойного назначения, особенно с учетом того, насколько сложно соблюдать жесткие производственные допуски в наномасштабе.
Этот алгоритм реконструкции оказался жемчужиной. После простого процесса калибровки и обучения он может точно определить, как и где конкретный массив металинз отклоняется от совершенства — с точки зрения хроматической аберрации, размытости и других оптических дефектов, и может внести исправления, которые затем можно легко применить. к любому сделанному изображению.
Сверточная нейронная сеть быстро обучается корректировать аберрации в массиве линз и затем может создавать абсолютно четкие изображения с чрезвычайно переменной глубиной резкости.
Более того, несмотря на то, что две его фокусные точки находятся на расстоянии более мили друг от друга, алгоритм реконструкции может четко реконструировать любой объект, расположенный между ними, создавая окончательное изображение, которое может иметь самую большую глубину резкости из когда-либо продемонстрированных, в которой объекты в полутора дюймах от объектива такие же сверхъестественно четкие и резкие, как и те, что далеко на горизонте.
В самом деле, алгоритм реконструкции выполняет такую большую работу по исправлению ошибок, что исследовательская группа говорит, что камеры светового поля, использующие эту технологию, не нужно будет изготавливать с предельной точностью. Другими словами, команда считает, что это должно быть относительно просто в производстве.
Как поясняется в исследовании, опубликованном в Nature Communications : «Эта нанофотонная камера светового поля, созданная на основе биотехнологий, вместе с вычислительной постобработкой не только может получить полноцветное изображение с экстремальной глубиной резкости, но также способна устранить вызванные оптические аберрации. метаоптикой».
Алгоритм реконструкции из серии субизображений с исправлением аберраций может составить абсолютно четкое изображение: от текста NJU в правом верхнем углу на расстоянии 3 см до высотного здания на расстоянии 1,7 км.
Команда считает, что эта технология может быть полезна, среди прочего, в потребительской фотографии, оптической микроскопии и машинном зрении, но, поскольку на данный момент это довольно новое исследование, мы не ожидаем, что она появится на прилавках магазинов в ближайшее время.
Исследование находится в открытом доступе в журнале Nature Communications .
Изображения: NIST
Бесплатная служба распространения новостей для научных организаций и стартапов
hello@technovery.com