DARPA объявили о запуске программы Fast Event-based Neuromorphic Camera and Electronics (FENCE), которая призвана сделать камеры компьютерного зрения более эффективными, имитируя процесс обработки информации человеческим мозгом. Трем группам ученых во главе с Raytheon, BAE Systems и Northrop Grumman поручено разработать систему инфракрасных (ИК) камер, которая должна обрабатывать меньше данных, работать быстрее и потреблять меньше энергии.
Современные фотоаппараты становятся все более совершенными, но они также становятся жертвами собственного успеха. Хотя современные камеры могут снимать изображения с высоким разрешением и отслеживать объекты с большой точностью, они делают это путем обработки больших объемов данных, что требует времени и энергии.
Согласно DARPA, это нормально, когда задача похожа на отслеживание самолета в ясном голубом небе, но если фон становится загроможденным или начинает меняться, как это часто бывает в военных операциях, эти камеры вскоре могут быть перегружены.
Программа FENCE надеется создать камеры на основе событий, которые будут более интеллектуальными благодаря использованию имитирующих мозг нейроморфных схем. Что они делают, так это резко сокращают объем данных, которые необходимо обрабатывать, игнорируя нерелевантные части изображения. Вместо того, чтобы работать со всей сценой, камера на основе событий фокусируется только на изменившихся пикселях.
Чтобы достичь этого, команда FENCE работает над новой инфракрасной (ИК) фокальной плоскостью (FPA) с малой задержкой и низким энергопотреблением, асинхронной интегральной схемой считывания (ROIC) и уровнем обработки, который помогает ROIC идентифицировать соответствующие пространственные и временные сигналы. Также потребуются новые алгоритмы цифровой обработки сигналов и обучения, чтобы справиться со сложным изменяющимся фоном.
В результате может получиться датчик FENCE, потребляющий менее 1,5 Вт мощности. Поскольку новая технология предназначена для военных приложений, включая автономные транспортные средства, робототехнику, поиск и отслеживание с помощью ИК-излучения, датчики должны быть гибкими и адаптируемыми.
«Цель состоит в том, чтобы разработать« умный »датчик, который может разумно уменьшить объем информации, передаваемой с камеры, сужая данные для рассмотрения только до наиболее подходящих пикселей», — говорит доктор Уитни Мейсон, ведущий менеджер программы. программа ЗАБОР.
Иллюстрация: DARPA
Будьте в курсе в удобном формате, присоединяйтесь: TG-канал и ВК