Рентгеновское уличное зрение стирает ненужные объекты с городских пейзажей

Ученые из отдела устойчивой энергетики и экологической инженерии Университета Осаки использовали генеративные сети, обученные на специальном наборе данных, для виртуального удаления препятствий с изображений фасадов зданий. Эта работа может помочь в гражданском планировании, а также в приложениях компьютерного зрения.

Возможность цифрового «стирания» нежелательных закрывающих объектов с городского пейзажа очень полезна, но требует больших вычислительных мощностей. Предыдущие методы использовали стандартные наборы данных изображений для обучения алгоритмов машинного обучения. Теперь группа исследователей из Университета Осаки создала настраиваемый набор данных как часть общей структуры для автоматического удаления нежелательных объектов, таких как пешеходы, растительность или автомобили, с изображения фасада здания. Удаленная область была заменена с использованием цифровой живописи для эффективного восстановления полного вида.

Исследователи использовали данные из региона Кансай в Японии в сервисе просмотра улиц с открытым исходным кодом, в отличие от обычных наборов изображений зданий, которые часто используются в машинном обучении для городских ландшафтов . Затем они построили набор данных для обучения состязательной генеративной сети (GAN) для рисования окклюзированных областей с высокой точностью. «Для задачи рисования фасадов в уличных сценах мы применили сквозную модель рисования изображений на основе глубокого обучения путем обучения с нашими индивидуализированными наборами данных», — объясняет первый автор Цзясинь Чжан.

Команда использовала семантическую сегментацию для обнаружения нескольких типов препятствующих объектов, включая пешеходов, растительность и автомобили, а также использовала GAN для заполнения обнаруженных областей фоновыми текстурами и исправления информации из изображений улиц. Они также предложили рабочий процесс для автоматической фильтрации разблокированных фасадов зданий из изображений улиц и настроили набор данных, чтобы он содержал как оригинальные, так и замаскированные изображения, для обучения дополнительных алгоритмов машинного обучения.

Эта технология визуализации предлагает инструмент коммуникации для экспертов и неспециалистов, который может помочь выработать консенсус в отношении будущих проектов городской среды. «Наша система оказалась более эффективной по сравнению с ранее применявшимися методами при работе с проектами городского ландшафта, для которых предварительная информация не была доступна», — объясняет старший автор Томохиро Фукуда. В будущем этот подход может быть использован для разработки систем дополненной реальности, которые могут автоматически удалять существующие здания и вместо этого отображать предлагаемые ремонтные работы.

Исследование опубликовано в IEEE Access .

Дополнительная информация: Цзясин Чжан и др., Автоматическое удаление объектов с завершением заблокированных фасадов с использованием семантической сегментации и генеративного состязательного рисования, IEEE Access (2021 г.). DOI: 10.1109 / ACCESS.2021.3106124

Будьте в курсе в удобном формате, присоединяйтесь: TG-канал и ВК