Новый подход инженеров позволяет сфокусировать изображения

Исследователи Университета Джонса Хопкинса разработали новый эффективный метод, позволяющий превратить размытые изображения в четкие и резкие. Этот подход, получивший название Progressive Deblurring Radiance Field (PDRF), устраняет размытие изображений в 15 раз быстрее, чем предыдущие методы, а также обеспечивает лучшие результаты как на синтетических, так и на реальных сценах.

«Часто изображения размыты, потому что автофокусировка не работает должным образом, или камера или объект движется. Наш метод позволяет преобразовать эти размытые изображения во что-то четкое и трехмерное», — сказал Ченг Пэн, научный сотрудник Лаборатория искусственного интеллекта Джонса Хопкинса для инженерии и медицины.

«Приложения могут включать в себя все: от приложений виртуальной и дополненной реальности до 3D-сканирования для электронной коммерции, производства фильмов и роботизированных навигационных систем, не говоря уже о том, что они используются только для повышения резкости и устранения размытия личных фотографий и видео».

Над проектом Пэн работал с консультантом Рамой Челлаппой, заслуженным профессором Bloomberg в области электротехники, вычислительной техники и биомедицинской инженерии. Их результаты появляются в Материалы 37-й ежегодной конференции AAAI по искусственному интеллекту.

Обычно процесс устранения размытия изображений состоит из двух этапов. Сначала система оценивает положение камер, снимавших размытые изображения, что позволяет вставлять 2D-изображения в 3D-сцену. Далее система реконструирует более подробную 3D-модель сцены, изображенной на изображениях или фотографиях. Хотя эти традиционные методы в целом эффективны, они имеют ограничения, часто приводящие к артефактам — искажениям и аномалиям — и неполным реконструкциям. Neural Radiance Field (NeRF), недавняя разработка в области реконструкции трехмерных изображений, позволяет добиться фотореалистичных результатов, но только в том случае, если входные изображения имеют хорошее качество.

Напротив, PDRF может обеспечить четкие и чистые изображения даже при входных изображениях низкого качества. Секрет, по словам Пэна, заключается в том, что новый подход позволяет не только обнаруживать и уменьшать размытие входных фотографий, но и повышать резкость этих изображений с помощью того, что команда называет «модулем прогрессивной оценки размытия», прежде чем создавать 3D-реконструкции изображений или сцены.

«PDRF основан на нейронных сетях и предлагает быстрый метод самоконтроля, который обучается на самих введенных изображениях и не требует ввода обучающих данных вручную. Примечательно, что он устраняет различные типы ухудшения качества, включая дрожание камеры, движение объектов и выход наружу. расфокусированных сценариев, демонстрируя его универсальность», — сказал он. «Другими словами, мы разработали его для обработки реальных ситуаций и изображений».

Например, Пэн и его команда работают с исследователями кафедры дерматологии Медицинской школы Джонса Хопкинса над использованием новой технологии 3D-моделирования для улучшения обнаружения опухолей кожи, в частности нейрофиброматоза: опухолей, поражающих головной, спинной мозг, и нервы.

«В случаях нейрофиброматоза традиционные методы измерения часто оказываются сложными из-за мягкой и деформируемой природы опухолей», — сказал Пэн. «Наш текущий проект направлен на решение этой проблемы путем создания точных 3D-моделей, позволяющих точно анализировать объем, положение и количество опухоли. Этот инновационный подход особенно перспективен в сценариях телемедицины или телездравоохранения, где пациенты могут использовать свои собственные камеры для съемки пораженных участков». этот метод полезен для повышения точности диагностики».

PDRF был признан программой пошагового рендеринга изображений различной высоты (WRIVA) в рамках программы перспективных исследовательских проектов разведки (IARPA), целью которой является разработка программных систем для моделирования местности в сценариях, где ограниченный объем изображений с уровня земли доступны надежные метаданные.

«Подобные контракты позволяют нам применять эти методы в более широком, общегородском масштабе. Именно здесь мы видим будущее направление этого движения, а именно крупномасштабную реконструкцию, и больше переходим в направление смешанной реальности», — сказал он. . «В будущем люди смогут исследовать далекие страны и города в 3D на основе 2D-изображений, снятых даже фотографами-любителями».