Голография без пятен для виртуальных дисплеев

В своем стремлении к созданию этих лучших дисплеев Стэнфордская лаборатория компьютерной визуализации объединила свои знания в области оптики и искусственного интеллекта. Их последние достижения в этой области подробно описаны в статье, опубликованной 12 ноября в Достижения науки и работы, которые будут представлены на SIGGRAPH ASIA 2021 в декабре.

По сути, это исследование противостоит тому факту, что современные дисплеи дополненной и виртуальной реальности показывают только двухмерные изображения для каждого из глаз зрителя, а не трехмерные — или голографические — изображения, как мы видим в реальном мире.

«Они нереалистичны с точки зрения восприятия», — объяснил Гордон Ветцштейн, доцент электротехники и руководитель Стэнфордской лаборатории компьютерной визуализации. Ветцштейн и его коллеги работают над поиском решений, которые позволят преодолеть этот разрыв между симуляцией и реальностью, создавая при этом более привлекательные визуально и приятные для глаз дисплеи.

Исследование, опубликованное в Достижения науки подробно описывает технику уменьшения пятнистого искажения, часто наблюдаемого в обычных лазерных голографических дисплеях, в то время как в документе SIGGRAPH Asia предлагается метод более реалистичного представления физики, которая применима к 3D-сцене, если бы она существовала в реальном мире.

Соединение симуляции и реальности

На протяжении десятилетий качество изображения на существующих голографических дисплеях было ограниченным. Как объясняет Ветцштейн, исследователи столкнулись с проблемой добиться того, чтобы голографический дисплей выглядел так же хорошо, как ЖК-дисплей.

Одна из проблем заключается в том, что трудно контролировать форму световых волн при разрешении голограммы. Другой серьезной проблемой, препятствующей созданию высококачественных голографических дисплеев, является преодоление разрыва между тем, что происходит в симуляции, и тем, как та же сцена будет выглядеть в реальной среде.

Ранее ученые пытались создать алгоритмы для решения обеих этих проблем. Ветцштейн и его коллеги также разработали алгоритмы, но сделали это с использованием нейронных сетей, разновидности искусственного интеллекта, которая пытается имитировать способ, которым человеческий мозг изучает информацию. Они называют это «нейронной голографией».

«Искусственный интеллект произвел революцию практически во всех аспектах инженерии и не только», — сказал Ветцштейн. «Но в этой конкретной области голографических дисплеев или компьютерной голографии люди только начали изучать методы искусственного интеллекта».

Ифань Пэн, научный сотрудник Стэнфордской лаборатории вычислительной визуализации, использует свой междисциплинарный опыт как в оптике, так и в информатике, чтобы помочь спроектировать оптический двигатель для голографических дисплеев.

«Только недавно, с появлением инноваций в области машинного интеллекта, мы получили доступ к мощным инструментам и возможностям, позволяющим использовать достижения компьютерных технологий», — сказал Пэн, соавтор книги. Достижения науки статья и соавтор статьи SIGGRAPH.

Нейронный голографический дисплей, созданный этими исследователями, включал обучение нейронной сети, чтобы имитировать реальную физику того, что происходило на дисплее, и получать изображения в реальном времени. Затем они соединили это со стратегией калибровки «камера в контуре», которая обеспечивает почти мгновенную обратную связь для информирования о корректировках и улучшениях. Создав алгоритм и метод калибровки, которые работают в реальном времени с видимым изображением, исследователи смогли создать более реалистичные визуальные эффекты с лучшими цветами, контрастом и четкостью.

В новом документе SIGGRAPH Asia рассказывается о первом применении лабораторией своей системы нейронной голографии для трехмерных сцен. Эта система обеспечивает высококачественное, реалистичное представление сцен, которые содержат визуальную глубину, даже когда части сцен намеренно изображены как далеко или не в фокусе.

В Достижения науки work использует ту же стратегию оптимизации камеры в цикле в сочетании с алгоритмом, основанным на искусственном интеллекте, чтобы предоставить улучшенную систему для голографических дисплеев, которые используют частично когерентные источники света — светодиоды и SLED. Эти источники света привлекательны своей стоимостью, размером и потребностями в энергии, а также обладают потенциалом, позволяющим избежать появления пятен на изображениях, создаваемых системами, использующими когерентные источники света, например лазерами. Но те же характеристики, которые помогают частично когерентным исходным системам избегать пятен, как правило, приводят к размытым изображениям с недостаточной контрастностью. Создав алгоритм, специфичный для физики частично когерентных источников света, исследователи получили первые высококачественные голографические 2D и 3D изображения без пятен с использованием светодиодов и SLED.

Трансформационный потенциал

Ветцштейн и Пэн полагают, что это сочетание новых методов искусственного интеллекта с виртуальной и дополненной реальностью в ближайшие годы станет все более распространенным явлением в ряде отраслей.

Прототип голографического дисплея. Предоставлено: Стэнфордская лаборатория вычислительной обработки изображений.

«Я верю в будущее носимых компьютерных систем и AR и VR в целом; Я думаю, что они окажут преобразующее влияние на жизнь людей », — сказал Ветцштейн. Он сказал, что, возможно, этого не произойдет в ближайшие несколько лет, но Ветцштейн считает, что дополненная реальность — это «большое будущее».

Хотя в настоящее время дополненная виртуальная реальность в первую очередь ассоциируется с играми, она и дополненная реальность имеют потенциальное применение во множестве областей, включая медицину. Студенты-медики могут использовать дополненную реальность для обучения, а также для наложения медицинских данных с компьютерной томографии и МРТ непосредственно на пациентов.

«Эти типы технологий уже используются для тысяч операций в год», — сказал Ветцштейн. «Мы предполагаем, что головные дисплеи, которые меньше, легче и просто визуально удобнее, станут важной частью будущего планирования хирургических операций».

«Очень интересно видеть, как вычисления могут улучшить качество отображения при той же настройке оборудования», — сказал Джонхён Ким, приглашенный ученый из Nvidia и соавтор обеих статей. «Более точные вычисления могут улучшить отображение, что может изменить правила игры для индустрии дисплеев».