Представлена нейросеть, моделирующая окружение человека по отражению в глазах

Отражающая природа человеческого глаза – недооцененный источник информации о том, как выглядит мир вокруг нас. Визуализируя глаза движущегося человека, мы можем получить несколько видов сцены за пределами прямой видимости камеры по отражениям в глазах. В этой статье мы реконструируем 3D-сцену за пределами прямой видимости камеры, используя портретные изображения, содержащие отражения глаз.
Эта задача является сложной из-за 1) сложности точной оценки положения глаз и 2) запутанной текстуры радужной оболочки глаза и отражений сцены. Наш метод совместно улучшает положение роговицы, поле сияния, изображающее сцену, и текстуру радужки глаза наблюдателя. Далее мы предлагаем простую предварительную регуляризацию структуры радужки для улучшения качества реконструкции. С помощью различных экспериментов с синтетическими и реальными снимками людей с разным цветом глаз мы демонстрируем осуществимость нашего подхода к восстановлению 3D-сцен с использованием отражений глаз.

Геометрия роговицы примерно одинакова у всех здоровых взрослых людей. Благодаря этому факту, если мы посчитаем размер роговицы человека в пикселях на изображении, мы сможем точно вычислить, где находятся его глаза. Используя это понимание, мы настраиваем поле излучения на отражения глаз, снимая лучи с камеры и отражая их от приближенной геометрии глаза. Чтобы радужная оболочка не отображалась при реконструкции, мы выполняем разложение текстуры , одновременно обучая 2D-текстурную карту, которая запоминает текстуру радужной оболочки.

Однако аппроксимация позы глаз только по изображению всегда сопряжена с большими шумами. Чтобы решить эту проблему, мы выполняем оптимизацию позы глаз, которая имеет решающее значение для производительности, как показано ниже.