С помощью портретного изображения она получает информацию о окружающем пространстве и на ее основе создает генерацию. Причём нейросеть может дорисовывать не только объекты, но и помещения целиком.
Аннотация
Эта задача является сложной из-за 1) сложности точной оценки положения глаз и 2) запутанной текстуры радужной оболочки глаза и отражений сцены. Наш метод совместно улучшает положение роговицы, поле сияния, изображающее сцену, и текстуру радужки глаза наблюдателя. Далее мы предлагаем простую предварительную регуляризацию структуры радужки для улучшения качества реконструкции. С помощью различных экспериментов с синтетическими и реальными снимками людей с разным цветом глаз мы демонстрируем осуществимость нашего подхода к восстановлению 3D-сцен с использованием отражений глаз.
Как мы это сделали?
