Команда ученых из Университета южной Калифорнии разработала программу, которая позволяет создавать реалистичные трехмерные изображения лица по одной фотографии. Статья исследователей доступна на сайте ArXiv.
Обычно при создании «виртуальных масок» дизайнеры используют качественные фотографии, сделанные в нескольких ракурсах при идеальном освещении. Это необходимо для того, чтобы передать все особенности лица человека, включая его асимметрию, изгибы и мелкие детали, например родинки. Американские ученые предложили метод, который позволяет использовать для этих целей всего один непрофессиональный снимок, сделанный в повседневной обстановке. Для этого они задействовали нейросеть.
Сначала исследователи разработали модель, которая умеет «считывать» форму лица по фото и создавать для него карту альбедо (albedo map), определяющую диффузный цвет (он виден при освещении предмета белым светом). После этого они использовали предварительно подготовленную сверточную нейросеть VGG-19, которая анализировала заготовки лиц и подбирала к ним реалистичные текстуры. Как сообщают авторы статьи, при выполнении этой задачи она опиралась на существующую базу данных лиц, в которой собраны фотографии мужчин и женщин разного возраста и разной национальности.
Обычно при создании «виртуальных масок» дизайнеры используют качественные фотографии, сделанные в нескольких ракурсах при идеальном освещении. Это необходимо для того, чтобы передать все особенности лица человека, включая его асимметрию, изгибы и мелкие детали, например родинки. Американские ученые предложили метод, который позволяет использовать для этих целей всего один непрофессиональный снимок, сделанный в повседневной обстановке. Для этого они задействовали нейросеть.
Сначала исследователи разработали модель, которая умеет «считывать» форму лица по фото и создавать для него карту альбедо (albedo map), определяющую диффузный цвет (он виден при освещении предмета белым светом). После этого они использовали предварительно подготовленную сверточную нейросеть VGG-19, которая анализировала заготовки лиц и подбирала к ним реалистичные текстуры. Как сообщают авторы статьи, при выполнении этой задачи она опиралась на существующую базу данных лиц, в которой собраны фотографии мужчин и женщин разного возраста и разной национальности.
Разработчики протестировали работу системы, взяв фотографии нескольких знаменитостей и создав для них трехмерных аватаров. Виртуальные двойники появились у Дональда Трампа, Джека Ма, Мохаммеда Али, Иэна Кертиса, а также других известных людей.