Воссоздать лицо по голосу стало возможным

Американская нейросетевая модель Speech2Face, анализируя спектограмму речи человека, научилась создавать более менее-похожее изображение лица, учитывая три параметра: расу, пол и возраст.

Ученые Массачусетского технологического института обучили нейросеть, используя набор данных AVSpeech, состоящий из более миллиона коротких видео с изображением людей. Каждое такое видео разделено на аудио- и видеодорожку.

Только по голосу человека можно определить достаточно точно несколько его особенностей: его пол, возраст и национальную принадлежность. Несмотря на то, что Speech2Face далека от совершенства и все еще не определяет возраст, возможно примерно представить, как выглядит говорящий человек.

Изначально «натренированный» алгоритм VGG-Face, который раньше работал над проектом по определению сексуальной ориентации человека, использует особенные черты человека из определенного кадра для того, чтобы создать изображение лица в анфас с нейтральным выражением. Другая же часть алгоритма, используя аудиодорожки видео и результаты из параллельной нейросети, генерирующей изображение, создает спектограмму речи и выдает примерное изображение лица человека.

Цель исследования состояла в выделении точных параметров возраста, пола и этнической принадлежности. При этом станет возможным создавать анимационные аватары человека по голосу, но далеко не настоящее изображение со 100% точностью.

Источник:

#Нейросети #анализы #изображение

Fishki в Телеграм

Посты на ту же тему

На святое покусились: нейросеть создает портреты котиков, место которых - в фильмах ужаса

Нейросеть научили создавать реалистичные портреты несуществующих людей

Нейросеть показала, какими будут российские актеры в роли женщин

5 комментариев

Правила

!!! Оскорбления в комментариях автора поста или собеседника. Комментарий скрывается из ленты, автору выписывается бан на неделю. Допускаются более свободные споры в ленте с политикой, но в доступных, не нарушающих УК РФ, пределах.

! Мат на картинке/в комментарии. Ваш комментарий будет скрыт. При злоупотреблении возможен бан.

! Флуд - дублирующиеся комментарии от одного и того же пользователя в разных постах, систематические ложные вызовы модераторов с помощью функции @moderator, необоснованные обращения в техническую поддержку сайта, комментарии не несущие смысловой нагрузки и состоящие из хаотичного набора букв. Санкции - предупреждение с дальнейшим баном при рецидиве.

! Публикация рекламных постов. Несогласованное размещение рекламного материала, влечет незамедлительную приостановку действий учетной записи пользователя.

! Публикация материала, запрещенного на территории РФ и преследуемого УК РФ. Незамедлительная приостановка действия учетной записи пользователя.

! Мультиаккаунты. Использование нескольких активных аккаунтов, принадлежащих одному пользователю (исключение - дополнительный аккаунт для обращения в тех. поддержку при блокировке основного аккаунта) запрещено. За нарушение предусмотрено отключение основного аккаунта с возможной дальнейшей блокировкой любого аккаунта от данного пользователя.

Правила

! Мат на картинке/в комментарии. Ваш комментарий будет скрыт. При злоупотреблении возможен бан.

Лучший комментарий

Terminator

7 лет назад

вполне реально, зная что есть работающие методики Герасимова

-1

Удалить комментарий?

Удалить Отмена

Lexa

−239

7 лет назад

Чушь. Просто чушь. Пол - да, более-менее можно определять, да и то не имея 100% гарантии, такая система не может работать автономно - только с человеком-ассистентом. А главное, наструя оно? Люди и так уже все ходят под колпаком - телефон по паспорту, локация, "досье-социалки", уличные камеры... не надо никаких глупостей, мы и так как в "Дом-2" живём!

-4

Удалить комментарий?

Удалить Отмена

Караганда

7 лет назад

да там одно фото будет

-1

Удалить комментарий?

Удалить Отмена

Lexa

Караганда

−239

7 лет назад

Ну, вы поняли... :)

-3

Удалить комментарий?

Удалить Отмена

Показать 5 комментариев