Нейросеть Facebook* позволила управлять движениями людей

Это стало возможным благодаря труду команды разработчиков Facebook* AI Research.

Нейронные сети уже умеют создавать лица несуществующих людей и даже улучшать качество видео. Технология продолжает развиваться, причем крайне стремительно - это казалось невозможным, но отныне снятыми на видео людьми можно управлять при помощи клавиатуры компьютера.

Это стало возможным благодаря труду команды разработчиков Facebook* AI Research, которые обучили нейронную сеть распознавать движущегося человека на видео, менять фоновое изображение и контролировать его движения. Это надо видеть - благо, разработчики поделились подробным видеороликом.

На основе технологии, придуманной разработчиками из Facebook*, лежат два нейросетевых алгоритма - Pose2Pose и Pose2Frame для переноса объектов из одного видео в другое. Также они задействовали алгоритм DensePose, который превращает двумерное изображение снятого на видео человека в трехмерную модель.

Итак, чтобы превратить обычное видео в компьютерную игру, алгоритм DensePose создает 3D-модель определенного человека. Далее алгоритм Pose2Pose превращает запись с анимацией движущегося человека в видеоролик с черным фоном. Уже на этом этапе нейронная сеть способна воспринимать нажатия на клавиатуру и двигать «игрового персонажа» в нужную сторону. Наконец, алгоритм Pose2Frame создает конечное изображение с движущимся человеком и соответствующей анимацией.