Новое приложение для Youtube умеет менять задний фон на видео

Engadget сообщает, что пока функцию тестируют в новом видеоформате «истории», напоминающем одноимённые функции из Snapchat или Instagram*. Ниже можно посмотреть пример того, как работает новое AI-приложение.
«При разработке использовалось машинное обучение для решения задачи семантический сегментации с использованием нейронных сетей. Мы создали сетевую архитектуру и учебную процедуру, подходящую для смартфонов. Нам хотелось, чтобы приложение было лёгким и быстрым, поэтому мы изначально поставили себе задачу заставить его работать в 20-30 раз быстрее других современных моделей сегментирования фотографий. Это позволило нам добиться результата, при котором всё это «летает» со скоростью до 30 кадров в секунду», — поясняют специалисты, работающие над приложением.

Результат пока сложно назвать идеальным, но и разработка приложения далека от завершения. Сейчас при выборе тёмных фонов можно заметить небольшие засветы и «нимбы» над головой девушки, демонстрирующей новую функцию. Наверняка к релизу публичной версии алгоритм научится работать аккуратнее, тщательнее обрезая края и подгоняя слоя видеоролика и заднего фона. Будет здорово, если разработчики добавя в утилиту и другие возможности, например, позволяющие вставлять на задний фон собственные изображения, но это будет известно ближе к релизу.