Так это не захват движений, а простая обработка оригинального видео под рисунок и наложение мультяшного лица на оригинальное.
Или я один заметил, что девушка на оригинале и мультяшка одеты одинаково?
Захватом считалось бы, если персонаж на обработке абсолютно внешне отличался бы от оригинала и сохранил только лишь движения. Помните танцующего малыша? Вот это было сделано через захват движений.
А тут обыкновенная техника ротоскопирования. То же самое сделали с фильмом "Помутнение" 2006 года с Киану Ривзом.
с анимациями пока есть одна не решённая проблема - стабильность картинки от кадра к кадру. Нейронки пока не умеют соблюдать сохранность деталей между кадрами. ControlNet тут помогает, но далеко не идеально.
Вот ещё пример попытки сделать короткометражный мульт с помощью нейронки.
Если честно потенциал нейросетей настолько огромен, что даже мне уже страшно становится. Она развивается СЛИШКОМ быстро. Пол года назад она не умела рисовать руки на картинах, а теперь делает целые видеоролики! Уже сейчас художники бьют тревогу, а теперь вот очередь дошла и до анимационных студий.
Но руки - до сих пор проблема) Для устранения этой проблемы есть костыли, как упомянутый Control Net, и фактически все надстройки на Stable Diffusion, это костыли которые помогают ему работать лучше. Сама модель за пол года не изменилась.
Ну в целом все как у людей. При создании анимации один человек делает раскадровку, другой контуры, третий закрашивание, четвертый фоны и т.д.
Например есть даже В-тубер - Нейро-сама. Она тоже состоит из нескольких нейросетей, где одна говорит, другая играет в игры, третья отвечает за анимацию и т.д.
Но прогресс в развитии нейросетей прям совсем уж дикий.
если брать последние года 2, то да, прогресс огромный. Но видно его больше за счёт того, что сейчас нейросети стали продктом, а не научными программами в институтах
Весь научный прогресс сейчас завязан на капитализме. Те же нейросети не появились бы без смартфонов, соцсетей и интернета, благодаря которым они и учатся.
А еще вот тут вот описано как именно это делается. https://dtf.ru/howto/1654957-sozdaem-animaciyu-s-pomoshchyu-controlnet-gaydhttps://dtf.ru/howto/1654957-sozdaem-animaciyu-s-pomoshchyu-controlnet-gayd
Но статья старая (дожили кстати - ей двух месяцев нет) и там делается с одной маской по одному фильтру, а тут сразу несколько масок по нескольким фильтрам
32 комментария
2 года назад
Удалить комментарий?
Удалить Отмена2 года назад
Удалить комментарий?
Удалить Отмена2 года назад
Или я один заметил, что девушка на оригинале и мультяшка одеты одинаково?
Захватом считалось бы, если персонаж на обработке абсолютно внешне отличался бы от оригинала и сохранил только лишь движения. Помните танцующего малыша? Вот это было сделано через захват движений.
А тут обыкновенная техника ротоскопирования. То же самое сделали с фильмом "Помутнение" 2006 года с Киану Ривзом.
Удалить комментарий?
Удалить Отмена2 года назад
Удалить комментарий?
Удалить Отмена2 года назад
Удалить комментарий?
Удалить Отмена2 года назад
Удалить комментарий?
Удалить Отмена2 года назад
Вот ещё пример попытки сделать короткометражный мульт с помощью нейронки.
Удалить комментарий?
Удалить Отмена2 года назад
Удалить комментарий?
Удалить Отмена2 года назад
Удалить комментарий?
Удалить Отмена2 года назад
Удалить комментарий?
Удалить Отмена2 года назад
Например есть даже В-тубер - Нейро-сама. Она тоже состоит из нескольких нейросетей, где одна говорит, другая играет в игры, третья отвечает за анимацию и т.д.
Но прогресс в развитии нейросетей прям совсем уж дикий.
Удалить комментарий?
Удалить Отмена2 года назад
Удалить комментарий?
Удалить Отмена2 года назад
Удалить комментарий?
Удалить Отмена2 года назад
https://dtf.ru/howto/1654957-sozdaem-animaciyu-s-pomoshchyu-controlnet-gaydhttps://dtf.ru/howto/1654957-sozdaem-animaciyu-s-pomoshchyu-controlnet-gayd
Но статья старая (дожили кстати - ей двух месяцев нет) и там делается с одной маской по одному фильтру, а тут сразу несколько масок по нескольким фильтрам
Удалить комментарий?
Удалить Отмена2 года назад
Удалить комментарий?
Удалить Отмена2 года назад
Удалить комментарий?
Удалить Отмена