Нейросеть научили за секунды превращать каракули в реалистичные пейзажи

"Для преобразования изображений программа использует генеративные состязательные сети или GANs", - пишет NVIDIA. Приложение может показаться простой забавной штукой для рисования, но по словам специалистов, эта технология может выступить мощным инструментом во многих областях творчества. В июне разработчики проекта GauGAN выступили с презентацией на конференции по компьютерному зрению CVPR (Computer Vision and Pattern Recognition).

Вице-президент по прикладным исследованиям в области ИИ Брайан Катандзаро (Bryan Catanzaro) сравнил технологию Gaughan с "умной кистью", которая может заполнять детали на грубых сегментированных участках изображения. Такая технология может упростить работу архитекторам, градостроителям, ландшафтным дизайнерам и даже разработчикам игр.

"С искусственным интеллектом, который понимает, как выглядит реальный мир, профессионалы могли бы создавать лучшие прототипы идей и намного быстрее вносить изменения, - заявил Катандзаро. - Мозговой штурм в дизайне дается гораздо легче с помощью простых набросков, а эта технология способна преобразовывать их в очень реалистичные изображения".

Пользователь рисует примитивный набросок, затем помечая сегменты изображения маркерами "небо", "снег" или другими. Нейросеть обучали с использованием базы в миллионы изображений, и за счет этого она способна передать любые обозначенные пользователем элементы в гиперреалистичной форме на готовом изображении.

В ИИ входит две сети - генератор и дискриминатор. Генератор создает изображение и передает его дискриминатору, обученному на реальных фотографиях. Затем дискриминатор "подсказывает" генератору, как изображение необходимо исправить, пиксель за пикселем. Например, дискриминатора научили, что объекты отражаются на водной глади. Соответственно, он передаст эту инструкцию генератору для получения более реалистичного результата.

"Это похоже на картинку из раскраски, где отдельно расположены деревья, солнце и небо, - продолжает Катандзаро. - Нейросеть же способна заполнить все детали, текстуры, отражения, тени и цвета, основываясь на реальных изображениях".

После преображения рисунка, приложение позволяет "художнику" применять различные фильтры стиля, или даже поменять время суток на изображении. Хотя приложение GauGan сосредоточено на природных ландшафтах и деталях, - это далеко не все, на что способна эта технология. Еще одна сеть, нейтральная, может преобразовывать не только пейзажи, а также здания, дороги и даже людей.