Generative Fill в Photoshop — как пользоваться и что умеет ИИ-помощник

Компания Adobe показала миру новый нейросетевой инструмент Генеративная заливка/Generative Fill, встроенный прямо в новую версию Adobe Photoshop. О том, на что способна нейросеть от Adobe, как работать с Generative Fill в Photoshop, читайте в этом материале. 

Бонус: в начале статьи вы найдёте лайфхак, как легально получить пробный бесплатный период, если у вас российская карта и нет возможности приобрести лицензию. Без пиратства и смс. Но с регистрацией.

Эта картинка снята фотографом или сгенерирована нейросетью? Сложный вопрос: она — и то, и другое / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Generative Fill/Генеративная заливка — это новый инструмент, позволяющий работать с нейросетями прямо из Adobe Photoshop. Сейчас он доступен только в бета-версиях Adobe Photoshop, начиная с версии 24.6. В качестве нейросети для работы с изображениями используется собственная разработка Adobe — искусственный интеллект Adobe Firefly, обученный на изображениях из фотобанка Adobe Stock.

Нейросеть работает на облачных серверах. Плюсы такого решения в том, что для работы с нейросетевыми функциями не нужен какой-то сверхмощный компьютер. Подойдёт и Xiaomi RedmiBook на Ryzen 5 или Huawei MateBook на Core i7. Достаточно того, чтобы Photoshop просто запускался и работал. 

Есть и минусы. Во-первых, для работы необходимо постоянное подключение к интернету. Во-вторых, работают нейросетевые возможности только в свежих официальных версиях программы — а купить лицензионный Photoshop из России в 2023-м не очень просто.

Где скачать и как установить свежий Photoshop beta с Generative Fill

Сегодня проблема в том, что оплатить подписку российской картой не получится. Но можно скачать пробную версию на 7 дней и попробовать новую функцию. Правда, здесь тоже не всё легко и очевидно. Если просто пойти на сайт Adobe, найти среди продуктов Adobe Photoshop и нажать «Start Free Trial», через пару шагов всё равно попросят ввести карту и оформить подписку. Без данных карты кнопка пробного периода остаётся неактивной (а российские карты не принимаются).

Внутренние конфликты Adobe: дайте нам денег, но нам не нужны ваши деньги / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Чтобы карту не просили, нужно идти другим путём. Для начала нужно скачать приложение Adobe Creative Cloud с сайта Adobe вот по этой ссылке. После этого войти в аккаунт Adobe или зарегистрировать новый и запустить Creative Cloud. В открывшемся окне найти раздел с бета-приложениями и установить бета-версию Photoshop. В этом случае никаких банковских данных не попросят, и можно будет начать пробный период.

Вот здесь ищем свежий Photoshop / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Важный момент: для работы Generative Fill необходимо подтвердить, что пользователю больше 18 лет. Если при регистрации не указана дата рождения, нужно будет зайти в учётную запись Adobe (или на сайт Behance с учётной записью Adobe) и ввести там дату рождения. Если же вместо регистрации в Adobe использовалась кнопка «войти через Google», стоит проверить свой аккаунт Google: в нём должна быть указана дата рождения и она должна быть видна всем.

Если входите в аккаунт Adobe через Google, проверьте вот эти настройки: дата рождения должна быть видна всем / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Как работать с Generative Fill

Работать с новым инструментом проще всего на новой плавающей панели инструментов. Но если открыть изображение в редакторе и посмотреть на панель, никакой генеративной заливки на ней не будет — вместо этого там будут кнопки Выделить предмет и Удалить фон.

Нет нового инструмента? Не пугайтесь, сейчас появится / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Дело в том, что Generative Fill работает с выделенной частью изображения. Стоит выделить часть изображения при помощи любого из инструментов выделения, и на панели инструментов появится нужная нам кнопка.

Можно воспользоваться кнопкой на плавающей панели, а можно найти нужный пункт в меню «Редактировать» / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Если нажать на неё, появится область для ввода запроса. Традиционно, нейросеть понимает запросы только на английском языке. Давайте добавим на пустое выделенное место тарелку спагетти. В поле описания пишем Plate with spaghetti, жмём «Генерировать» и получаем довольно реалистичную тарелку еды. Генерация занимает 10-15 секунд. По стилю новая тарелка неплохо вписалась в оригинальное изображение.

Нейросеть генерирует три варианта. Переключаться между ними можно стрелками на панели или щёлкая по превью справа / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Кстати, писать ключевые слова в поле с описанием не обязательно. Можно оставить его пустым, и тогда искусственный интеллект самостоятельно заполнит выделение, исходя из контекста. Пустое поле удобно использовать, если нужно удалить что-то с изображения или расширить картинку, дорисовав к ней то, что оставалось «за кадром». Для примера попробуем вернуть тарелке недостающий кусок.

Увеличиваем размер холста вправо, выделяем прямоугольную область и жмём «Генерировать», оставив пустое поле для описания / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Нейросеть справилась на удивление хорошо, восстановив форму тарелки. Если не вглядываться в детали, то всё выглядит вполне прилично. Но если присмотреться, то видны погрешности. Доски справа отличаются более грубой текстурой, а зелень и овощи выглядят размытыми и не очень детализированными при 100% увеличении. 

На обложку для соцсетей такая картинка подойдёт, а вот печатать в журнале её не стоит / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

На что способен инструмент Generative Fill и где его можно применять

Outpainting (дорисовка изображения)

С дорисовкой изображения искусственный интеллект от Adobe справляется очень хорошо. Нейросеть позволяет «заглянуть за край» изображения и восстановить то, что фотограф (или художник) оставил за кадром. В большинстве случаев, если вы не хотите нарисовать что-то конкретное, поле для описания можно оставить пустым. Достаточно увеличить размер холста, выделить пустое место и Photoshop сам заполнит его.

Фотограф отрезал кусочек машины при съёмке, а нейросеть пытается его вернуть / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Получилось весьма неплохо, с первого взгляда и не скажешь, что над картинкой поработала нейросеть. Со второго, впрочем, тоже.

Слева — исходное изображение, справа — расширенное на треть с помощью Generative Fill / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Справляется нейросеть и с более сложными задачами. На стоковом фото у юноши была видна небольшая часть головы и половина руки. Генеративная заливка с пустым запросом нарисовала туловище, голову и интерьер за спиной, сохранив правильную ГРИП: сгенерированная часть, как и исходная голова, слегка размыты, а рука резкая. 

Если не видеть работу нейросети своими глазами, то можно заподозрить, что справа исходник, а слева — результат кадрирования / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Если же нужно нарисовать на добавленном куске картинки что-то конкретное, придётся использовать поле для описания. Мысли Photoshop читать пока не умеет. Например, можно дорисовать небо к фотографии какого-то восточного города. Для этого в поле описания вбиваем Blue sky with clouds (синее небо с облаками) и нажимаем «Генерировать».

Исходное фото и два результата генерации. Если присмотреться, видно, что небоскреб в центре кадра исчезает, плавно перетекая в небо / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Хорошо справляется нейросеть и с отражениями. Если из горизонтальной фотографии нужно сделать вертикальную, нижнюю часть можно заполнить отражением с помощью запроса Water with reflections.

Фотография стала в два раза больше и превратилась из горизонтальной в вертикальную. Осталось выбрать лучший из вариантов / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Удаление или замена частей фотографии с помощью Generative Fill

Удалять лишнее с изображения Generative Fill тоже умеет, для этого тоже используется генерация с пустым запросом. Очень удобно с помощью нового инструмента очищать фотографии от лишних людей. Там, где ретушёру со штампом и лечащей кистью понадобится час-два работы, нейросеть справится за пару минут (причём основная часть времени уйдёт на то, чтобы выбрать лучший результат).  

Сразу скажем, что полностью заменить качественную работу ретушёра искусственным интеллектом пока не выйдет. Погрешности и следы работы нейросети заметны, если присмотреться. Но результат вполне можно использовать, если надо быстро подготовить фото для соцсетей. И тот же ретушёр может использовать нейросеть на первом этапе для грубой работы, а потом доводить картинку до идеала руками.

Лувр с туристами и без. Нейросеть Adobe сделала из левой картинки правую за 15 секунд, а сколько времени ушло бы при ручной работе? / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

C помощью нейросети можно поменять что-то на фотографии. Например, можно переодеть модель из платья в джинсы и наоборот. Выделяем нужную область (выделение может быть довольно грубым, например с помощью лассо) и генерируем. Запрос подойдёт довольно простой (blue jeans или red dress). Но будьте готовы к тому, что придётся генерировать несколько раз (и, возможно, поправлять выделенную область). Нейросеть не всегда создаёт анатомически верные варианты.

Сперва поменяли юбку на джинсы, а затем переодели девушку в платье. Справа — один из неудачных вариантов / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Или можно взять веганский сэндвич с авокадо, добавить к нему мясо и яйцо и переместиться с ним в ресторан. Первым шагом выделяем середину сэндвича и генерируем с запросом Roasted meat. Затем выделяем верхний тост, запрос Fried egg. И затем, используя точное выделение с помощью инструмента Выделить предмет / Select subject, отделяем сэндвич от фона и меняем фон запросом Cafe interior with warm lights. Не всё вышло с первой попытки, некоторые запросы пришлось генерировать несколько раз, но на превращение левой картинки в правую ушло меньше пяти минут. При этом результат достаточно хорош, чтобы его можно было печать в меню.

Получилось фотореалистично, и при этом быстро / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Замена окружения: перемещаем объект в другое место с помощью Generative Fill

Чтобы переместить предмет на другой фон, для начала нужно его выделить. Лучше всего для этого подойдёт инструмент Выделить предмет / Select subject, который можно найти на той же плавающей панели инструментов.

Чтобы выделить танцоров, жмём кнопку «Выделить предмет» на плавающей панели / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

После этого нужно инвертировать выделение, чтобы наш объект остался на месте, а нейросеть работала со всей оставшейся областью фото. Делается это клавишами CTRL+SHIFT+I. Теперь осталось объяснить нейросети, куда переместить людей. В данном случае пусть это будет ледяной каньон (запрос Ice canyon). Генерируем.

Выглядит неплохо, и отражение интересное получилось. Правда, на это ушло 9 попыток (три генерации по 3 варианта) / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Генерация картинок с нуля при помощи Generative Fill

Generative Fill может работать не только с готовым изображением, но и создавать картинки самостоятельно. Для этого нужно создать новый пустой файл в Photoshop, выделить всё клавишами CTRL+A и написать ключевые слова для картинки.

К сожалению, в большинстве случаев картинки получаются не очень фотореалистичными и сразу видно, что их создала нейросеть. Очень часто возникают проблемы с лицами и руками при рисовании людей:

Видно, что нейросеть обучалась на снимках с фотостока: композиция и цвета похожи на типичное стоковое фото на тему «люди в офисе», но вот с фотореалистичностью пока всё плохо / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Иногда Photoshop справляется, и человек получается более-менее верным анатомически. Но результат всё равно выглядит слабым и малопригодным для практического использования. Вот так выглядит профессиональное фото ребёнка в саду на закате по мнению Adobe (слева) и Midjourney v5 (справа):

Пока Midjourney не просто выигрывает, она в другой лиге / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Теперь городские виды. Нейросеть Adobe нарисовала Москву на закате, парижскую улицу, Нью-Йорк с автомобильными пробками и русскую деревню зимой. Города узнаваемы (хотя вряд ли в них есть места, выглядящие точно так) и если отойти подальше от монитора, результат генерации можно даже принять за фотографию. 

Города по мнению нейросети. По крайней мере, Москву от Парижа отличить уже можно / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Теперь еда. С ней Photoshop справился лучше всего. Но результат всё равно оставляет желать лучшего. Картинки получаются на уровне Stable Diffusion и не дотягивают до шикарных фотореалистичных генераций Midjourney:

Пицца, суши, бургер, тост с яйцом, овощи, стейк лосося, мороженое, капучино и апельсиновый сок / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

А есть вещи, которые искусственный интеллект фотошопа рисовать не умеет. Вот так выглядит марвеловский Железный человек по мнению трёх разных нейросетей. Слева — Midjourney. Такое чувство, что портрет супергероя написан Рембрандтом, а Роберт Дауни вполне узнаваем на двух картинках из четырёх. В середине — работа Stable Diffusion. Лица под маской не видно, но герой комиксов опознаётся с первого взгляда. Ну а справа творчество Adobe. Без комментариев.

Скорее всего, на Adobe Stock не было изображений Железного человека (в фотобанке нельзя размещать изображения, нарушающие чьи-то авторские права), и нейросети было не на чем учиться / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Итоги

Новый нейросетевой инструмент Generative Fill в первую очередь предназначен для работы с уже существующими фотографиями. Он может что-то поменять, дорисовать или убрать с фото, и делает это с хорошей степенью фотореализма, соблюдая общий стиль изображения и корректно работая с ГРИП в большинстве случаев.

Полностью выполнить работу за профессионального ретушёра нейросеть пока не может, но вот помочь ему и ускорить работу вполне способна. Ну а тем, у кого не такие высокие требования к качеству, новый инструмент может полностью заменить отдельного специалиста по ретуши: с его помощью можно доработать фото для соцсетей или улучшить фотографии из отпуска.

А вот для генерации новых картинок Generative Fill подходит плохо. Тем, кто хочет генерировать красивые фотореалистичные картинки с минимумом усилий, лучше подойдёт Midjourney. А для любителей всё настраивать, устанавливать расширения и экспериментировать с разными стилями и моделями есть Stable Diffusion.