AI: создаём картинки из текстового описания

Принёс интересное развлечение. Вкратце: можно словами описать то, что вы хотите видеть в результате, и на основе этого теста сгенерировать готовое изображение.

Предлагаю выкладывать в этой теме своё описание и получившийся шедевр!

Цель


Задача — создать «мультимодальную» нейронную сеть, которая изучает концепции в нескольких модальностях, в первую очередь в текстовой и визуальной областях, чтобы лучше понимать мир. Трансформер научен авторегрессивно моделировать токены текста и изображения как единый поток данных.

Применение


Генерация изображений решает две важные задачи, которые не может решить поиск:
  • позволяет учесть точное описание желаемого,
  • создаёт изображение, которое раньше не существовало.

Генерацию изображений можно использовать, например, для фото-иллюстрации статей, в копирайтинге, в рекламе.

Самая большая вычислительная задача в истории России


На кластере Christofari модель обучалась 37 дней на 512 GPU TESLA V100, и затем еще 11 дней по 128 GPU — всего 20352 GPU-дней. Наша самая большая обученная модель XXL (12 миллиардов параметров) сравнима с английской DALL-E от OpenAI!

ruDALL-E Malevich (XL)


По короткому текстовому описанию ruDALL-E генерирует яркие и красочные изображения на самые разные темы и сюжеты. Модель понимает обширный набор понятий и генерирует совершенно новые изображения и объекты, которых не существовало в реальном мире.

Параметры обучения и модели:


  • 1,3 млрд параметров
  • Энкодер изображений — кастомная VQGAN модель, преобразующая картинку в последовательность из 32×32 символов
  • YTTM токенизатор текстов со словарем 16000 токенов
  • Специализированные маски attention для визуальных последовательностей
  • Поддержка переранжирования результатов моделью ruCLIP
  • Поддержка поднятия разрешения с помощью модели RealESRGAN

ruDALL-E Kandinsky (XXL)

Русская text-to-image модель, генерирующая изображения по тексту. Архитектура такая же, как у ruDALL-E XL. Ещё больше параметров в новой версии!

Параметры обучения и модели:


  • 12 млрд параметров
  • Энкодер изображений — кастомная VQGAN модель, преобразующая картинку в последовательность из 32×32 символов
  • YTTM токенизатор текстов со словарем 16000 токенов
  • Специализированные маски attention для визуальных последовательностей
  • Поддержка переранжирования результатов моделью ruCLIP
  • Поддержка поднятия разрешения с помощью модели RealESRGAN





Итак, начнем:



Осенний лес с желтыми листьями в солнечную погоду

AI: создаём картинки из текстового описания


Красивый вид на город с мостами и замками

AI: создаём картинки из текстового описания

Похожие темы


Калюся

Бутон розы с каплями росы

Создаём картинки из текстового описания

Калюся

Букет ромашек в вазе на окне.

Создаём картинки из текстового описания

4 кота в космосе.

Создаём картинки из текстового описания

Ёжик в траве.

Создаём картинки из текстового описания

  Н-да, художник из меня никудышный.

Шеф
художник из меня никудышный
По этой фразе вот что получилось:

Создаём картинки из текстового описания

Калюся
Ага. Рога не мои. Симпатяга, чо.

sara fan
Мне почему-то вспомнилась та игра, в которую, периодически, играем на форуме, первое слово – последняя цифра года рождения, второе – месяц, третье – число. И, в результате, получается что-то вроде «Взрывная блондинка на самокате». Интересно визуализировать

ОгнеЛо
Взрывная блондинка на самокате
Сначала оно написало (я капчу русскими буквами ввела)
ruDALL-EВы ввели что-то не то в форму или неправильно заполнили каптчу
Со второй попытки, подумав некоторое время, выдало это

Создаём картинки из текстового описания

 

torbochka

Божья коровка на листе

Создаём картинки из текстового описания

Чет какая-то она странненькая) Но, конечно, по сравнению со «взрывной блондинкой на самокате» сходство всё-таки есть!

Ярик

Море и дюны.



Создаём картинки из текстового описания

Земляк
«Спереди он был желтый, а сзади – стеклянный...»
(с) Описание неизвестно чего, увиденного в продаже,
данное одной моей постоянной попутчицей по электричке

torbochka
Море и дюны.


Создаём картинки из текстового описания

Красота, прям хоть на стенку вешай!)

OlgaGera

Лошади на водопое

Создаём картинки из текстового описания

ОгнеЛо
Спереди он был желтый, а сзади – стеклянный
Создаём картинки из текстового описания

 

Шеф
Смотрю, психоделическое в основном получается.

Lerele

Немного солнца в холодной воде



Создаём картинки из текстового описания

Калюся
C Утром в сосновом лесу практически справилось

Создаём картинки из текстового описания

А вот с лебединым озером что-то не срослось

Создаём картинки из текстового описания

torbochka
C Утром в сосновом лесу практически справилось
Создаём картинки из текстового описания

«Зима в лесу» тоже ничего получилась) С «лесом» ОНО как-то больше дружит!

sara fan
охота на уток


Создаём картинки из текстового описания

shade
Мир вам, хлебопёки!

fgjrfkbgcbc

Создаём картинки из текстового описания

nila
Самое первое что пришло на ум, глянув в окно.
Осенний листопад


Создаём картинки из текстового описания

Шеф
fgjrfkbgcbc
Точно! Таким он и будет!

Туся Тася

Розовое варенье



Создаём картинки из текстового описания

nila
Видно не поняло моего текста и сгенерировало не совсем точно

Дружба собаки и кошки

Создаём картинки из текстового описания

Wiki

Дама у окна кошмары на улице вязов

Создаём картинки из текстового описания

Шеф
Смотрю на многие картины и чота ржу.



Решился я на отчаянный шаг: нарисовать себя!

Мой автопортрет

Так как изображение конфеденциальное и приватное, спрячу его под спойлер (чтобы не узнали):
Создаём картинки из текстового описания

Может, нам надо массово с такого текста сгенерировать и поставить на свои аватарки?
Только, конечно, считается только самая первая генерация.

Калюся
нарисовать себя!
Да лехко!

Создаём картинки из текстового описания

Чет я себя не признала.

shade
Мир вам, хлебопёки!

Точно! Вылитый! Я узнал его!

апокалипсис

OlgaGera
Чет я себя не признала
не не, что то схожее с авкой есть

nila
Мой автопортрет


Создаём картинки из текстового описания

OlgaGera
Хм... тож не признала


Создаём картинки из текстового описания

Калюся
Лёлька, ну хоть девачка. Симпатишная даже.

Cirre
Как то не уверена, что это я Мужчиной себя не ощущаю


Создаём картинки из текстового описания

julia_bb
Закат солнца на море

Забыла как картинки вставлять

Cirre
Закат солнца на море
Создаём картинки из текстового описания

ОгнеЛо
«Печальное, но радостное лицо»
вот такой смайлик

Создаём картинки из текстового описания

по версии ИИ, это что-то типа таких

Создаём картинки из текстового описания


Создаём картинки из текстового описания


Создаём картинки из текстового описания

Lind@

Ехали на тройке с бубенцами

Создаём картинки из текстового описания

чет тут не так

Калюся
чет тут не так
Зато текст песенки есть.

torbochka
А это просто КРОКОДИЛ!

Создаём картинки из текстового описания

Какой-то прям улыбчивый, наверное, патамушта беззубый)

Lind@
Детский персонаж: Тяни толкай

Создаём картинки из текстового описания

dopleta

Фантастический подводный мир



Создаём картинки из текстового описания

Cirre
Прямо идеально, правда я написала кошки, а выдали одну

Создаём картинки из текстового описания

Шеф
Вбил запрос Человек идет по тропинке в лесу – ИИ посчитал, что речь была о человеке-невидимке.

Создаём картинки из текстового описания

Корсика
о человеке-невидимке.
Класс! Вид от первого лица.
По словосочетанию «Отпуск мечты».

Создаём картинки из текстового описания

Шеф
Вид от первого лица.
Точно. Как не догадался.

По словосочетанию «Отпуск мечты».
Вот бы понять, что там в пляжных тумбочках на полочках для мечты-мечты.

Корсика
на полочках
На одной точно должен быть счастливый ветер перемен, тёплый, попутный, и приносящий радостные известия.

Шеф
А вот музыка из текстовых описаний:

НЕЙРОСЕТЬ ПЕРЕВОДИТ ТЕКСТ В МУЗЫКУ (и пугает меня) #mubert • Создаём картинки из текстового описания play thumbnailUrl Создаём картинки из текстового описания
Покупай в магазине Vsemayki по ссылке Используй промокод на скидку 10% VAGAN1022 Чтобы скачать приложение Vsemayki, кликай на ссылки ниже IOS Андройд Скидка в магазине по промокоду Ваганыч Скидка в магазине по промокоду Ваганыч Гитары MiLena…Создаём картинки из текстового описания - 3915901
PT24M
True
2022-11-09T15:11:46+03:00
embedUrl


Вполне себе подойдёт для заставок и прочего.

Шеф
И, в общем, генерация по ссылке в первом посте – полный шлак. Есть намного более реалистичные.

Например, вот эта .

Сравниваем запрос «Свиные отбивные с опятами в сыре и с луком».

Результат сабжевого генератора:


Создаём картинки из текстового описания

Результат нового:


Создаём картинки из текстового описания

Пробуйте сами.

Шеф
Свежеиспеченный хлеб:

Создаём картинки из текстового описания

Создаём картинки из текстового описания


Создаём картинки из текстового описания

Шеф
Платить моделям (например, для продажи одежды на маркетплейсах) теперь .

А можно на основе своей (или любой другой фотографии) сгенерировать «новую личность» (например, для аватарки).

Шеф
Но Midjourney, конечно, бьет многих. Там можно не только из текста, но и из нескольких изображений сгенерировать новые:


AI: создаём картинки из текстового описания


AI: создаём картинки из текстового описания


AI: создаём картинки из текстового описания


AI: создаём картинки из текстового описания


AI: создаём картинки из текстового описания


AI: создаём картинки из текстового описания


AI: создаём картинки из текстового описания


Корсика
Пробуйте сами.
Задумчивый самурай любуется цветущей сакурой.

AI: создаём картинки из текстового описания

Шеф
Запрос этой и следующих не помню. Поэтому считайте, что «Новый писк каблучной моды».


AI: создаём картинки из текстового описания

Шеф
Мальчик искренне радуется третьей руке с хлебом.


AI: создаём картинки из текстового описания

Шеф
Девочка в свитере решила обнять котёнка, но что-то пошло не так.

AI: создаём картинки из текстового описания

shade
Мир вам, хлебопёки!
Шеф-
а чего не так?
тут дело в усилии объятия, ещё малька и --котёнок решил обнять девочку в свитере

Корсика
Романтический завтрак для двоих на весенней веранде.
Почему-то вспомнилась фраза из к/ф "Брилллиантовая рука".

AI: создаём картинки из текстового описания


AI: создаём картинки из текстового описания




Поэтому считайте, что «Новый писк каблучной моды».
Шеф, картинка создана Midjourney?

Корсика
Решился я на отчаянный шаг: нарисовать себя!
Только, конечно, считается только самая первая генерация.
Мой автопортрет.
AI: создаём картинки из текстового описания


Рассвет и горизонт на мысе Рока.

AI: создаём картинки из текстового описания

Букет лаванды лежит на качелях.

AI: создаём картинки из текстового описания

Не так уж и плох художник.

Сергей13


AI: создаём картинки из текстового описания


AI: создаём картинки из текстового описания

frenchchoko
Запросила осенний сад в дымке тумана


AI: создаём картинки из текстового описания




можно на основе своей (или любой другой фотографии) сгенерировать «новую личность» (например, для аватарки

Ещё где то была развлекушечка сгенерировать другой пол

Корсика
Я мужчина, в полном расцвете сил в стиле portrait.
Действительно, к чему подробности? Цвет глаз, волос, черты лица... Харизму всё равно по фото не передашь, но Художник уловил суть.
Сергей13, не обижайтесь, я без желания задеть. Просто так явно на контрасте с собственной попыткой объяснить ИИ линии и черты.



Интересное в разделе «Фотозакуток»

Новое на сайте