🔎

Создаём картинки из текстового описания

[1] 2 3 Вперед ►
Принёс интересное развлечение. Вкратце: можно словами описать то, что вы хотите видеть в результате, и на основе этого теста сгенерировать готовое изображение.

Предлагаю выкладывать в этой теме своё описание и получившийся шедевр!

Цель



Задача — создать «мультимодальную» нейронную сеть, которая изучает концепции в нескольких модальностях, в первую очередь в текстовой и визуальной областях, чтобы лучше понимать мир. Трансформер научен авторегрессивно моделировать токены текста и изображения как единый поток данных.

Применение



Генерация изображений решает две важные задачи, которые не может решить поиск:
  • позволяет учесть точное описание желаемого,
  • создаёт изображение, которое раньше не существовало.


Генерацию изображений можно использовать, например, для фото-иллюстрации статей, в копирайтинге, в рекламе.

Самая большая вычислительная задача в истории России



На кластере Christofari модель обучалась 37 дней на 512 GPU TESLA V100, и затем еще 11 дней по 128 GPU — всего 20352 GPU-дней. Наша самая большая обученная модель XXL (12 миллиардов параметров) сравнима с английской DALL-E от OpenAI!

ruDALL-E Malevich (XL)



По короткому текстовому описанию ruDALL-E генерирует яркие и красочные изображения на самые разные темы и сюжеты. Модель понимает обширный набор понятий и генерирует совершенно новые изображения и объекты, которых не существовало в реальном мире.

Параметры обучения и модели:



  • 1,3 млрд параметров
  • Энкодер изображений — кастомная VQGAN модель, преобразующая картинку в последовательность из 32×32 символов
  • YTTM токенизатор текстов со словарем 16000 токенов
  • Специализированные маски attention для визуальных последовательностей
  • Поддержка переранжирования результатов моделью ruCLIP
  • Поддержка поднятия разрешения с помощью модели RealESRGAN



ruDALL-E Kandinsky (XXL)


Русская text-to-image модель, генерирующая изображения по тексту. Архитектура такая же, как у ruDALL-E XL. Ещё больше параметров в новой версии!

Параметры обучения и модели:



  • 12 млрд параметров
  • Энкодер изображений — кастомная VQGAN модель, преобразующая картинку в последовательность из 32×32 символов
  • YTTM токенизатор текстов со словарем 16000 токенов
  • Специализированные маски attention для визуальных последовательностей
  • Поддержка переранжирования результатов моделью ruCLIP
  • Поддержка поднятия разрешения с помощью модели RealESRGAN










Итак, начнем:




Осенний лес с желтыми листьями в солнечную погоду


Создаём картинки из текстового описания


Красивый вид на город с мостами и замками


Создаём картинки из текстового описания
Сохранить…
Посмотреть похожие темы
*Калюся

Бутон розы с каплями росы


Создаём картинки из текстового описания
*Калюся

Букет ромашек в вазе на окне.


Создаём картинки из текстового описания

4 кота в космосе.


Создаём картинки из текстового описания

Ёжик в траве.


Создаём картинки из текстового описания
Н-да, художник из меня никудышный.
*Шеф
Цитата: Калюся
художник из меня никудышный
По этой фразе вот что получилось:
Создаём картинки из текстового описания
*Калюся
Ага. Рога не мои. Симпатяга, чо.
*sara fan
Мне почему-то вспомнилась та игра, в которую, периодически, играем на форуме, первое слово – последняя цифра года рождения, второе – месяц, третье – число. И, в результате, получается что-то вроде «Взрывная блондинка на самокате». Интересно визуализировать
*ОгнеЛо
Цитата: sara fan
Взрывная блондинка на самокате
Сначала оно написало (я капчу русскими буквами ввела)
Цитата: ruDALL-E
Вы ввели что-то не то в форму или неправильно заполнили каптчу
Со второй попытки, подумав некоторое время, выдало это
Создаём картинки из текстового описания
*torbochka

Божья коровка на листе


Создаём картинки из текстового описания
Чет какая-то она странненькая) Но, конечно, по сравнению со «взрывной блондинкой на самокате» сходство всё-таки есть!
*Ярик

Море и дюны.



Создаём картинки из текстового описания
*Земляк
«Спереди он был желтый, а сзади – стеклянный...»
(с) Описание неизвестно чего, увиденного в продаже,
данное одной моей постоянной попутчицей по электричке
*torbochka
Цитата: Ярик

Море и дюны.

Создаём картинки из текстового описания
Красота, прям хоть на стенку вешай!)
*OlgaGera

Лошади на водопое


Создаём картинки из текстового описания
*ОгнеЛо
Цитата: Земляк
Спереди он был желтый, а сзади – стеклянный
Создаём картинки из текстового описания
*Шеф
Смотрю, психоделическое в основном получается.
*Lerele

Немного солнца в холодной воде



Создаём картинки из текстового описания
*Калюся
C Утром в сосновом лесу практически справилось
Создаём картинки из текстового описания

А вот с лебединым озером что-то не срослось
Создаём картинки из текстового описания
*torbochka
Цитата: Калюся
C Утром в сосновом лесу практически справилось
Создаём картинки из текстового описания
«Зима в лесу» тоже ничего получилась) С «лесом» ОНО как-то больше дружит!
*sara fan
охота на уток

Создаём картинки из текстового описания
*shade
мир вам хлебопёки!

fgjrfkbgcbc
Создаём картинки из текстового описания
*nila
Самое первое что пришло на ум, глянув в окно.
Осенний листопад

Создаём картинки из текстового описания

Интересное в разделе "Развлечения"