Развлечения

Принёс интересное развлечение. Вкратце: можно словами описать то, что вы хотите видеть в результате, и на основе этого теста сгенерировать готовое изображение.

Предлагаю выкладывать в этой теме своё описание и получившийся шедевр!

Цель

Задача — создать «мультимодальную» нейронную сеть, которая изучает концепции в нескольких модальностях, в первую очередь в текстовой и визуальной областях, чтобы лучше понимать мир. Трансформер научен авторегрессивно моделировать токены текста и изображения как единый поток данных.

Применение

Генерация изображений решает две важные задачи, которые не может решить поиск:

• позволяет учесть точное описание желаемого,
• создаёт изображение, которое раньше не существовало.

Генерацию изображений можно использовать, например, для фото-иллюстрации статей, в копирайтинге, в рекламе.

Самая большая вычислительная задача в истории России

На кластере Christofari модель обучалась 37 дней на 512 GPU TESLA V100, и затем еще 11 дней по 128 GPU — всего 20352 GPU-дней. Наша самая большая обученная модель XXL (12 миллиардов параметров) сравнима с английской DALL-E от OpenAI!

ruDALL-E Malevich (XL)

По короткому текстовому описанию ruDALL-E генерирует яркие и красочные изображения на самые разные темы и сюжеты. Модель понимает обширный набор понятий и генерирует совершенно новые изображения и объекты, которых не существовало в реальном мире.

Параметры обучения и модели:

• 1,3 млрд параметров
• Энкодер изображений — кастомная VQGAN модель, преобразующая картинку в последовательность из 32×32 символов
• YTTM токенизатор текстов со словарем 16000 токенов
• Специализированные маски attention для визуальных последовательностей
• Поддержка переранжирования результатов моделью ruCLIP
• Поддержка поднятия разрешения с помощью модели RealESRGAN

ruDALL-E Kandinsky (XXL)

Русская text-to-image модель, генерирующая изображения по тексту. Архитектура такая же, как у ruDALL-E XL. Ещё больше параметров в новой версии!

Параметры обучения и модели:

• 12 млрд параметров
• Энкодер изображений — кастомная VQGAN модель, преобразующая картинку в последовательность из 32×32 символов
• YTTM токенизатор текстов со словарем 16000 токенов
• Специализированные маски attention для визуальных последовательностей
• Поддержка переранжирования результатов моделью ruCLIP
• Поддержка поднятия разрешения с помощью модели RealESRGAN

🔗

Итак, начнем:

Осенний лес с желтыми листьями в солнечную погоду

Красивый вид на город с мостами и замками

Бутон розы с каплями росы

Букет ромашек в вазе на окне.

4 кота в космосе.

Ёжик в траве.

Н-да, художник из меня никудышный.

художник из меня никудышный

По этой фразе вот что получилось:

Ага. Рога не мои. Симпатяга, чо.

Мне почему-то вспомнилась та игра, в которую, периодически, играем на форуме, первое слово – последняя цифра года рождения, второе – месяц, третье – число. И, в результате, получается что-то вроде «Взрывная блондинка на самокате». Интересно визуализировать

Взрывная блондинка на самокате

Сначала оно написало (я капчу русскими буквами ввела)

Вы ввели что-то не то в форму или неправильно заполнили каптчу

Со второй попытки, подумав некоторое время, выдало это

Божья коровка на листе

Чет какая-то она странненькая) Но, конечно, по сравнению со «взрывной блондинкой на самокате» сходство всё-таки есть!

Море и дюны.

«Спереди он был желтый, а сзади – стеклянный...»
(с) Описание неизвестно чего, увиденного в продаже,
данное одной моей постоянной попутчицей по электричке

Море и дюны.

Красота, прям хоть на стенку вешай!)

Лошади на водопое

Спереди он был желтый, а сзади – стеклянный

Смотрю, психоделическое в основном получается.

Немного солнца в холодной воде

C Утром в сосновом лесу практически справилось


А вот с лебединым озером что-то не срослось

C Утром в сосновом лесу практически справилось

«Зима в лесу» тоже ничего получилась) С «лесом» ОНО как-то больше дружит!

охота на уток

мир вам хлебопёки!

fgjrfkbgcbc

Самое первое что пришло на ум, глянув в окно.
Осенний листопад