Преобразование текста в изображение стало одним из самых замечательных приложений ИИ на стыке компьютерного зрения и обработки естественного языка. Создать изображение на основе описания на естественном языке сейчас является обычной задачей для пользователей. Пользователи часто для широкого круга задач применяют продвинутую нейросеть Midjourney, которая создает изображения и видео из текстовых описаний.
В России инструмент работает через агрегаторы нейросетей, в том числе через джипити на русском, который объединяет ведущие модели для текста, изображений и видео без VPN и с оплатой российской картой.
Что требуется для создания изображений
Для создания изображений с требуемыми деталями требуются соответствующие текстовые подсказки, которые часто повторяются несколько раз. В процессе работы пользователь-человек обновляет свои подсказки, основываясь на последнем полученном изображении. Каждое такое взаимодействие с последовательностью подсказок анализируется и настраиваются подсказки в процессе взаимодействия.
Создание изображений с использованием модели преобразования текста в изображение обычно требует многократных запросов, когда пользователи-люди итеративно обновляют свои подсказки на основе обратной связи, а именно выходного изображения.
Язык, который люди используют при взаимодействии может меняться в ходе работы с программой. Теоретическая работа предполагает, что механизмы обучения могут позволить динамично адаптировать не только свой словарный запас, но их смысловые репрезентации.
Про подсказки или промпт
Подсказки или промпт как общепринятое в генеративных нейросетях обозначение текстового запроса анализируются программой и от них зависит качество создаваемого изображения.
Что не нужно добавлять в текстовые описания
Пользователи часто используют “волшебные слова” для описания, которые не добавляют никакого реального содержания в подсказку, но обычно используются практиками. Например, такие слова, как “красивый”, “прекрасный”, “подробный”. Все они кажутся более чем важными в наборе данных, но они не несут дополнительную информацию и не добавляют информации к описываемой сцене. Их популярность обусловлена онлайн-сообществом, утверждающим, что эстетику и привлекательность изображений можно улучшить, добавив определенные ключевые слова и словосочетания в текстовые подсказки для ввода набора данных, но не в целом.
Что использует программа
- Подсказку с меньшим количеством ошибок модель считает более вероятной.
- Программа оценивает конкретность, чтобы присвоить каждому слову оценку конкретности в диапазоне от 1 (абстрактный) до 5 (конкретно).
- Повторяющиеся слова — подсчитывается количество слов, которые встречаются в подсказке более одного раза, за исключением стоп-слов. Затем программа нормализует их по длине запроса.
- Подсчитывается количество предложений в соответствии с синтаксическим анализатором.
- Глубина синтаксического дерева определяется путем синтаксического анализа запросов с помощью анализатора. Используется глубина дерева как показатель синтаксической сложности предложения.
Процесс запроса подсказок
Процесс запроса промпт имеет 4 этапа
- Начальная подсказка
Максимально приближена к оригинальному тексту, стараясь свести ее сохраняя словарный запас на данном этапе к простому предложению.
- Корректировка композиции
Уточняется подсказка, предпочитая небольшие по объему предложения. Изменения, которые обеспечили бы быструю обратную связь для более точного контроля за корректировками. Обращается особое внимание на возможное неверное толкование двусмысленных слов и определяется возможность контроля на любом из трех уровней:
- Изменяются слова, по желанию упрощая или заменяя их синонимами, которые могут лучше отражать контекст. Это может включать в себя сокращение словосочетания, отражающего действие, в ущерб насыщенности повествования и точности выражения.
- Добавляются или удаляются прилагательные для обозначения сущностей (субъекта и объектов) или наречий для обозначения глаголов.
- Добавляются объекты для лучшего представления контекста и/или принудительного удаления ненужных артефактов.
- Уточнение стиля
Всякий раз, когда обнаруживается излишняя нереалистичность, ее можно подавить, применив стиль с помощью модификаторов типа basic, simple, minimal, flatcolor.
- Выбор вариантов
Как только желаемая композиция будет достигнута, необходимо работать с генерацией вариантов. Вариант можно выбрать также в тех случаях, когда композиция только “почти достигнута”. Например, когда требуется определенное количество объектов определенного типа, но достигнуто лишь приблизительное количество. Это можно предпринять в надежде, что реалистичность случайно скорректируют количество.
Примерами неудач в представлении нестандартных ситуаций могут служить крайне плохие результаты для подсказок, полученных из нереалистичных текстов. Это связано с характером обучения, основанного на ранее существовавших наборах данных изображений.
Причины предпочтительности конкретной нейросети
Одной из причин, по которой предпочтительнее Midjourney другим инструментам генерации изображений путем преобразования текста в изображение являются широкие возможности. Эта нейросеть может обрабатывать сложные запросы, что приближает взаимодействие человека и модели к стандартному взаимодействию человека с человеком.
Еще одна причина предпочесть этому инструменту — доступность подсказок, изображений и метаданных на сервере Discord.
Сервер содержит каналы, в которых пользователь может ввести запрос и аргументы, а затем бот Midjourney отправит в ответ 4 сгенерированных изображения, объединенных в таблицу. Затем, если пользователя удовлетворит одно из 4 изображений, можно отправить боту команду “увеличить масштаб”, чтобы получить изображение в увеличенном масштабе. Предусматривается, что оно хорошего качества и представляет собой увеличенную версию желаемого изображения.
Выводы
Действительно, люди используют Midjourney для решения широкого спектра задач с разным уровнем подготовки, а их запросы и предпочтения сильно различаются.
Существующие изображения не всегда легко доступны для любого интересующего запроса. Это открывает возможность использовать генератор изображения в качестве инструмента для дизайна логотипов, интерфейсов, создания плакатов, двухмерных и трёхмерных объектов на двумерной плоскости (изометрических) иллюстраций.
