Из ряби — открытка: как нейросеть рисует картинку из шума
Почему картинка от нейросети начинается с телевизионной ряби, как сеть учится угадывать лишнее и почему одна просьба даёт разные картинки.
Айпери пишет нейросети: «Иссык-Куль, горы, закат». Через несколько секунд готова открытка — и никто не держал кисть. Многие нейросети, которые рисуют картинки, работают по одному принципу: картинка начинается не с наброска, а с ряби, как на экране старого телевизора. Разберём на условном примере. Принцип описан в открытых научных работах о так называемых диффузионных моделях; цифры в ролике — схема, а не замер конкретного сервиса.
Готовую фотографию она не ищет
Первая мысль — нейросеть нашла похожий снимок в интернете. Нет. Холст — это сетка клеток, и сначала каждая клетка получает случайный цвет. На холсте нет ни озера, ни гор, только серые точки. Инженеры называют такую рябь шумом.
Чему её учили
Чтобы рябь могла стать картинкой, нейросеть долго учили. Брали миллионы картинок с подписями и портили: где добавляли немного ряби, где побольше, а где оставалась одна рябь. Нейросеть училась обратному — по испорченной картинке угадывать, какая рябь здесь лишняя.
Шаг за шагом
Теперь всё наоборот. Нейросеть смотрит на холст с рябью, угадывает лишнее и убирает немного. Проступает пятно: светлое сверху, синее снизу. Шаг повторяется — в нашем примере тридцать раз. Первые шаги проявляют крупное: небо, воду, хребет. К середине появляются берег и снег на вершинах. Последние шаги дорисовывают мелочи — блики на воде и парус.
Куда вести — подсказывают слова
Из ряби может выйти что угодно: кот, город, лес. Направление задают слова просьбы. На каждом шаге клетки тянутся к картинке, которая подходит к словам «озеро», «горы», «закат». Поэтому от точности просьбы так сильно зависит результат.
Другая рябь — другая открытка
Если начать с другой ряби, с теми же словами выйдет другая открытка: солнце левее, берег круче, парус в другом месте. Поэтому одна и та же просьба обычно даёт разные картинки.
Что из этого следует
Нейросеть не рисует кистью и не ищет фотографию. Она шаг за шагом убирает лишнее из ряби — как скульптор убирает лишний камень, пока не проступит фигура. Для бизнеса из этого следует практичный вывод: результат зависит от того, насколько ясно поставлена задача. Чем точнее слова — товар, фон, настроение, формат, — тем меньше попыток нужно, чтобы получить нужную картинку для меню, витрины или поста.
