Диффузионная модель: как ИИ рисует картинки из шума
Диффузионная модель - это тип генеративного ИИ, который создает изображения, видео или звук, постепенно очищая случайный шум. На таких моделях работает большинство современных генераторов картинок.
Простыми словами
Представь запотевшее окно, на котором ничего не видно. Ты протираешь его понемногу - и из тумана постепенно проступает пейзаж. Диффузионная модель начинает с «тумана» - случайного шума - и шаг за шагом «протирает» его. Только протирает так, чтобы проступило именно то, что ты описал в промпте.
Как это работает
- Во время обучения модели показывают миллионы картинок, на которые постепенно добавляют шум, вплоть до полного «снега».
- Модель учится делать обратное: на каждом шаге немного убирать шум.
- Чтобы генерировать, берут чистый случайный шум.
- Модель за десятки шагов очищает его, ориентируясь на текстовое описание.
- Поэтому одна и та же фраза каждый раз дает новый результат - ведь стартовый шум разный.
Где ты это увидишь
Генераторы изображений и видео, ИИ-заполнение фона на фото, расширение кадра за его границы, «дорисовка» в редакторах и в смартфонах. Большинство сервисов, где ты пишешь «нарисуй...», используют диффузионные модели или их родственников.
Важно ли это при выборе
Для покупки - если хочешь генерировать и редактировать изображения на устройстве, понадобятся мощный чип и много памяти. В остальных случаях это работает в облаке. И важный навык: такие модели плохо справляются с надписями, количеством пальцев и точными деталями - проверяй результат.
Мифы
- Миф: Модель находит готовую картинку в базе и немного меняет. На самом деле: Нет, она каждый раз создает новое изображение из шума.
- Миф: Диффузионная модель понимает физику мира. На самом деле: Она копирует закономерности внешнего вида, поэтому тени, отражения и пальцы часто выходят неправильными.
Частые вопросы
Почему ИИ плохо пишет текст на картинках?
Потому что учился на виде букв как на узорах, а не на правописании. Новые модели делают это лучше.
Что такое «seed»?
Число, которое задает стартовый шум. Одинаковые seed и промпт дают похожий результат.
Есть ли диффузионные модели для видео?
Да, они очищают шум сразу для многих кадров, сохраняя движение.