Dreambooth. Как обучить нейросеть Stable Diffusion на своих фотографиях
Обновлено: 7 нояб. 2022 г.
В результате обучения нейросеть посмотрит на фотографии, которые мы ей покажем, запомнит, как выглядит человек на фото и сможет помещать этого человека в любое окружение.
Процесс создания фото выглядит так:
Чтобы получить картинку нужно сформулировать текстовый запрос. На английском языке пишем нечто вроде: portrait of xxxxx as a viking king, intricate, highly detailed, digital painting, artstation, concept art, sharp focus, illustration, art by Ross tran
Вместо xxxxx подставляем свое имя.
Обучение происходит в среде гугл колаб. Это гугловский сервис, который предоставляет нам свои компьютеры. Для его использования необходимо иметь гугл аккаунт. Бесплатный тариф колаба имеет ограничения, но нам этого будет достаточно.
Ниже указаны ссыли на все сервисы упомянутые в видеоролике:
1. Соберите штук 10 фотографий в хорошем качестве и сделанных при хорошем освещении. Это могут быть фотографии человека, животного или даже предмета. Разрешение фотографий должно быть 512х512 пикселей. Быстро изменить разрешение можно через онлайн сервис birme.net 2. Регистрируемся на сайте huggingface.co
2.1 В личном кабинете создаем новый ключ с модификатором write по этой ссылке
2.2 Подтверждаем согласие для использования модели SD1-5 на этой странице. 3. Открываем колаб. Частично я русифицировал этот колаб чтобы у новичков возникало меньше вопросов. А здесь гитхаб, в котором можно найти последнюю версию программы.
Непосредственно в колабе происходит обучение нейронной модели на наших фотографиях. Этот процесс не сложный, но проще один раз его увидеть, чем описывать где какую галочку нужно нажать. ютюб 4. Здесь подбираем изящный текстовый запрос
P.S.
Есть способ развернуть Dreambooth на своем ПК под Windows или Linux. Необходимо иметь NVIDIA видеокарту с не менее 10Гб памяти. Сам я этот способы не тестировал.
Есть альтернативная версия колаба Dreambooth со Stable Diffusion fast-DreamBooth