1、Stable DiffusionStable Diffusion如何在企业中落地如何在企业中落地西山居AI技术专家 黄鸿波PART 1Stable Diffusion的工作原理PART 3如何利用Stable Diffusion在企业中落地PART 2如何利用Stable Diffusion训练出稳定的效果01Stable Diffusion的工作原理Stable Diffusion中的各个组件是如何协调工作的Stable Diffusion基于Latent Diffusion Models，专门用于文图生成任务。Latent Diffusion Models通过在一个潜在表示空间中迭代“去噪
2、”数据来生成图像，然后将表示结果解码为完整的图像，让文图生成能够在消费级GPU上，在10秒级别时间生成图片，大大降低了落地门槛，也带来了文图生成领域的大火。Latent Diffusion Models整体框架UNet结构UNET 是从噪音中生成图像的主要组件，在预测过程中，通过反复调用 UNET，将 UNET 预测输出的 noise slice 从原有的噪声中去除，得到逐步去噪后的图像表示。ResnetBlockSpatial Transformer(Cross Attention)DownSample/UpSampleDiffusion的扩散原理正向扩散过程前向扩散过程逐步对输入图像x 逐
3、渐加入高斯噪声，一共有T步。该过程将产生一系列噪声图像样本x ,x_T。逆向扩散过程逆向扩散过程与正向过程不同，不能使用q(x|x)来反转噪声，因为它是难以处理的(无法计算)。所以我们需要训练神经网络p(x|x)来近似q(x|x)。近似p(x|x)服从正态分布02如何利用Stable Diffusion训练出稳定的效果使用webUI训练的一些细节和trickDreamBoothLoRADreamBoothDreamBooth特征词+类别标签类别DreamBoothDreamBootha abc dog问题：只会生成这只狗DreamBoothDreamBootha abc dog类别：a dog
4、LoRALoRAInputOutputLoRALoRAInputOutputLoRALoRALoRALoRA03如何利用Stable Diffusion在企业中落地使用Stable Diffusion训练自己的大模型细节数据集处理底模的选择参数的影响a drawing of a green pokemon with red eyesexport MODEL_NAME=runwayml/stable-diffusion-v1-5export TRAIN_DIR=/datb/train_data/accelerate launch-mixed_precision=fp16 train_text_t
5、o_image.py -pretrained_model_name_or_path=$MODEL_NAME -train_data_dir=$TRAIN_DIR -use_ema -resolution=512-center_crop-random_flip -train_batch_size=1 -gradient_accumulation_steps=4 -gradient_checkpointing -max_train_steps=15000 -learning_rate=1e-05 -max_grad_norm=1 -lr_scheduler=constant-lr_warmup_steps=0 -output_dir=sd-pokemon-model谢谢 谢谢 观观 看看thanks
sgpjbg002
工作日 8:30 - 17:30
报告分类
