AI图像生成实战：Stable Diffusion本地部署

前言

Stable Diffusion是目前最流行的开源AI图像生成模型。与Midjourney和DALL-E不同，Stable Diffusion可以完全本地运行，无需联网，数据完全掌控。本文介绍如何在本地部署Stable Diffusion WebUI，并掌握核心参数和技巧。

一、硬件要求

组件	最低配置	推荐配置	说明
GPU	GTX 1060 6GB	RTX 4070 12GB+	显存越大，可生成的图片越大
内存	8GB	16GB+	模型加载需要内存
硬盘	20GB SSD	50GB+ NVMe	模型文件较大(2-7GB)
系统	Windows/Linux	Ubuntu 22.04	Linux性能最优

二、安装部署

2.1 安装WebUI

# 克隆AUTOMATIC1111 WebUI（最流行的WebUI）
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
cd stable-diffusion-webui

# 安装依赖（会自动创建虚拟环境）
# Linux/Mac
./webui.sh

# Windows
webui-user.bat

2.2 下载模型

# 模型存放目录
stable-diffusion-webui/models/Stable-diffusion/

# 推荐模型下载（从CivitAI）
1. dreamshaper_8.safetensors - 通用高质量模型
2. realisticVisionV51.safetensors - 写实照片风格
3. anythingV5PrtRE.safetensors - 动漫风格

# 下载VAE（可选，提升画质）
# 放入 models/VAE/ 目录

2.3 启动参数

# 基础启动
./webui.sh

# 优化启动（推荐）
./webui.sh -xformers --medvram
# -xformers: 加速生成，减少显存占用
# --medvram: 低显存优化（8GB以下显卡必加）

# 高显存启动
./webui.sh -xformers --precision full --no-half

三、核心参数详解

参数	说明	推荐值
Steps	采样步数，越多越精细但越慢	20-30步
CFG Scale	提示词相关性，越高越遵循提示词	7-12
Sampler	采样算法	DPM++ 2M Karras
Seed	随机种子，固定可复现结果	-1(随机)
Width/Height	图片尺寸	512x512或768x512
Batch Size	一次生成几张	1-4

四、Prompt写法

4.1 正面提示词

# 高质量图片提示词结构
quality tags, subject, details, style, lighting

# 示例：高质量人物
masterpiece, best quality, ultra detailed,
1girl, long black hair, blue eyes, white dress,
standing in garden, sunlight, detailed face,
depth of field, bokeh

4.2 负面提示词

# 常用负面提示词
lowres, bad anatomy, bad hands, text, error,
missing fingers, extra digit, fewer digits, cropped,
worst quality, low quality, normal quality,
jpeg artifacts, signature, watermark, username, blurry

4.3 权重控制

# 增加权重
(beautiful face:1.3)  # 1.3倍权重
((detailed eyes))      # 约1.21倍权重

# 降低权重
[blurry:0.5]          # 0.5倍权重

# 分步提示词
[from:to:0.5]         # 前50%步数用from，后50%用to

五、ControlNet控制

ControlNet可以精确控制图像构图，是SD最强大的功能之一：

# ControlNet支持的控制类型
1. Canny - 边缘检测，保持轮廓
2. Depth - 深度图，保持空间关系
3. OpenPose - 人物姿态控制
4. Scribble - 涂鸦转图片
5. Lineart - 线稿上色
6. SoftEdge - 柔边缘，更自然

# 使用方法
1. 上传参考图片
2. 选择预处理器和模型
3. 调整Control Weight（0.5-1.0）
4. 生成图片

六、LoRA微调

# LoRA模型使用
1. 下载LoRA模型（.safetensors文件）
2. 放入 models/Lora/ 目录
3. 在提示词中添加：
   <lora:model_name:0.8>
   # 0.8是LoRA的权重，0-1之间

# LoRA训练（高级）
1. 准备训练图片（15-30张）
2. 使用kohya_ss工具训练
3. 训练参数：
   - Resolution: 512x512
   - Batch Size: 2-4
   - Learning Rate: 1e-4
   - Epochs: 10-20

七、批量生成

# 使用API批量生成
import requests
import json

url = "http://localhost:7860/sdapi/v1/txt2img"
payload = {
    "prompt": "masterpiece, 1girl, beautiful",
    "negative_prompt": "lowres, bad anatomy",
    "steps": 25,
    "cfg_scale": 7,
    "width": 512,
    "height": 512,
    "batch_size": 4
}

response = requests.post(url, json=payload)
images = response.json()["images"]

总结

Stable Diffusion本地部署让AI绘画完全可控，无需依赖云端服务。掌握Prompt写法、参数调优、ControlNet等技巧，可以生成专业级的AI图像。

如果需要AI图像生成服务或Stable Diffusion部署支持，欢迎联系17老师。

关于17老师：AI应用 · 数字化管理 · 全栈开发 · 网络安全全栈专家。联系邮箱：j.d88888888@qq.com，微信：AFIST17