Especificações comuns

• CPU: 12th Gen Intel(R) Core(TM) i5-12400 2.50 GHz
• RAM: 1x16GB DDR4, 3200MHz, CL16
• OS: Windows 11 Home 23H2

Objetivo

Comparar a performance dos seguintes modelos de difusão em GPUs distintas.

Os modelos estudados são:

• SDXL: RunDiffusion/Juggernaut-XL-v9
• SDXL Lightning: RunDiffusion/Juggernaut-XL-Lightning
• SD1.5: SG161222/Realistic_Vision_V6.0_B1_noVAE

Escolhidos para exemplificar uma ampla variação de modelos SDXL, SDXL Lightning e SD1.5.

A Lora utilizada foi o Detail Tweaker XL

O ControlNet utilizado foi o SDXL-controlnet: OpenPose (v2)

Metodologia

1. Inicializa o computador. > Objetivo de eliminar diferenças por vazamento de memória.
2. Inicia comfyanonymous/ComfyUI snapshot-2024-03-31
3. Carrega um modelo
4. 5 medições seguidas batch_size = 1
5. Toma a média das medições

• A qualidade do resultado não será avaliado, apenas a performance.
• Os parâmetros utilizados podem não ser os ideais para cada modelo.
• A performance de um teste é medida em seconds/iteration.

Workflow

O workflow a seguir foi utilizado alterando alguns parâmetros para cada teste.

Apenas modelo

Com lora e ControlNet

Foto de Thom Holmes na Unsplash

Prompts

Prompt positivo:

Moody photo a man using his cellphone in the middle of a night city street full with people, cars and neon lights, masterpiece 8k

Prompt negativo:

text, watermark

Ksampler

O Ksampler possui a seguinte configuração para todos os modelos:

• Seed: 123456789
• Control after generate: increase
• Cfg: 2.0
• Sampler: DPM++ SDE Karras
• Denoise: 1.0

Passos

Latent image

Nodos extras

Durante a medição apenas dos modelos o Lora e ControlNet estão como bypass.

Benchmarks

RTX4060 8GB

lowvram mode Significa que não foi possivel carregar o modelo inteiro na VRAM e teve que deixar parte na swap, neste caso ao carregar o lora + ControlNet excedeu a VRAM. Lembre que no caso de SDXL Lightning + LORA + ControlNet antes de executar é necessário executar o ControlNet, o que aumenta um pouco o tempo total.

Médias

RTX4060 TI 16GB