Update app.py

app.py

@@ -3,19 +3,23 @@ import numpy as np
 import random
 import torch
 from diffusers import DiffusionPipeline
+from torch import autocast  # Usando autocast para otimizar operações em float16
 
+# Verifica se a GPU está disponível
 device = "cuda" if torch.cuda.is_available() else "cpu"
-model_repo_id = "stabilityai/sdxl-turbo"  # Modelo de exemplo (ajuste conforme necessário)
+model_repo_id = "stabilityai/sdxl-turbo"  # Modelo otimizado para velocidade
 
-# Usando torch.float16 para melhorar a performance com GPUs (se disponível)
+# Usando float16 para otimizar a execução na GPU
 torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32
 
+# Carregando o modelo com otimizações
 pipe = DiffusionPipeline.from_pretrained(model_repo_id, torch_dtype=torch_dtype).to(device)
 
-# Definindo parâmetros máximos
+# Max seed
 MAX_SEED = np.iinfo(np.int32).max
-MAX_IMAGE_SIZE = 1024
+MAX_IMAGE_SIZE = 512  # Dimensões menores para acelerar
 
+# Função de inferência otimizada
 def infer(
     prompt,
     negative_prompt,
@@ -27,25 +31,29 @@ def infer(
     num_inference_steps,
     progress=gr.Progress(track_tqdm=True),
 ):
-    # Geração de seed aleatória (caso solicitado)
+    # Randomiza a semente, se necessário
     if randomize_seed:
         seed = random.randint(0, MAX_SEED)
 
     generator = torch.Generator(device).manual_seed(seed)
 
-    # Definindo uma resolução menor para acelerar a execução (ajuste conforme necessário)
-    image = pipe(
-        prompt=prompt,
-        negative_prompt=negative_prompt,
-        guidance_scale=guidance_scale,
-        num_inference_steps=num_inference_steps,
-        width=width,
-        height=height,
-        generator=generator,
-    ).images[0]
+    # Usando autocast para acelerar o cálculo com float16 em GPUs
+    with autocast("cuda"):
+        # Geração da imagem com um número reduzido de passos (para acelerar)
+        image = pipe(
+            prompt=prompt,
+            negative_prompt=negative_prompt,
+            guidance_scale=guidance_scale,
+            num_inference_steps=num_inference_steps,
+            width=width,
+            height=height,
+            generator=generator,
+        ).images[0]
 
     return image, seed
 
+
+# Exemplos para o Gradio
 examples = [
     "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k",
     "An astronaut riding a green horse",
@@ -100,7 +108,7 @@ with gr.Blocks(css=css) as demo:
                     minimum=256,
                     maximum=MAX_IMAGE_SIZE,
                     step=32,
-                    value=1024,  # Valor de default
+                    value=512,  # Dimensões reduzidas para otimizar
                 )
 
                 height = gr.Slider(
@@ -108,7 +116,7 @@ with gr.Blocks(css=css) as demo:
                     minimum=256,
                     maximum=MAX_IMAGE_SIZE,
                     step=32,
-                    value=1024,  # Valor de default
+                    value=512,  # Dimensões reduzidas para otimizar
                 )
 
             with gr.Row():
@@ -117,15 +125,15 @@ with gr.Blocks(css=css) as demo:
                     minimum=0.0,
                     maximum=10.0,
                     step=0.1,
-                    value=7.5,  # Valor de default mais alto para mais controle
+                    value=7.5,  # Valor adequado para controle
                 )
 
                 num_inference_steps = gr.Slider(
                     label="Inference steps",
                     minimum=1,
-                    maximum=50,
+                    maximum=30,  # Menos passos para otimizar a velocidade
                     step=1,
-                    value=20,  # Aumenta para melhorar a qualidade se necessário
+                    value=20,  # Um valor equilibrado
                 )
 
         gr.Examples(examples=examples, inputs=[prompt])
@@ -148,3 +156,4 @@ with gr.Blocks(css=css) as demo:
 
 if __name__ == "__main__":
     demo.launch()
+