Update app.py

app.py

@@ -1,15 +1,18 @@
-import gradio as gr
+import os
 from transformers import AutoTokenizer, AutoModelForCausalLM
+import gradio as gr
 
-# Modellname
+# Modellname und Hugging Face Token
 model_name = "meta-llama/Llama-3.1-8B-Instruct"
+hf_token = os.getenv("HF_TOKEN")  # Token sicher aus den Secrets laden
 
 # Tokenizer und Modell laden
-tokenizer = AutoTokenizer.from_pretrained(model_name)
+tokenizer = AutoTokenizer.from_pretrained(model_name, use_auth_token=hf_token)
 model = AutoModelForCausalLM.from_pretrained(
-    model_name,
-    device_map=None,  # Keine GPU
-    torch_dtype="float32"  # Float32 für CPU
+    model_name, 
+    use_auth_token=hf_token,
+    device_map=None,  # Für CPU
+    torch_dtype="float32"  # CPU-optimiert
 )
 
 # Funktion für die Textgenerierung
@@ -23,8 +26,8 @@ interface = gr.Interface(
     fn=generate_response,
     inputs="text",
     outputs="text",
-    title="LLaMA 3.1 8B Instruct Text Generator (CPU)",
-    description="Gib einen Text ein, und LLaMA 3.1 8B Instruct generiert eine Antwort."
+    title="LLaMA 3.1 8B Instruct Text Generator",
+    description="Gib einen Text ein, und das Modell generiert eine Antwort basierend auf LLaMA 3.1 8B Instruct."
 )
 
 # App starten