Update app.py

app.py

@@ -4,18 +4,17 @@ from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
 
 # Définir le modèle et le tokenizer
 # Utilisation d'un modèle français pour le domaine médical
-MODEL_NAME = "mistralai/Mistral-7B-v0.1"  # Vous pouvez utiliser un modèle plus adapté au français comme "camembert" ou un modèle médical spécifique
+MODEL_NAME = "analist/llama3.1-8B-omnimed-rl"  # Vous pouvez utiliser un modèle plus adapté au français comme "camembert" ou un modèle médical spécifique
 
 # Fonction pour charger le modèle et le tokenizer
 def load_model():
     print("Chargement du modèle et du tokenizer...")
-    tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
-    model = AutoModelForCausalLM.from_pretrained(
-        MODEL_NAME,
-        torch_dtype=torch.float16,
-        device_map="auto",
-        load_in_8bit=True  # Quantification pour réduire l'utilisation de la mémoire
-    )
+    model, tokenizer = FastLanguageModel.from_pretrained(
+    model_name = MODEL_NAME,
+    max_seq_length = 8192,
+    load_in_4bit = True,
+    token = "hf_...", # use one if using gated models like meta-llama/Llama-2-7b-hf
+)
     return model, tokenizer
 
 # Charger le modèle et le tokenizer