analist commited on
Commit
9f45c43
·
verified ·
1 Parent(s): a778934

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +9 -13
app.py CHANGED
@@ -15,22 +15,18 @@ TOP_P = 0.9
15
  REPETITION_PENALTY = 1.1
16
 
17
  # Chargement du modèle et du tokenizer
18
- @gr.on_startup
19
- def load_model():
20
- print("Chargement du modèle et du tokenizer...")
21
- model = AutoModelForCausalLM.from_pretrained(
22
- MODEL_NAME,
23
- torch_dtype=torch.float16,
24
- device_map="auto",
25
- trust_remote_code=True
26
- )
27
- tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
28
- print("Modèle et tokenizer chargés avec succès!")
29
- return model, tokenizer
30
 
31
  # Fonction pour générer une réponse
32
  def generate_response(message, chat_history, system_prompt, temperature=TEMPERATURE, max_tokens=MAX_NEW_TOKENS):
33
- model, tokenizer = load_model.value
34
 
35
  # Construction du contexte de chat
36
  chat_context = []
 
15
  REPETITION_PENALTY = 1.1
16
 
17
  # Chargement du modèle et du tokenizer
18
+ print("Chargement du modèle et du tokenizer...")
19
+ model = AutoModelForCausalLM.from_pretrained(
20
+ MODEL_NAME,
21
+ torch_dtype=torch.float16,
22
+ device_map="auto",
23
+ trust_remote_code=True
24
+ )
25
+ tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
26
+ print("Modèle et tokenizer chargés avec succès!")
 
 
 
27
 
28
  # Fonction pour générer une réponse
29
  def generate_response(message, chat_history, system_prompt, temperature=TEMPERATURE, max_tokens=MAX_NEW_TOKENS):
 
30
 
31
  # Construction du contexte de chat
32
  chat_context = []