Update app.py

app.py

@@ -226,10 +226,13 @@ def get_llama_response(message: str, history: list) -> str:
   #print(template)
   chain.prompt=prompt
   print(4444444444444444444444444444444444444444444444)
-  res = chain.invoke(query_text)
+  #res = chain.invoke(query_text)
+  inputs = tokenizer(query_text, return_tensors="pt")
+  outputs = model.generate(inputs.input_ids)
+  response = tokenizer.decode(outputs[0], skip_special_tokens=True)
   print(6666666666666666666666666666666666666666666666666666666666666666666666666666666666)
   
-  return(res)
+  return(response)
 
 import gradio as gr