Update app.py

app.py

@@ -51,15 +51,19 @@ model_name = "ai4bharat/Airavata"
 tokenizer = AutoTokenizer.from_pretrained(model_name, padding_side="left")
 tokenizer.pad_token = tokenizer.eos_token
 model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16).to(device)
+print(f"Loading model: {model_name}")
 
-examples= [
-    "मैं अपने समय प्रबंधन कौशल को कैसे सुधार सकता हूँ? मुझे पांच बिंदु बताएं।",
-    "मैं अपने समय प्रबंधन कौशल को कैसे सुधार सकता हूँ? मुझे पांच बिंदु बताएं और उनका वर्णन करें।",
+examples = [
+    ["मैं अपने समय प्रबंधन कौशल को कैसे सुधार सकता हूँ? मुझे पांच बिंदु बताएं।"],
+    ["मैं अपने समय प्रबंधन कौशल को कैसे सुधार सकता हूँ? मुझे पांच बिंदु बताएं और उनका वर्णन करें।"],
 ]
-# outputs = inference(input_prompts, model, tokenizer)
-# print(outputs)
 
-gr.ChatInterface(fn=inference,
-                examples = examples,
-                title = "CAMAI ChatBot").launch()
+def chat_interface(input_prompts):
+    outputs = inference(input_prompts, model, tokenizer)
+    return outputs
 
+gr.Interface(fn=chat_interface,
+             inputs="text",
+             outputs="text",
+             examples=examples,
+             title="CAMAI ChatBot").launch()