Update app.py

app.py

@@ -48,9 +48,9 @@ def create_prompt_with_chat_format(messages, bos="<s>", eos="</s>", add_bos=True
     formatted_text = bos + formatted_text if add_bos else formatted_text
     return formatted_text
 
-
 def inference(input_prompts, model, tokenizer, system_prompt="System: "):
     output_texts = []
+    model = model.to(device)  # Move the model to the same device as the input data
     for input_prompt in input_prompts:
         formatted_query = create_prompt_with_chat_format([{"role": "user", "content": input_prompt}], add_bos=False, system_prompt=system_prompt)
         encodings = tokenizer(formatted_query, padding=True, return_tensors="pt")
@@ -65,6 +65,7 @@ def inference(input_prompts, model, tokenizer, system_prompt="System: "):
 
 
 
+
 examples = [
     ["मुझे अपने करियर के बारे में सुझाव दो", "मैं कैसे अध्ययन कर सकता हूँ?"],
     ["कृपया मुझे एक कहानी सुनाएं", "ताजमहल के बारे में कुछ बताएं"],