Update app.py

app.py

@@ -54,16 +54,17 @@ def inference(input_prompts, model, tokenizer, system_prompt="System: "):
     for input_prompt in input_prompts:
         formatted_query = create_prompt_with_chat_format([{"role": "user", "content": input_prompt}], add_bos=False, system_prompt=system_prompt)
         encodings = tokenizer(formatted_query, padding=True, return_tensors="pt")
-        encodings = encodings.to(device)
+        encodings = {key: value.to(device) for key, value in encodings.items()}  # Move input data to the same device as the model
 
         with torch.no_grad():
-            outputs = model.generate(encodings.input_ids, do_sample=False, max_length=250)
+            outputs = model.generate(encodings["input_ids"], do_sample=False, max_length=250)
 
         output_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
         output_texts.append(output_text[len(input_prompt):])
     return output_texts
 
 
+
 examples = [
     ["मुझे अपने करियर के बारे में सुझाव दो", "मैं कैसे अध्ययन कर सकता हूँ?"],
     ["कृपया मुझे एक कहानी सुनाएं", "ताजमहल के बारे में कुछ बताएं"],