Update app.py

app.py

@@ -1,22 +1,35 @@
 import gradio as gr
-from transformers import AutoModelForCausalLM, AutoTokenizer
+from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
+from peft import PeftModel, PeftConfig
 import torch
 
-# Use base model's tokenizer
+# Base model and adapter paths
 base_model_name = "abhinand/tamil-llama-7b-instruct-v0.1"
-model_name = "joelelangovan/tamil-llama-genesis-finetuned"
+adapter_name = "joelelangovan/tamil-llama-genesis-finetuned"
 
-# Load tokenizer from base model
+# Load base tokenizer
 tokenizer = AutoTokenizer.from_pretrained(base_model_name)
 tokenizer.pad_token = tokenizer.eos_token
 
-# Load fine-tuned model
-model = AutoModelForCausalLM.from_pretrained(
-    model_name,
+# Setup quantization
+bnb_config = BitsAndBytesConfig(
+    load_in_4bit=True,
+    bnb_4bit_quant_type="nf4",
+    bnb_4bit_compute_dtype=torch.float16,
+    bnb_4bit_use_double_quant=False
+)
+
+# Load base model
+base_model = AutoModelForCausalLM.from_pretrained(
+    base_model_name,
+    quantization_config=bnb_config,
     device_map="auto",
-    torch_dtype=torch.float16,
+    trust_remote_code=True
 )
 
+# Load and apply LoRA adapter
+model = PeftModel.from_pretrained(base_model, adapter_name)
+
 def generate_response(instruction, temperature=0.7, max_length=512):
     # Format the input text
     input_text = f"### Instruction: {instruction}\n\n### Response:"
@@ -57,10 +70,7 @@ demo = gr.Interface(
     ],
     outputs=gr.Textbox(label="பதில்"),
     title="Tamil LLaMA - ஆதியாகமம் விளக்க உதவி",
-    description="""
-    ஆதியாகமம் முதல் அதிகாரம் பற்றிய கேள்விகளுக்கு விளக்கம் அளிக்கும் AI மாதிரி.
-    Base Model: abhinand/tamil-llama-7b-instruct-v0.1
-    """,
+    description="ஆதியாகமம் முதல் அதிகாரம் பற்றிய கேள்விகளுக்கு விளக்கம் அளிக்கும் AI மாதிரி",
     examples=example_prompts,
     allow_flagging="never",
 )