Update README.md

README.md

@@ -66,11 +66,31 @@ prompt_template =<s>"""சரியான பதிலுடன் வேலை
 
 This format is available as a [chat template](https://huggingface.co/docs/transformers/main/chat_templating) via the `apply_chat_template()` method:
 
-```python
-from transformers import AutoModelForCausalLM, AutoTokenizer
+## Kaggle demo link
+https://www.kaggle.com/code/hemanthkumar21/tamil-mistral-instruct-v0-1-demo/
 
+```python
+from transformers import  (AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig,TextStreamer,pipeline)
+import torch
+model_name = "Hemanth-thunder/Tamil-Mistral-7B-Instruct-v0.1"
+nf4_config = BitsAndBytesConfig(load_in_4bit=True,bnb_4bit_quant_type="nf4",bnb_4bit_use_double_quant=True,
+   bnb_4bit_compute_dtype=torch.bfloat16
+)
+model = AutoModelForCausalLM.from_pretrained(model_name,device_map='auto',quantization_config=nf4_config,use_cache=False,low_cpu_mem_usage=True )
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+tokenizer.pad_token = tokenizer.eos_token
+tokenizer.padding_side = "right"
+streamer = TextStreamer(tokenizer)
+pipe = pipeline("text-generation" ,model=model, tokenizer=tokenizer ,do_sample=True, repetition_penalty=1.15,top_p=0.95,streamer=streamer)
+prompt = create_prompt("வாழ்க்கையில் ஆரோக்கியமாக இருப்பது எப்படி?")
+result=pipe(prompt,max_length=512,pad_token_id=tokenizer.eos_token_id)
 
 ```
+```
+result:
+- உடற்பயிற்சி - ஆரோக்கியமான உணவை உண்ணுங்கள் -2 புகைபிடிக்காதே - தவறாமல் உடற்பயிற்சி செய்</s>
+```
+
 ## Python function to format query
 ```python
 def create_prompt(query,prompt_template=prompt_template):