Update README.md
Browse files
README.md
CHANGED
@@ -32,7 +32,7 @@ pip install unsloth
|
|
32 |
```python
|
33 |
from unsloth import FastLanguageModel
|
34 |
import torch
|
35 |
-
max_seq_length =
|
36 |
dtype = None # None for auto detection. Float16 for Tesla T4, V100, Bfloat16 for Ampere+
|
37 |
load_in_4bit = True # Use 4bit quantization to reduce memory usage. Can be False.
|
38 |
model, tokenizer = FastLanguageModel.from_pretrained(
|
@@ -59,7 +59,7 @@ def get_response(text, tokenizer=tokenizer, model=model):
|
|
59 |
attention_mask=attention_mask,
|
60 |
top_p=1,
|
61 |
temperature=0.3,
|
62 |
-
max_length=
|
63 |
min_length=input_len + 4,
|
64 |
repetition_penalty=1.2,
|
65 |
do_sample=True,
|
@@ -75,8 +75,7 @@ ques = " آش نقصدو كي نقولو لاباس"
|
|
75 |
text = prompt_ar.format_map({'Question': ques})
|
76 |
print(get_response(text))
|
77 |
```
|
78 |
-
- Response:
|
79 |
-
|
80 |
## Citations
|
81 |
When using the **Tunisian Derja Dataset** dataset, please cite:
|
82 |
|
|
|
32 |
```python
|
33 |
from unsloth import FastLanguageModel
|
34 |
import torch
|
35 |
+
max_seq_length = 128 # Choose any! We auto support RoPE Scaling internally!
|
36 |
dtype = None # None for auto detection. Float16 for Tesla T4, V100, Bfloat16 for Ampere+
|
37 |
load_in_4bit = True # Use 4bit quantization to reduce memory usage. Can be False.
|
38 |
model, tokenizer = FastLanguageModel.from_pretrained(
|
|
|
59 |
attention_mask=attention_mask,
|
60 |
top_p=1,
|
61 |
temperature=0.3,
|
62 |
+
max_length=128,
|
63 |
min_length=input_len + 4,
|
64 |
repetition_penalty=1.2,
|
65 |
do_sample=True,
|
|
|
75 |
text = prompt_ar.format_map({'Question': ques})
|
76 |
print(get_response(text))
|
77 |
```
|
78 |
+
- Response: لا باس معناها اللي الشخص موشي في مشكلة ولا مش مرتاح من الموضوع كيفاش نجم نعاونك باش تفهمو خير كان عندك تفاصيل أكثر على الوضعية والا السؤال متاعك تحب نساعدك بشوية سؤال آخر توة نهارك زين شكرا برشا عالمساعدة متاعيمحبت نقلب حاجة أخرى برك الله يباركفي هالمحادثة استعمل
|
|
|
79 |
## Citations
|
80 |
When using the **Tunisian Derja Dataset** dataset, please cite:
|
81 |
|