Update README.md

README.md

@@ -41,26 +41,44 @@ TIP: 데이터의 크기나 Epoch을 늘리면 좀 더 좋은 결과를 가져
 모델을 사용하는 방법은 다음과 같습니다:
 
 ```python
-from unsloth import FastLanguageModel
+from transformers import AutoTokenizer, AutoModelForCausalLM
+import torch
 
-model, tokenizer = FastLanguageModel.from_pretrained("byeolki/KoLlama-Empathy", load_in_4bit=True)  
+max_length = 512
+temperture = 0.7
 
-alpaca_prompt = """아래는 작업을 설명하는 지시사항입니다. 입력된 내용을 바탕으로 적절한 응답을 작성하세요.
+model_name = "byeolki/KoLlama-Empathy"
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+model = AutoModelForCausalLM.from_pretrained(model_name)
+
+prompt = """아래는 작업을 설명하는 지시사항입니다. 입력된 내용을 바탕으로 적절한 응답을 작성하세요.
 ### 지시사항:
 입력에 대해서 공감해주세요.
 ### 입력:
 {input}
 ### 응답:
 """
-
-FastLanguageModel.for_inference(model) 
 input_text = "안녕하세요. 저 오늘 기분이 안 좋아요."
 
-inputs = tokenizer([alpaca_prompt.format(input=input_text)], return_tensors="pt").to("cuda")
-outputs = model.generate(**inputs, max_new_tokens=64, use_cache=True)
-
-generated_text = tokenizer.batch_decode(outputs, skip_special_tokens=True)[0]
-print(generated_text)
+inputs = tokenizer(prompt.format(input=input_text), return_tensors="pt").to(model.device)
+outputs = model.generate(
+    **inputs,
+    max_length=max_length,
+    temperature=temperature,
+    top_p=0.9,
+    do_sample=True,
+    pad_token_id=tokenizer.pad_token_id,
+    bos_token_id=tokenizer.bos_token_id,
+    eos_token_id=tokenizer.eos_token_id,
+    num_return_sequences=1
+)
+
+generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
+try:
+    response = generated_text.split("### 응답:\n")[-1].strip()
+except:
+    response = generated_text
+print(response)
 ```
 
 ## 💬 Example Conversations