README.md

---
license: llama3.2
datasets:
- CarrotAI/Carrot
- CarrotAI/Chat-Template
language:
- ko
- en
base_model:
- CarrotAI/Llama-3.2-Rabbit-Ko-3B-Instruct
pipeline_tag: text-generation
---

![image/webp](https://cdn-uploads.huggingface.co/production/uploads/64633ebb39359568c63b52ad/Cji1GoDqERF0zCR9gKJKV.webp)

## Model Description

### Model Details
- **Name**: Carrot Llama-3.2 Rabbit Ko 2412
- **Version**: 3B Instruct
- **Base Model**: CarrotAI/Llama-3.2-Rabbit-Ko-3B-Instruct
- **Languages**: Korean, English
- **Model Type**: Large Language Model (Instruction-tuned)

### Training Process
본 모델은 다음과 같은 주요 훈련 단계를 거쳤습니다:

1. **SFT (Supervised Fine-Tuning)**
   - 고품질 한국어 및 영어 데이터셋을 사용하여 기본 모델을 세부 조정

2. **DPO (Direct Preference Optimization)**
   - 인간의 선호도를 직접적으로 반영하여 모델의 응답 품질 개선

### Limitations
- 3B 파라미터 규모로 인한 복잡한 작업에서의 제한적 성능
- 특정 도메인에 대한 깊이 있는 전문성 부족
- 편향성 및 환각 가능성

### Ethics Statement
모델 개발 과정에서 윤리적 고려사항을 최대한 반영하였으나, 사용자는 항상 결과를 비판적으로 검토해야 합니다.

### How to Use
```python
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("CarrotAI/Llama-3.2-Rabbit-Ko-3B-Instruct-2412")
tokenizer = AutoTokenizer.from_pretrained("CarrotAI/Llama-3.2-Rabbit-Ko-3B-Instruct-2412")
```

## Score
### Performance Metrics
LogicKor
| Category | Single turn | Multi turn |
|---|---|---|
| 수학(Math) | 5.86 | 5.14 |
| 문법(Grammar) | 4.71 | 1.29 |
| 이해(Understanding) | 4.00 | 4.43 |
| 추론(Reasoning) | 5.14 | 6.71 |
| 코딩(Coding) | 7.43 | 7.57 |
| 글쓰기(Writing) | 8.43 | 8.00 |
| **Total** | **5.93** | **5.52** |
| **Overall** | **5.73** | |


| Tasks  |Version|     Filter     |n-shot|        Metric         |   |Value |   |Stderr|
|--------|------:|----------------|-----:|-----------------------|---|-----:|---|------|
|gsm8k   |      3|flexible-extract|     5|exact_match            |↑  |0.7013|±  |0.0126|
|        |       |strict-match    |     5|exact_match            |↑  |0.2418|±  |0.0118|
|gsm8k-ko|      1|flexible-extract|     5|exact_match            |↑  |0.4466|±  |0.0137|
|        |       |strict-match    |     5|exact_match            |↑  |0.4420|±  |0.0137|
|ifeval  |      4|none            |     0|inst_level_loose_acc   |↑  |0.8549|±  |   N/A|
|        |       |none            |     0|inst_level_strict_acc  |↑  |0.8225|±  |   N/A|
|        |       |none            |     0|prompt_level_loose_acc |↑  |0.7874|±  |0.0176|
|        |       |none            |     0|prompt_level_strict_acc|↑  |0.7468|±  |0.0187|


|Task|Score|shot|
|---|---|---|
|haerae|43.26|5|

```
@article{Llama3.2RabbitKo3BInstruct,
  title={CarrotAI/Llama-3.2-Rabbit-Ko-3B-Instruct-2412 Card},
  author={CarrotAI (L, GEUN)},
  year={2024},
  url = {https://huggingface.co/CarrotAI/Llama-3.2-Rabbit-Ko-3B-Instruct-2412}
}
```