|
--- |
|
license: llama3 |
|
datasets: |
|
- TigerResearch/sft_zh |
|
- silk-road/alpaca-data-gpt4-chinese |
|
--- |
|
|
|
### 基于alpaca-data-gpt4-chinese、sft_zh数据集对Llama-3-8B-Instruct进行微调。 |
|
|
|
### 模型： |
|
- https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct |
|
|
|
### 数据集： |
|
- https://huggingface.co/datasets/TigerResearch/sft_zh |
|
- https://huggingface.co/datasets/silk-road/alpaca-data-gpt4-chinese |
|
|
|
### 训练工具 |
|
https://github.com/hiyouga/LLaMA-Factory |
|
|
|
### 测评方式： |
|
使用opencompass(https://github.com/open-compass/OpenCompass/ )， 测试工具基于CEval和MMLU对微调之后的模型和原始模型进行测试。</br> |
|
测试模型分别为： |
|
- Llama-3-8B |
|
- Llama-3-8B-Instruct |
|
- LLama3-Instruct-sft-lora-tigerbot-alpacadatagpt4,使用sft_zh、alpaca-data-gpt4-chinese数据对Llama-3-8B-Instruct使用sft方式lora微调 |
|
|
|
|
|
### 结果 |
|
| 模型名称 | CEVAL | MMLU | |
|
|--------------------------|-------|------| |
|
| LLama3 | 49.91 | 66.62| |
|
| LLama3-Instruct | 50.55 | 67.15| |
|
| LLama3-Instruct-sft-lora-tigerbot-alpacadatagpt4 | 53.65 | 68.09 | |
