Upload README.md

README.md

@@ -9,7 +9,7 @@
 - 开源了8个灵智模型：`Lingzhi-0.5B-chat`, `Lingzhi-0.8B-chat`, `Lingzhi-1.5B-chat`, `Lingzhi-2.7B-chat`, `Lingzhi-7B-chat`, `Lingzhi-10B-chat`, `Lingzhi-57MOE14B-chat`, `Lingzhi-72B-chat`.
 
 ## 📄 摘要
-在实际应用中，当预训练数据不可用时，进行**持续训练**是很常见的。然而，持续训练往往会在增强领域特定技能的同时导致大语言模型（LLMs）灾难性地遗忘其通用能力。在本文中，我们首先对八种常见的持续训练范式进行了实证研究，然后选择了最佳范式来训练灵智系列模型。实验表明，灵智能够在保持通用能力的同时增强领域特定的性能。我们已经开源了所有模型、训练数据和基准测试，用户可以将它们应用到自己的领域特定区域。
+在实际应用中，当预训练数据不可用时，进行**持续训练**是很常见的。然而，持续训练往往会在增强领域特定技能的同时导致大语言模型（LLMs）灾难性地遗忘其通用能力。在本文中，我们首先对常见的持续训练范式进行了实证研究，然后选择了最佳范式来训练灵智系列模型。实验表明，灵智能够在保持通用能力的同时增强领域特定的性能。我们已经开源了所有模型、训练数据和基准测试，用户可以将它们应用到自己的领域特定区域。
 
 ## 📘 介绍
 大语言模型（LLMs）近年来因其在各种实际下游任务中的出色表现而备受关注。实际上，尽管现有的LLMs在通用领域表现良好，但由于在预训练或指令微调期间缺乏特定领域的专业暴露，它们可能在用户需要的特定领域（如会计、法律、金融）中表现不佳。
@@ -20,6 +20,87 @@
 
 为了解决这个问题，我们进行了实证研究，探索了各种持续学习范式并总结了它们的优缺点。最终，在实证研究之后，我们选择了最佳的学习范式和训练数据，基于Qwen2-base进行持续学习，衍生出我们的灵智系列模型。经过大量实验，灵智能够在多个特定领域中表现出色，同时在通用能力方面也表现出与原始Qwen2-chat模型相当的性能。
 
+## 📋 示例
+1. huggingface示例代码
+```python
+from transformers import AutoModelForCausalLM, AutoTokenizer
+import torch
+
+device = "cuda" if torch.cuda.is_available() else "cpu"
+
+lingzhi_model_path = "Lingzhi-AI/Lingzhi-7B-chat"
+
+model = AutoModelForCausalLM.from_pretrained(
+    lingzhi_model_path,
+    torch_dtype="auto",
+    device_map="auto"
+)
+tokenizer = AutoTokenizer.from_pretrained(lingzhi_model_path)
+
+prompt = "帮我介绍一下灵智大模型。"
+messages = [
+    {"role": "system", "content": "You are a helpful assistant."},
+    {"role": "user", "content": prompt}
+]
+text = tokenizer.apply_chat_template(
+    messages,
+    tokenize=False,
+    add_generation_prompt=True
+)
+model_inputs = tokenizer([text], return_tensors="pt").to(device)
+
+generated_ids = model.generate(
+    model_inputs.input_ids,
+    max_new_tokens=512
+)
+generated_ids = [
+    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
+]
+
+response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
+print(response)
+```
+
+2. modelscope示例代码
+```python
+from modelscope import AutoModelForCausalLM, AutoTokenizer
+import torch
+
+device = "cuda" if torch.cuda.is_available() else "cpu"
+
+lingzhi_model_path = "LingzhiLLM/Lingzhi-7B-chat"
+
+model = AutoModelForCausalLM.from_pretrained(
+    lingzhi_model_path,
+    torch_dtype="auto",
+    device_map="auto"
+)
+tokenizer = AutoTokenizer.from_pretrained(lingzhi_model_path)
+
+prompt = "帮我介绍一下灵智大模型。"
+messages = [
+    {"role": "system", "content": "You are a helpful assistant."},
+    {"role": "user", "content": prompt}
+]
+text = tokenizer.apply_chat_template(
+    messages,
+    tokenize=False,
+    add_generation_prompt=True
+)
+model_inputs = tokenizer([text], return_tensors="pt").to(device)
+
+generated_ids = model.generate(
+    model_inputs.input_ids,
+    max_new_tokens=512
+)
+generated_ids = [
+    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
+]
+
+response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
+print(response)
+```
+
 ## 📊 结果
 
 > 备注：Baselines中Qwen2的所有结果均是在我们统一的环境下进行评测的。
@@ -35,11 +116,11 @@
 | Qwen2-57MOE14B-chat   |             |        |             |        |          |        |           |        |             |        |          |
 | Qwen2-72B-chat        |             |        |             |        |          |        |           |        |             |        |          |
 | ***Lingzhi Models***  |             |        |             |        |          |        |           |        |             |        |          |
-| Lingzhi-0\.5B-base    | 44\.25      | 25\.65 | 55\.05      | 53\.74 | 29\.34   | 29\.18 | 25\.00    | 22\.40 | 25\.85      | 40\.24 | 35\.07   |
+| Lingzhi-0\.5B-chat    | 44\.25      | 25\.65 | 55\.05      | 53\.74 | 29\.34   | 29\.18 | 25\.00    | 22\.40 | 25\.85      | 40\.24 | 35\.07   |
 | Lingzhi-0\.8B-chat    | 42\.93      | 27\.77 | 53\.34      | 50\.98 | 21\.00   | 28\.84 | 28\.66    | 18\.00 | 24\.49      | 40\.85 | 33\.69   |
-| Lingzhi-1\.5B-base    | 55\.35      | 33\.67 | 69\.47      | 69\.10 | 49\.58   | 35\.31 | 39\.02    | 31\.00 | 37\.41      | 42\.68 | 46\.26   |
+| Lingzhi-1\.5B-chat    | 55\.35      | 33\.67 | 69\.47      | 69\.10 | 49\.58   | 35\.31 | 39\.02    | 31\.00 | 37\.41      | 42\.68 | 46\.26   |
 | Lingzhi-2\.7B-chat    | 53\.65      | 36\.77 | 67\.09      | 67\.39 | 46\.02   | 34\.51 | 40\.85    | 30\.00 | 38\.10      | 60\.98 | 47\.54   |
-| Lingzhi-7B-base       | 69\.06      | 58\.95 | 82\.69      | 83\.05 | 74\.22   | 45\.59 | 56\.10    | 49\.80 | 72\.79      | 89\.02 | 68\.13   |
+| Lingzhi-7B-chat       | 69\.06      | 58\.95 | 82\.69      | 83\.05 | 74\.22   | 45\.59 | 56\.10    | 49\.80 | 72\.79      | 89\.02 | 68\.13   |
 | Lingzhi-10B-chat      | 69\.37      | 64\.37 | 81\.50      | 82\.27 | 76\.19   | 46\.00 | 60\.98    | 50\.40 | 70\.07      | 82\.93 | 68\.41   |
 | Lingzhi-57MOE14B-chat |             |        |             |        |          |        |           |        |             |        |          |
 | Lingzhi-72B-chat      |             |        |             |        |          |        |           |        |             |        |          |