File size: 10,805 Bytes
72046c3 8241bcb 72046c3 8241bcb 72046c3 8241bcb 72046c3 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 |
---
license: apache-2.0
base_model:
- EQUES/TinySwallow-Stratos-1.5B
---
# TinyQwens-Merge-1.5B
本モデルは, 現在公開されている1.5Bパラメタの小型LLMのうち, Qwenをベースとしているものを統合したマージモデルです.
マージ手法にはSakanaAI社が開発した[進化的モデルマージ](https://sakana.ai/evolutionary-model-merge-jp/)を採用しています.
Genome models:
- [SakanaAI/TinySwallow-1.5B-Instruct](https://huggingface.co/SakanaAI/TinySwallow-1.5B-Instruct)
- [EQUES/TinySwallow-Stratos-1.5B](https://huggingface.co/EQUES/TinySwallow-Stratos-1.5B)
- [deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B](https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B)
- [Qwen/Qwen2.5-1.5B-Instruct](https://huggingface.co/Qwen/Qwen2.5-1.5B-Instruct)
Base model:
- [EQUES/TinySwallow-Stratos-1.5B](https://huggingface.co/EQUES/TinySwallow-Stratos-1.5B)
### Uses
Uses follow the original models.
This model is provided for research and development purposes only and should be considered as an experimental prototype. It is not intended for commercial use or deployment in mission-critical environments. Use of this model is at the user's own risk, and its performance and outcomes are not guaranteed. EQUES Inc. shall not be liable for any direct, indirect, special, incidental, or consequential damages, or any loss arising from the use of this model, regardless of the results obtained. Users must fully understand the risks associated with the use of this model and use it at their own discretion.
### Output Examples
<details><summary>Give me a short introduction to large language model.</summary>
```
Large language models are powerful AI systems that can generate human-like text, code, and even code snippets. They are used in a wide range of applications, including:
Chatbots: Large language models can be used to create conversational agents that can interact with users in a natural and engaging way.
Code Generation: These models can generate code in a way that is both readable and functional.
Research: They can be used to generate hypotheses and explore new ideas.
Education: They can be used to create interactive learning experiences.
Marketing: They can be used to create compelling marketing materials.
Product Development: They can be used to generate product descriptions and marketing materials.
Customer Service: They can be used to provide personalized support to customers.
Content Creation: They can be used to generate creative content for various purposes.
Research: They can be used to explore new ideas and hypotheses.
Education: They can be used to create interactive learning experiences.
Product Development: They can be used to generate product descriptions and marketing materials.
Marketing: They can be used to create compelling marketing materials.
Product Development: They can be used to generate product descriptions and marketing materials.
Research: They can be used to explore new ideas and hypotheses.
Education: They can be used to create interactive learning experiences.
Customer Service: They can be used to provide personalized support to customers.
Content Creation: They can be used to generate creative content for various purposes.
Product Development: They can be used to generate product descriptions and marketing materials.
Research: They can be used to explore new ideas and hypotheses.
Education: They can be used to create interactive learning experiences.
Marketing: They can be used to create compelling marketing materials.
Product Development: They can be used to generate product descriptions and marketing materials.
Research: They can be used to explore new ideas and hypotheses.
Education: They can be used to create interactive learning experiences.
Customer Service: They can be used to provide personalized support to customers.
Content Creation: They can be used to generate creative content for various purposes.
Product Development: They can be used to generate product descriptions and marketing materials.
Research: They can be used to explore new ideas and hypotheses.
Education: They can be used to create interactive learning experiences.
Marketing: They can be used to create compelling marketing materials
```
</details>
<details><summary>大規模言語モデルについて教えて。</summary>
```
大規模言語モデルは、大量のデータを学習し、それらを基に高度な言語理解や生成能力を提供するAIシステムです。これらのモデルは、特定のタスクや問題に対する特定の能力を提供します。大規模言語モデルは、特定のタスクや問題に対する特定の能力を提供します。それらは、特定のタスクや問題に対する特定の能力を提供します。それらは、特定のタスクや問題に対する特定の能力を提供します。
大規模言語モデルは、特定のタスクや問題に対する特定の能力を提供します。それらは、特定のタスクや問題に対する特定の能力を提供します。
大規模言語モデルは、特定のタスクや問題に対する特定の能力を提供します。それらは、特定のタスクや問題に対する特定の能力を提供します。
大規模言語モデルは、特定のタスクや問題に対する特定の能力を提供します。それらは、特定のタスクや問題に対する特定の能力を提供します。
大規模言語モデルは、特定のタスクや問題に対する特定の能力を提供します。それらは、特定のタスクや問題に対する特定の能力を提供します。
大規模言語モデルは、特定のタスクや問題に対する特定の能力を提供します。それらは、特定のタスクや問題に対する特定の能力を提供します。
大規模言語モデルは、特定のタスクや問題に対する特定の能力を提供します。それらは、特定のタスクや問題に対する特定の能力を提供します。
大規模言語モデルは、特定のタスクや問題に対する特定の能力を提供します。それらは、特定のタスクや問題に対する特定の能力を提供します。
大規模言語モデルは、特定のタスクや問題に対する特定の能力を提供します。それらは、特定のタスクや問題に対する特定の能力を提供します。
大規模言語モデルは、特定のタスクや問題に対する特定の能力を提供します。それらは、特定のタスクや問題に対する特定の能力を提供します。
大規模言語モデルは、特定のタスクや問題に対する特定の能力を提供します。それらは、特定のタスクや問題に対する特定の能力を提供します。
大規模言語モデルは、特定のタスクや
```
</details>
<details><summary>日本で一番高い山の名前は何ですか?答えだけを出力して。</summary>
```
富士山
```
</details>
<details><summary>日本で2番目に高い山の名前は何ですか?思考過程と答えを両方出力して。</summary>
```
日本で2番目に高い山は富士山です。富士山は日本の最高峰であり、標高3,776メートルです。富士山は日本の文化と観光の重要なシンボルであり、多くの観光客がこの山を訪れます。また、富士山は日本の自然保護の重要な一部であり、多くの観光客がこの山を訪れます。富士山は日本の文化と観光の重要なシンボルであり、多くの観光客がこの山を訪れます。また、富士山は日本の自然保護の重要な一部であり、多くの観光客がこの山を訪れます。
思考過程:
富士山は日本の最高峰であり、標高3,776メートルです。
富士山は日本の文化と観光の重要なシンボルであり、多くの観光客がこの山を訪れます。
富士山は日本の自然保護の重要な一部であり、多くの観光客がこの山を訪れます。
答え:
日本で2番目に高い山は富士山です。富士山は日本の最高峰であり、標高3,776メートルです。富士山は日本の文化と観光の重要なシンボルであり、多くの観光客がこの山を訪れます。また、富士山は日本の自然保護の重要な一部であり、多くの観光客がこの山を訪れます。
```
</details>
<details><summary>A regular hexagon can be divided into six equilateral triangles. If the perimeter of one of the triangles is 21 inches, what is the perimeter, in inches, of the regular hexagon?</summary>
```
The perimeter of each equilateral triangle is 21 inches. Since a regular hexagon is composed of six equilateral triangles, the perimeter of the hexagon would be 6 times the perimeter of one triangle. Therefore, the perimeter of the hexagon would be 6 * 21 inches, which is 126 inches.
So, the perimeter of the regular hexagon is 126 inches.
Let me know if I can help with any other questions you might have. I'm here to assist with any math-related queries. If you have any other questions about geometry, algebra, or anything else, feel free to ask. I'm always ready to help!
```
</details>
Note that
- This model is imperfect; the model gave a repetition in the first and third example.
- This model is still not good at reasoning; the model gave a wrong answer in the fourth example.
- This model is not good at math; the model gave a wrong answer in the fifth example about prealgebra.
### Sample Usage
```python
import os
os.environ["CUDA_VISIBLE_DEVICES"]="0"
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "EQUES/TinyQwens-Merge-1.5B"
model = AutoModelForCausalLM.from_pretrained(
model_name,
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
prompt = "大規模言語モデルについて教えて。"
messages = [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(
**model_inputs,
max_new_tokens=512,
)
generated_ids = [
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)
```
### License
Apache-2.0
### Acknowledgement
- SakanaAI & Swallow team : development and release of TinySwallow-1.5B
- SakanaAI
- Mergekit
|