---
license: apache-2.0
language:
- en
- ja
datasets:
- izumi-lab/wikipedia-ja-20230720
base_model:
- smorce/Qwen2.5-Coder-32B-Instruct-karakuri-thinking-slerp
library_name: transformers
---

# karakuri-lm-32b-thinking-2501-exp-AWQ
[カラクリ様が公開されている karakuri-lm-32b-thinking-2501-exp](https://huggingface.co/karakuri-ai/karakuri-lm-32b-thinking-2501-exp) と [Qwenチームが公開されている Qwen2.5-Coder-32B-Instruct](https://huggingface.co/Qwen/Qwen2.5-Coder-32B-Instruct) をマージし、それを AWQ 4bit で量子化したモデルになります。

キャリブレーション用データセットは [izumi-lab/wikipedia-ja-20230720](https://huggingface.co/datasets/izumi-lab/wikipedia-ja-20230720) を使用しました。<br>
※TFMC/imatrix-dataset-for-japanese-llm ではございません。

量子化前のモデルとマージ設定は以下の通りです:<br>
[Qwen2.5-Coder-32B-Instruct-karakuri-thinking-slerp](https://huggingface.co/smorce/Qwen2.5-Coder-32B-Instruct-karakuri-thinking-slerp)

## 作成意図
日本語のReasoningモデルにコーディング能力を付与する目的で作成しました。

## 量子化の設定

```
quant_config = {
  "zero_point": True,
  "q_group_size": 128,
  "w_bit": 4,
  "version": "GEMM"
}
```

このモデルは崩壊してしまい、失敗でした。