|
--- |
|
library_name: transformers |
|
license: other |
|
language: |
|
- ja |
|
pipeline_tag: text-generation |
|
tags: |
|
- glm |
|
- chatglm |
|
- thudm |
|
--- |
|
|
|
# 概要 |
|
GLM-4-9B-Chatを、日本語のWikiデータを選定し、追加学習した日本語に非常に強いスコアを出したモデルです。 |
|
Elyza-Tasksにおいては、GPT-4oによる評価結果に基づくと、GPT3.5Turboを超えるスコアを出す結果となりました。 |
|
最終的には、名前を変更するかもしれませんが、まだ開発途上の為、v0.3としています。 |
|
|
|
|
|
## Model Details |
|
Wikiデータを会話調・Instruction長に修正したDatasetにて、LoRAによる微調整を行っています。 |
|
|
|
## Score |
|
ElyzaTasksをGPT-4oにより自動評価結果においても、GPT-3.5Turboを上回る結果で、10Bを下回るクラスでは非常に高いスコアとなっています。 |
|
 |
|
|
|
### How to use |
|
```python |
|
import torch |
|
from transformers import AutoModelForCausalLM, AutoTokenizer |
|
|
|
device = "cuda" |
|
|
|
tokenizer = AutoTokenizer.from_pretrained("HODACHI/glm-4-9b-chat-FT-ja-v0.3", trust_remote_code=True) |
|
|
|
prompt = f""" |
|
リンゴとバナナはどのように似ていますか？ |
|
""" |
|
query = "あなたは優秀なアシスタントです。質問を熟考して正確に答えるようにしてください。\n\n" + prompt |
|
|
|
inputs = tokenizer.apply_chat_template([{"role": "user", "content": query}], |
|
add_generation_prompt=True, |
|
tokenize=True, |
|
return_tensors="pt", |
|
return_dict=True |
|
) |
|
|
|
inputs = inputs.to(device) |
|
model = AutoModelForCausalLM.from_pretrained( |
|
"HODACHI/glm-4-9b-chat-FT-ja-v0.3", |
|
torch_dtype=torch.bfloat16, |
|
low_cpu_mem_usage=True, |
|
trust_remote_code=True |
|
).to(device).eval() |
|
|
|
gen_kwargs = {"max_length": 2500, "do_sample": True, "top_k": 1} |
|
with torch.no_grad(): |
|
outputs = model.generate(**inputs, **gen_kwargs) |
|
outputs = outputs[:, inputs['input_ids'].shape[1]:] |
|
print(tokenizer.decode(outputs[0], skip_special_tokens=True)) |
|
``` |
|
|
|
LICENSE |
|
利用に際しては、GLM-4のライセンス及び、利用規約に準拠する必要があります。 |
|
[!License](https://huggingface.co/THUDM/glm-4-9b-chat/blob/main/LICENSE) |
|
[!ReadMe](https://huggingface.co/THUDM/glm-4-9b-chat/blob/main/README_en.md) |
