Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
@@ -12,12 +12,12 @@ def train_and_deploy(write_token, repo_name, license_text):
|
|
12 |
f.write(license_text)
|
13 |
|
14 |
# モデルとトークナイザーの読み込み
|
15 |
-
model_name = "
|
16 |
model = AutoModelForCausalLM.from_pretrained(model_name)
|
17 |
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
18 |
|
19 |
# 日本語データセットの読み込み
|
20 |
-
dataset = load_dataset("
|
21 |
|
22 |
# データセットのトークン化
|
23 |
def tokenize_function(examples):
|
|
|
12 |
f.write(license_text)
|
13 |
|
14 |
# モデルとトークナイザーの読み込み
|
15 |
+
model_name = "Sakalti/iturkaAI-large" # トレーニング対象のモデル
|
16 |
model = AutoModelForCausalLM.from_pretrained(model_name)
|
17 |
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
18 |
|
19 |
# 日本語データセットの読み込み
|
20 |
+
dataset = load_dataset("range3/cc100-ja")
|
21 |
|
22 |
# データセットのトークン化
|
23 |
def tokenize_function(examples):
|