update

app.py

@@ -24,6 +24,7 @@ if torch.cuda.is_available():
     model_id = "vericava/llm-jp-3-1.8b-instruct-lora-vericava7-llama"
     base_model_id = "llm-jp/llm-jp-3-1.8b-instruct"
     tokenizer = AutoTokenizer.from_pretrained(base_model_id, trust_remote_code=True)
+    tokenizer.chat_template = "{{bos_token}}{% for message in messages %}{% if message['role'] == 'user' %}{{ '\\n\\n### 前の投稿:\\n' + message['content'] + '' }}{% elif message['role'] == 'system' %}{{ '以下は、SNS上の投稿です。あなたはSNSの投稿生成botとして、次に続く投稿を考えなさい。説明はせず、投稿の内容のみを鉤括弧をつけずに答えよ。' }}{% elif message['role'] == 'assistant' %}{{ '\\n\\n### 次の投稿:\\n' + message['content'] + eos_token }}{% endif %}{% if loop.last and add_generation_prompt %}{{ '\\n\\n### 次の投稿:\\n' }}{% endif %}{% endfor %}"
     base_model = AutoModelForCausalLM.from_pretrained(
         base_model_id,
         trust_remote_code=True,
@@ -34,7 +35,6 @@ if torch.cuda.is_available():
         model=model,
         tokenizer=tokenizer,
     )
-    my_pipeline.tokenizer.chat_template = "{{bos_token}}{% for message in messages %}{% if message['role'] == 'user' %}{{ '\\n\\n### 前の投稿:\\n' + message['content'] + '' }}{% elif message['role'] == 'system' %}{{ '以下は、SNS上の投稿です。あなたはSNSの投稿生成botとして、次に続く投稿を考えなさい。説明はせず、投稿の内容のみを鉤括弧をつけずに答えよ。' }}{% elif message['role'] == 'assistant' %}{{ '\\n\\n### 次の投稿:\\n' + message['content'] + eos_token }}{% endif %}{% if loop.last and add_generation_prompt %}{{ '\\n\\n### 次の投稿:\\n' }}{% endif %}{% endfor %}"
 
 @spaces.GPU
 @torch.inference_mode()
@@ -52,8 +52,9 @@ def generate(
         {"role": "user", "content": message},
     ]
 
+    t = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
     output = my_pipeline(
-        messages,
+        t,
     )[-1]["generated_text"][-1]["content"]
     yield output