fixes

app.py

@@ -18,6 +18,13 @@ BOT_TOKEN = 9225
 LINEBREAK_TOKEN = 13
 
 
+ROLE_TOKENS = {
+    "user": USER_TOKEN,
+    "bot": BOT_TOKEN,
+    "system": SYSTEM_TOKEN
+}
+
+
 def get_message_tokens(model, role, content):
     message_tokens = model.tokenize(content.encode("utf-8"))
     message_tokens.insert(1, ROLE_TOKENS[role])
@@ -67,8 +74,6 @@ def bot(
             tokens.extend(message_tokens)
 
     last_user_message = history[-1][0]
-    if retrieved_docs:
-        last_user_message = f"Контекст: {retrieved_docs}\n\nИспользуя контекст, ответь на вопрос: {last_user_message}"
     message_tokens = get_message_tokens(model=model, role="user", content=last_user_message)
     tokens.extend(message_tokens)
 
@@ -96,12 +101,12 @@ with gr.Blocks(
     favicon = '<img src="https://cdn.midjourney.com/b88e5beb-6324-4820-8504-a1a37a9ba36d/0_1.png" width="48px" style="display: inline">'
     gr.Markdown(
         f"""<h1><center>{favicon}Saiga2 13B</center></h1>
-        
+
         This is a demo of a **Russian**-speaking LLaMA2-based model. If you are interested in other languages, please check other models, such as [MPT-7B-Chat](https://huggingface.co/spaces/mosaicml/mpt-7b-chat).
-        
-        Это демонстрационная версия версии [Сайги-2 с 13 миллиардами параметров](https://huggingface.co/IlyaGusev/saiga_13b_lora).
-        
-        Сайга — это разговорная языковая модель, которая основана на [LLaMA](https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/) и дообучена на корпусах, сгенерированных ChatGPT, таких как [ru_turbo_alpaca](https://huggingface.co/datasets/IlyaGusev/ru_turbo_alpaca), [ru_turbo_saiga](https://huggingface.co/datasets/IlyaGusev/ru_turbo_saiga) и [gpt_roleplay_realm](https://huggingface.co/datasets/IlyaGusev/gpt_roleplay_realm).
+
+        Это демонстрационная версия [квантованной Сайги-2 с 13 миллиардами параметров](https://huggingface.co/IlyaGusev/saiga2_13b_ggml), работающая на CPU.
+
+        Сайга-2 — это разговорная языковая модель, которая основана на [LLaMA-2](https://ai.meta.com/llama/) и дообучена на корпусах, сгенерированных ChatGPT, таких как [ru_turbo_alpaca](https://huggingface.co/datasets/IlyaGusev/ru_turbo_alpaca), [ru_turbo_saiga](https://huggingface.co/datasets/IlyaGusev/ru_turbo_saiga) и [gpt_roleplay_realm](https://huggingface.co/datasets/IlyaGusev/gpt_roleplay_realm).
         """
     )
     with gr.Row():
@@ -150,7 +155,7 @@ with gr.Blocks(
         gr.Markdown(
             """ПРЕДУПРЕЖДЕНИЕ: Модель может генерировать фактически или этически некорректные тексты. Мы не несём за это ответственность."""
         )
-                
+
     # Pressing Enter
     submit_event = msg.submit(
         fn=user,
@@ -202,4 +207,4 @@ with gr.Blocks(
     clear.click(lambda: None, None, chatbot, queue=False)
 
 demo.queue(max_size=128, concurrency_count=1)
-demo.launch()
+demo.launch(share=True)