Update app.py

app.py

@@ -24,7 +24,20 @@ from chromadb.config import Settings
 from llama_cpp import Llama
 
 
-SYSTEM_PROMPT = "Ты — Сайга, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им. В своих ответах отдавай приоритет информации в контексте, а не своим знаниям. Если информации не нашлось, отправь контекст"
+#SYSTEM_PROMPT = "Ты — Сайга, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им. В своих ответах отдавай приоритет информации в контексте, а не своим знаниям. Если информации не нашлось, отправь контекст"
+SYSTEM_TOKEN = """Ты - полезный, уважительный и честный ассистент.
+                  Всегда отвечай как можно более надежно.
+                  В ответах не должно информации из твоей базы знаний, а только лишь информация из контекста и ее перефразирование.
+
+                  Если вопрос не имеет смысла или не является фактологически последовательным, объясни
+                  почему, а не отвечайте на вопрос некорректно. Если ты не знаешь ответа 
+                  на вопрос, пожалуйста, не сообщай ложную информацию.
+
+                  Твоя цель - дать ответы, связанные с базой знаний компании.
+               """
+
+Your goal is to provide answers relating to the financial performance of 
+the company.
 SYSTEM_TOKEN = 1788
 USER_TOKEN = 1404
 BOT_TOKEN = 9225
@@ -57,10 +70,8 @@ LOADER_MAPPING = {
 #model_name = "ggml-model-q4_1.bin"
 #embedder_name = "sentence-transformers/paraphrase-multilingual-mpnet-base-v2"
 
-#repo_name = "IlyaGusev/saiga2_13b_gguf"
-#model_name = "ggml-model-q4_K.gguf"
-repo_name = "TheBloke/Llama-2-7b-Chat-GGUF"
-model_name = "llama-2-7b-chat.Q4_K_M.gguf"
+repo_name = "IlyaGusev/saiga2_13b_gguf"
+model_name = "ggml-model-q4_K.gguf"
 
 #repo_name = "IlyaGusev/saiga2_7b_gguf"
 #model_name = "ggml-model-q4_K.gguf"
@@ -184,7 +195,7 @@ def bot(
 
     last_user_message = history[-1][0]
     if retrieved_docs:
-        last_user_message = f"Контекст: {retrieved_docs}\n\nИспользуя контекст, ответь на вопрос: {last_user_message}. Не отвечай на вопрос информацией из собственных знаний."
+        last_user_message = f"Контекст: {retrieved_docs}\n\nИспользуя контекст, ответь на вопрос: {last_user_message}. Не используй свои знания при ответе на вопрос."
     message_tokens = get_message_tokens(model=model, role="user", content=last_user_message)
     tokens.extend(message_tokens)