Update app.py

app.py

@@ -24,7 +24,7 @@ from chromadb.config import Settings
 from llama_cpp import Llama
 
 
-SYSTEM_PROMPT = "Ты — Сайга, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им. Если ты не уверен в своем ответе или запрашиваемая информация отсутвует в документах, ответь что ты не знаешь ответа на вопрос"
+SYSTEM_PROMPT = "Ты — Сайга, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им. В своих ответах отдавай приоритет информации в контексте, а не своим знаниям. Если информации в контексте нет или ты не уверен в ответе, напиши \"информации нет\""
 SYSTEM_TOKEN = 1788
 USER_TOKEN = 1404
 BOT_TOKEN = 9225
@@ -52,19 +52,22 @@ LOADER_MAPPING = {
     ".txt": (TextLoader, {"encoding": "utf8"}),
 }
 
-"""
-repo_name = "IlyaGusev/saiga2_13b_ggml"
-model_name = "ggml-model-q4_1.bin"
-embedder_name = "sentence-transformers/paraphrase-multilingual-mpnet-base-v2"
-"""
 
-repo_name = "IlyaGusev/saiga2_13b_gguf"
-model_name = "ggml-model-q4_K.gguf"
+#repo_name = "IlyaGusev/saiga2_13b_ggml"
+#model_name = "ggml-model-q4_1.bin"
+#embedder_name = "sentence-transformers/paraphrase-multilingual-mpnet-base-v2"
+
+#repo_name = "IlyaGusev/saiga2_13b_gguf"
+#model_name = "ggml-model-q4_K.gguf"
+
+repo_name = "IlyaGusev/saiga2_7b_gguf"
+model_name = "ggml-model-q2_K.gguf"
+embedder_name = "sentence-transformers/multi-qa-MiniLM-L6-cos-v1"
 
 #repo_name = "IlyaGusev/saiga_13b_lora_llamacpp"
 #model_name = "ggml-model-q4_1.bin"
 #embedder_name = "sentence-transformers/paraphrase-multilingual-mpnet-base-v2"
-embedder_name = "sentence-transformers/multi-qa-MiniLM-L6-cos-v1"
+
 
 snapshot_download(repo_id=repo_name, local_dir=".", allow_patterns=model_name)
 
@@ -179,7 +182,7 @@ def bot(
 
     last_user_message = history[-1][0]
     if retrieved_docs:
-        last_user_message = f"Контекст: {retrieved_docs}\n\nИспользуя контекст, ответь на вопрос: {last_user_message}"
+        last_user_message = f"Контекст: {retrieved_docs}\n\nИспользуя контекст, ответь на вопрос: {last_user_message} Не отвечай на вопрос информацией из собственных знаний."
     message_tokens = get_message_tokens(model=model, role="user", content=last_user_message)
     tokens.extend(message_tokens)