Spaces:
Sleeping
Sleeping
Aleksandr Maiorov
commited on
Commit
·
1b071a4
1
Parent(s):
3108f29
v0.2.0
Browse files- откат 2
app.py
CHANGED
@@ -6,7 +6,7 @@ from llama_cpp import Llama
|
|
6 |
app = FastAPI()
|
7 |
|
8 |
CHAT_TEMPLATE = '<|system|> {system_prompt}<|end|><|user|> {prompt}<|end|><|assistant|>'.strip()
|
9 |
-
SYSTEM_PROMPT = ''
|
10 |
|
11 |
logging.basicConfig(
|
12 |
format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
|
@@ -63,7 +63,7 @@ def create_prompt(text: str) -> Union[str, None]:
|
|
63 |
|
64 |
# Генерация шаблона
|
65 |
return CHAT_TEMPLATE.format(
|
66 |
-
system_prompt=SYSTEM_PROMPT
|
67 |
prompt=user_input,
|
68 |
)
|
69 |
except Exception as e:
|
@@ -103,8 +103,8 @@ async def set_system_prompt(text: str):
|
|
103 |
# Генерация ответа с помощью модели
|
104 |
logger.info('post/system-prompt')
|
105 |
global SYSTEM_PROMPT
|
106 |
-
SYSTEM_PROMPT = text
|
107 |
-
|
108 |
|
109 |
@app.post("/predict")
|
110 |
async def predict(text: str):
|
|
|
6 |
app = FastAPI()
|
7 |
|
8 |
CHAT_TEMPLATE = '<|system|> {system_prompt}<|end|><|user|> {prompt}<|end|><|assistant|>'.strip()
|
9 |
+
SYSTEM_PROMPT = '{prompt}'
|
10 |
|
11 |
logging.basicConfig(
|
12 |
format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
|
|
|
63 |
|
64 |
# Генерация шаблона
|
65 |
return CHAT_TEMPLATE.format(
|
66 |
+
system_prompt=SYSTEM_PROMPT.format(promt='Ответ должен быть точным, кратким и с юмором.'),
|
67 |
prompt=user_input,
|
68 |
)
|
69 |
except Exception as e:
|
|
|
103 |
# Генерация ответа с помощью модели
|
104 |
logger.info('post/system-prompt')
|
105 |
global SYSTEM_PROMPT
|
106 |
+
SYSTEM_PROMPT = SYSTEM_PROMPT.format(promt=text)
|
107 |
+
return {"set": 'ok'}
|
108 |
|
109 |
@app.post("/predict")
|
110 |
async def predict(text: str):
|