Aleksandr Maiorov commited on
Commit
1b071a4
·
1 Parent(s): 3108f29

- откат 2

Files changed (1) hide show
  1. app.py +4 -4
app.py CHANGED
@@ -6,7 +6,7 @@ from llama_cpp import Llama
6
  app = FastAPI()
7
 
8
  CHAT_TEMPLATE = '<|system|> {system_prompt}<|end|><|user|> {prompt}<|end|><|assistant|>'.strip()
9
- SYSTEM_PROMPT = ''
10
 
11
  logging.basicConfig(
12
  format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
@@ -63,7 +63,7 @@ def create_prompt(text: str) -> Union[str, None]:
63
 
64
  # Генерация шаблона
65
  return CHAT_TEMPLATE.format(
66
- system_prompt=SYSTEM_PROMPT or 'Ответ должен быть точным, кратким и с юмором.',
67
  prompt=user_input,
68
  )
69
  except Exception as e:
@@ -103,8 +103,8 @@ async def set_system_prompt(text: str):
103
  # Генерация ответа с помощью модели
104
  logger.info('post/system-prompt')
105
  global SYSTEM_PROMPT
106
- SYSTEM_PROMPT = text
107
-
108
 
109
  @app.post("/predict")
110
  async def predict(text: str):
 
6
  app = FastAPI()
7
 
8
  CHAT_TEMPLATE = '<|system|> {system_prompt}<|end|><|user|> {prompt}<|end|><|assistant|>'.strip()
9
+ SYSTEM_PROMPT = '{prompt}'
10
 
11
  logging.basicConfig(
12
  format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
 
63
 
64
  # Генерация шаблона
65
  return CHAT_TEMPLATE.format(
66
+ system_prompt=SYSTEM_PROMPT.format(promt='Ответ должен быть точным, кратким и с юмором.'),
67
  prompt=user_input,
68
  )
69
  except Exception as e:
 
103
  # Генерация ответа с помощью модели
104
  logger.info('post/system-prompt')
105
  global SYSTEM_PROMPT
106
+ SYSTEM_PROMPT = SYSTEM_PROMPT.format(promt=text)
107
+ return {"set": 'ok'}
108
 
109
  @app.post("/predict")
110
  async def predict(text: str):