v0.6.2 - просто апи для генерации текста

app.py

@@ -42,10 +42,9 @@ try:
     LLM = Llama.from_pretrained(
         repo_id=REPO_ID,
         filename='Vikhr-Qwen-2.5-1.5b-Instruct-Q8_0.gguf',
-        n_threads=2,
-        n_batch=512,
+        n_threads=4,
         n_gpu_layers=-1,
-        n_ctx=4096,
+        n_ctx=1512,
         temperature=0.3,
         num_return_sequences=1,
         no_repeat_ngram_size=2,