v0.6.2 - просто апи для генерации текста

app.py

@@ -42,9 +42,8 @@ try:
     LLM = Llama.from_pretrained(
         repo_id=REPO_ID,
         filename='Vikhr-Qwen-2.5-1.5b-Instruct-Q8_0.gguf',
-        n_threads=4,
         n_gpu_layers=-1,
-        n_ctx=1512,
+        n_ctx=512,
         temperature=0.3,
         num_return_sequences=1,
         no_repeat_ngram_size=2,