Update app.py
Browse files
app.py
CHANGED
@@ -24,7 +24,7 @@ llm = Llama(
|
|
24 |
filename="capybarahermes-2.5-mistral-7b.Q2_K.gguf",
|
25 |
),
|
26 |
n_ctx=2048,
|
27 |
-
n_gpu_layers=50, # Ajustez selon votre VRAM
|
28 |
)
|
29 |
|
30 |
# Initialisation de ChromaDB Vector Store
|
|
|
24 |
filename="capybarahermes-2.5-mistral-7b.Q2_K.gguf",
|
25 |
),
|
26 |
n_ctx=2048,
|
27 |
+
#n_gpu_layers=50, # Ajustez selon votre VRAM
|
28 |
)
|
29 |
|
30 |
# Initialisation de ChromaDB Vector Store
|