Update app.py

app.py

@@ -16,6 +16,8 @@ from sentence_transformers import SentenceTransformer
 import threading
 from queue import Queue
 import concurrent.futures
+from typing import Generator, Tuple
+import time
 
 class OptimizedRAGLoader:
     def __init__(self,
@@ -230,13 +232,42 @@ prompt_template = ChatPromptTemplate.from_messages([
 ])
 
 
-def process_question(question: str):  
+# def process_question(question: str):  
+#     """  
+#     Process the question and yield the answer progressively.  
+#     """  
+#     # Check cache first  
+#     if question in question_cache:  
+#         yield question_cache[question]  # Retourne directement depuis le cache si disponible  
+
+#     relevant_docs = retriever(question)  
+#     context = "\n".join([doc.page_content for doc in relevant_docs])  
+
+#     prompt = prompt_template.format_messages(  
+#         context=context,  
+#         question=question  
+#     )  
+
+#     response = ""  # Initialise la réponse  
+#     # Ici, nous supposons que 'llm.stream' est un générateur qui renvoie des chunks  
+#     for chunk in llm.stream(prompt):  # suppose que llm.stream renvoie des chunks de réponse  
+#         if isinstance(chunk, str):  
+#             response += chunk  # Accumulez la réponse si c'est déjà une chaîne  
+#         else:  
+#             response += chunk.content  # Sinon, prenez le contenu du chunk (si chunk est un type d'objet spécifique)  
+
+#         yield response, context  # Renvoie la réponse mise à jour et le contexte  
+
+#     # Mettez le résultat en cache à la fin  
+#     # question_cache[question] = (response, context) 
+
+def process_question(question: str) -> Generator[Tuple[str, str], None, None]:  
     """  
     Process the question and yield the answer progressively.  
     """  
     # Check cache first  
     if question in question_cache:  
-        yield question_cache[question]  # Retourne directement depuis le cache si disponible  
+        yield question_cache[question]  
 
     relevant_docs = retriever(question)  
     context = "\n".join([doc.page_content for doc in relevant_docs])  
@@ -246,18 +277,13 @@ def process_question(question: str):
         question=question  
     )  
 
-    response = ""  # Initialise la réponse  
-    # Ici, nous supposons que 'llm.stream' est un générateur qui renvoie des chunks  
-    for chunk in llm.stream(prompt):  # suppose que llm.stream renvoie des chunks de réponse  
-        if isinstance(chunk, str):  
-            response += chunk  # Accumulez la réponse si c'est déjà une chaîne  
-        else:  
-            response += chunk.content  # Sinon, prenez le contenu du chunk (si chunk est un type d'objet spécifique)  
-
-        yield response, context  # Renvoie la réponse mise à jour et le contexte  
-
-    # Mettez le résultat en cache à la fin  
-    # question_cache[question] = (response, context) 
+    current_response = ""
+    for chunk in llm.stream(prompt):  
+        if isinstance(chunk, str):
+            current_response += chunk
+        else:
+            current_response += chunk.content  
+        yield current_response, context
 
 # CSS personnalisé avec l'importation de Google Fonts
 custom_css = """