Update app.py

app.py

@@ -229,116 +229,6 @@ retriever = rag_loader.get_retriever(k=5)  # Reduced k for faster retrieval
 # Cache for processed questions
 question_cache = {}
 
-# prompt_template = ChatPromptTemplate.from_messages([
-#     ("system", """أنت مساعد مفيد يجيب على الأسئلة باللغة العربية باستخدام المعلومات المقدمة.
-#     استخدم المعلومات التالية للإجابة على السؤال:
-
-#     {context}
-
-#     إذا لم تكن المعلومات كافية للإجابة على السؤال بشكل كامل، قل لا أعرف.
-#     أجب بشكل دقيق.
-#     /n
-#     أذكر رقم المادة أو الفصل حسب الحالة.
-#     أذكر اسم ورقم القانون ان كان متوفرا وان لم يكن لا تذكر شيئا.
-#     """),
-#     ("human", "{question}")
-# ])
-
-# prompt_template = ChatPromptTemplate.from_messages([
-#     ("system", """Vous êtes un assistant juridique spécialisé qui:
-
-# 1. CONTEXTE ET SOURCES
-# - Base vos réponses uniquement sur le contexte fourni : {context}
-# - Cite systématiquement les références juridiques précises (article, chapitre)
-# - Mentionne le nom et numéro de la loi si disponible
-
-# 2. STRUCTURE DE RÉPONSE 
-# - Commence par la réponse directe
-# - Cite ensuite la référence juridique exacte
-# - Développe l'explication si nécessaire
-
-# 3. RÈGLES CRUCIALES
-# - Répond exclusivement en arabe
-# - Dit "Je ne peux pas répondre de façon précise" si le contexte est insuffisant
-# - Ne fait jamais d'interprétation au-delà du texte fourni
-# - Reste factuel et précis
-# - Ne cite que les informations présentes dans le contexte
-
-# 4. FORMAT
-# - Utilise des puces ou paragraphes courts pour la clarté
-# - Met en évidence les références juridiques
-# - Structure la réponse de façon hiérarchique
-# """),
-#     ("human", "{question}")
-# ])
-
-
-# prompt_template = ChatPromptTemplate.from_messages([
-#     ("system", """Vous êtes un assistant juridique expert hautement qualifié. Votre rôle est d'analyser et de répondre aux questions juridiques avec précision et nuance.:
-
-#     PROCESSUS D'ANALYSE ET DE RÉPONSE :
-    
-#     1. ANALYSE DES SOURCES
-#        - Analysez d'abord le contexte fourni : {context}
-#        - Si le contexte est insuffisant, utilisez la recherche web pour compléter
-#        - Privilégiez toujours les sources officielles et la jurisprudence récente
-#        - Vérifiez la date et la validité des informations trouvées
-    
-#     2. STRUCTURE DE RÉPONSE
-#        Organisez votre réponse selon cette hiérarchie :
-#        a) Réponse synthétique initiale (1-2 phrases)
-#        b) Base légale et références précises
-#        c) Développement détaillé
-#        d) Nuances et cas particuliers
-#        e) Sources utilisées
-#        f) Répond exclusivement en arabe
-    
-#     3. PRÉCISION JURIDIQUE
-#        - Respectez la terminologie juridique exacte
-#        - Différenciez clairement : 
-#          * Les obligations légales ("doit", "est tenu de")
-#          * Les recommandations ("peut", "il est conseillé")
-#          * Les interdictions ("ne peut pas", "est interdit")
-#        - Citez textuellement les articles pertinents
-#        - Précisez la hiérarchie des normes applicables
-    
-#     4. GESTION DE L'INCERTITUDE
-#        Si une information est :
-#        - Absente du contexte : Indiquez "Le contexte fourni ne permet pas de répondre à cet aspect"
-#        - Incomplète : Précisez "Selon les informations disponibles..."
-#        - Ambiguë : Exposez les différentes interprétations possibles
-#        - Dépassée : Mentionnez la nécessité de vérifier les mises à jour
-    
-#     5. UTILISATION DE LA RECHERCHE WEB
-#        Quand vous utilisez la recherche web :
-#        - Indiquez clairement : "Selon la recherche web complémentaire..."
-#        - chercher toujours au Maroc
-#        - Citez les sources consultées
-#        - Précisez la date de l'information
-#        - Mentionnez si l'information nécessite une vérification
-    
-#     6. LIMITATIONS ET AVERTISSEMENTS
-#        - Précisez si la réponse nécessite une consultation juridique professionnelle
-#        - Indiquez les limites de votre analyse
-#        - Signalez les évolutions législatives possibles
-#        - Mentionnez les variations juridictionnelles si pertinent
-    
-#     FORMAT DE CITATION :
-#     - Articles de loi : [Loi n°X-XX du JJ/MM/AAAA, Article XX]
-#     - Jurisprudence : [Juridiction, Date, n° de pourvoi]
-#     - Sources en ligne : [Nom de la source, Date de consultation]
-    
-#     RESTRICTIONS :
-#     - Ne pas faire d'interprétation extensive sans base légale
-#     - Ne pas donner de conseil juridique personnalisé
-#     - Ne pas spéculer sur des situations hypothétiques
-#     - Ne pas affirmer des points controversés sans mentionner les débats existants
-    
-#     Question à traiter : {question}
-#     """),
-#     ("human", "{question}")
-# ])
-
 prompt_template = ChatPromptTemplate.from_messages([
     ("system", """Vous êtes un assistant juridique expert qualifié. Analysez et répondez aux questions juridiques avec précision.
     
@@ -347,11 +237,6 @@ prompt_template = ChatPromptTemplate.from_messages([
     2. Utilisez la recherche web si la reponse n'existe pas dans le contexte
     3. Privilégiez les sources officielles et la jurisprudence récente
 
-    FORMAT DE CITATION :
-    - Articles de loi : [Loi n°X-XX du JJ/MM/AAAA, Article XX]
-    - Jurisprudence : [Juridiction, Date, n° de pourvoi]
-    - Sources en ligne : [Nom de la source, Date de consultation]
-
     Question à traiter : {question}
     """),
     ("human", "{question}")
@@ -503,117 +388,6 @@ def process_question(question: str) -> Iterator[str]:
     except Exception as e:
         yield f"Erreur lors du traitement : {str(e)}"
 
-# def process_question(question: str) -> Iterator[str]:
-#     """
-#     Process the question and return a response generator for streaming.
-#     """
-#     if question in question_cache:
-#         yield question_cache[question][0]
-#         return
-
-#     relevant_docs = retriever(question)
-#     context = "\n".join([doc.page_content for doc in relevant_docs])
-
-#     prompt = prompt_template.format_messages(
-#         context=context,
-#         question=question
-#     )
-
-#     full_response = ""
-#     try:
-#         for chunk in llm.stream(prompt):
-#             if isinstance(chunk, str):
-#                 current_chunk = chunk
-#             else:
-#                 current_chunk = chunk.content
-
-#             full_response += current_chunk
-#             yield full_response  # Send the updated response in streaming
-
-#         question_cache[question] = (full_response, context)
-#     except Exception as e:
-#         yield f"Erreur lors du traitement : {str(e)}"
-
-# def process_question(question: str) -> Iterator[str]:
-#     """
-#     Process the question and return a response generator for streaming, including sources.
-#     """
-#     if question in question_cache:
-#         yield question_cache[question][0]
-#         return
-
-#     # Récupérer les documents pertinents
-#     relevant_docs = retriever(question)
-#     context = "\n".join([doc.page_content for doc in relevant_docs])
-#     sources = [doc.metadata.get("source", "Source inconnue") for doc in relevant_docs]
-#     sources = os.path.splitext(sources[0])[0] if sources else "غير معروف"
-
-#     # Générer le prompt
-#     prompt = prompt_template.format_messages(
-#         context=context,
-#         question=question
-#     )
-
-#     full_response = ""
-#     try:
-#         # Streaming de la réponse
-#         for chunk in llm.stream(prompt):
-#             if isinstance(chunk, str):
-#                 current_chunk = chunk
-#             else:
-#                 current_chunk = chunk.content
-
-#             full_response += current_chunk
-#             yield full_response  # Envoyer la réponse mise à jour en streaming
-
-#         # Ajouter les sources à la réponse finale
-#         if sources:
-#             sources_str = "\nSources :\n" + "\n".join(f"- {source}" for source in sources)
-#             full_response += sources_str
-#             yield sources_str  # Envoyer les sources
-
-#         # Mettre en cache la réponse complète
-#         question_cache[question] = (full_response, context)
-#     except Exception as e:
-#         yield f"Erreur lors du traitement : {str(e)}"
-
-
-# def process_question(question: str) -> tuple[str, list[str]]:
-#     # Check cache first
-#     if question in question_cache:
-#         return question_cache[question]
-
-#     # Get relevant documents using the retriever
-#     relevant_docs = retriever(question)
-    
-#     # Extract the content and sources
-#     context = "\n".join(doc.page_content for doc in relevant_docs)
-#     sources = [doc.metadata["source"] for doc in relevant_docs]
-#     sources = os.path.splitext(sources[0])[0] if sources else "غير معروف"
-    
-#     # Generate the prompt with the context
-#     prompt = prompt_template.format(
-#         context=context,
-#         question=question
-#     )
-
-#     full_response = ""
-    
-#     try:
-#         for chunk in llm.stream(prompt):
-#             if isinstance(chunk, str):
-#                 current_chunk = chunk
-#             else:
-#                 current_chunk = chunk.content
-
-#             full_response += current_chunk
-#             yield full_response, sources   # Send the updated response in streaming
-
-#         question_cache[question,sources] = (full_response, context)
-#     except Exception as e:
-#         yield f"Erreur lors du traitement : {str(e)}"
-
-
 
 def gradio_stream(question: str, chat_history: list) -> Iterator[list]:
     """
@@ -631,28 +405,6 @@ def gradio_stream(question: str, chat_history: list) -> Iterator[list]:
         updated_chat = chat_history + [[question, f"Erreur : {str(e)}"]]
         yield updated_chat
 
-# def gradio_stream(question: str, chat_history: list) -> Iterator[list]:
-#     """
-#     Format the output for Gradio Chatbot component with streaming, including sources.
-#     """
-#     full_response = ""
-#     sources_str = ""
-#     try:
-#         for partial_response in process_question(question):
-#             if "Sources :" in partial_response:
-#                 # Les sources sont ajoutées à la réponse finale
-#                 sources_str = partial_response
-#                 updated_chat = chat_history + [[question, full_response + "\n" + sources_str]]
-#             else:
-#                 # Construire progressivement la réponse
-#                 full_response = partial_response
-#                 updated_chat = chat_history + [[question, full_response]]
-#             yield updated_chat
-#     except Exception as e:
-#         # Gestion des erreurs lors du streaming
-#         updated_chat = chat_history + [[question, f"Erreur : {str(e)}"]]
-#         yield updated_chat
-
 
 # Gradio interface
 with gr.Blocks(css=css) as demo:
@@ -677,412 +429,3 @@ with gr.Blocks(css=css) as demo:
     send.click(gradio_stream, [message, chatbot], chatbot)
 
 demo.launch(share=True)
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-# # def process_question(question: str):  
-# #     """  
-# #     Process the question and yield the answer progressively.  
-# #     """  
-# #     # Check cache first  
-# #     if question in question_cache:  
-# #         yield question_cache[question]  # Retourne directement depuis le cache si disponible  
-
-# #     relevant_docs = retriever(question)  
-# #     context = "\n".join([doc.page_content for doc in relevant_docs])  
-
-# #     prompt = prompt_template.format_messages(  
-# #         context=context,  
-# #         question=question  
-# #     )  
-
-# #     response = ""  # Initialise la réponse  
-# #     # Ici, nous supposons que 'llm.stream' est un générateur qui renvoie des chunks  
-# #     for chunk in llm.stream(prompt):  # suppose que llm.stream renvoie des chunks de réponse  
-# #         if isinstance(chunk, str):  
-# #             response += chunk  # Accumulez la réponse si c'est déjà une chaîne  
-# #         else:  
-# #             response += chunk.content  # Sinon, prenez le contenu du chunk (si chunk est un type d'objet spécifique)  
-
-# #         yield response, context  # Renvoie la réponse mise à jour et le contexte  
-
-# #     # Mettez le résultat en cache à la fin  
-# #     # question_cache[question] = (response, context) 
-
-# def process_question(question: str) -> Generator[Tuple[str, str], None, None]:  
-#     """  
-#     Process the question and yield the answer progressively.  
-#     """  
-#     # Check cache first  
-#     if question in question_cache:  
-#         yield question_cache[question]  
-
-#     relevant_docs = retriever(question)  
-#     context = "\n".join([doc.page_content for doc in relevant_docs])  
-
-#     prompt = prompt_template.format_messages(  
-#         context=context,  
-#         question=question  
-#     )  
-
-#     current_response = ""
-#     for chunk in llm.stream(prompt):  
-#         if isinstance(chunk, str):
-#             current_response += chunk
-#         else:
-#             current_response += chunk.content  
-#         yield current_response, context
-#     # Mettez le résultat en cache à la fin  
-#     question_cache[question] = (response, context) 
-
-# # CSS personnalisé avec l'importation de Google Fonts
-# custom_css = """
-# /* Import Google Fonts - Noto Sans Arabic */
-# @import url('https://fonts.googleapis.com/css2?family=Noto+Sans+Arabic:wght@300;400;500;600;700&display=swap');
-
-# /* Styles généraux */
-# :root {
-#     --primary-color: #4299e1;
-#     --secondary-color: #666666;
-#     --accent-color: #4299E1;
-#     --background-color: #ffffff;
-#     --border-radius: 8px;
-#     --font-family-arabic: 'Noto Sans Arabic', Arial, sans-serif;
-# }
-
-# /* Style de base */
-# body {
-#     font-family: var(--font-family-arabic);
-#     background-color: var(--background-color);
-#     color: var(--primary-color);
-# }
-
-# /* Styles pour le texte RTL */
-# .rtl-text {
-#     text-align: right !important;
-#     direction: rtl !important;
-#     font-family: var(--font-family-arabic) !important;
-# }
-
-# .rtl-text textarea {
-#     text-align: right !important;
-#     direction: rtl !important;
-#     padding: 1rem !important;
-#     border-radius: var(--border-radius) !important;
-#     border: 1px solid #E2E8F0 !important;
-#     background-color: #ffffff !important;
-#     color: var(--primary-color) !important;
-#     font-size: 1.1rem !important;
-#     line-height: 1.6 !important;
-#     font-family: var(--font-family-arabic) !important;
-# }
-
-# /* Style du titre */
-# .app-title {
-#     font-family: var(--font-family-arabic) !important;
-#     font-size: 2rem !important;
-#     font-weight: 700 !important;
-#     color: white !important; /* Texte en blanc */
-#     background-color: #3e2b1f !important; /* Fond marron foncé */
-#     margin-bottom: 1rem !important;
-#     margin-top: 1rem !important;
-#     text-align: center !important;
-# }
-
-# /* Styles des étiquettes */
-# .rtl-text label {
-#     font-family: var(--font-family-arabic) !important;
-#     font-size: 1.2rem !important;
-#     font-weight: 600 !important;
-#     color: #000000 !important; /* Couleur noire pour les étiquettes */
-#     margin-bottom: 0.5rem !important;
-# }
-
-# /* Centrer le bouton */
-# button.primary-button {
-#     font-family: var(--font-family-arabic) !important;
-#     background-color: var(--accent-color) !important;
-#     color: white !important;
-#     padding: 0.75rem 1.5rem !important;
-#     border-radius: var(--border-radius) !important;
-#     font-weight: 600 !important;
-#     font-size: 1.1rem !important;
-#     transition: all 0.3s ease !important;
-#     width: 200px !important; /* Réduit la largeur du bouton */
-#     margin: 0 auto !important; /* Centrage horizontal */
-#     display: block !important; /* Nécessaire pour que le margin auto fonctionne */
-# }
-
-
-# button.primary-button:hover {
-#     background-color: #3182CE !important;
-#     transform: translateY(-1px) !important;
-# }
-
-# /* Styles des boîtes de texte */
-# .textbox-container {
-#     background-color: #b45f06 !important;
-#     padding: 1.5rem !important;
-#     border-radius: var(--border-radius) !important;
-#     box-shadow: 0 2px 4px rgba(0, 0, 0, 0.1) !important;
-#     margin-bottom: 1rem !important;
-# }
-
-# /* Animation de chargement */
-# .loading {
-#     animation: pulse 2s infinite;
-# }
-
-# @keyframes pulse {
-#     0% { opacity: 1; }
-#     50% { opacity: 0.5; }
-#     100% { opacity: 1; }
-# }
-
-# /* Style du statut */
-# .status-text {
-#     font-family: var(--font-family-arabic) !important;
-#     text-align: center !important;
-#     color: var(--secondary-color) !important;
-#     font-size: 1rem !important;
-#     margin-top: 1rem !important;
-# }
-# """
-
-# # Interface Gradio avec streaming
-# with gr.Blocks(css=custom_css) as iface:
-#     with gr.Column(elem_classes="container"):
-#         gr.Markdown(
-#             "# نظام الأسئلة والأجوبة الذكي",
-#             elem_classes="app-title rtl-text"
-#         )
-        
-#         with gr.Column(elem_classes="textbox-container"):
-#             input_text = gr.Textbox(
-#                 label="السؤال",
-#                 placeholder="اكتب سؤالك هنا...",
-#                 lines=1,
-#                 elem_classes="rtl-text"
-#             )
-        
-#         with gr.Row():
-#             with gr.Column():
-#                 answer_box = gr.Textbox(
-#                     label="الإجابة",
-#                     lines=5,
-#                     elem_classes="rtl-text textbox-container"
-#                 )
-        
-#         submit_btn = gr.Button(
-#             "إرسال السؤال",
-#             elem_classes="primary-button",
-#             variant="primary"
-#         )
-
-#         # def stream_response(question):
-#         #     response_stream = process_question(question)
-#         #     for response, _ in response_stream:
-#         #         gr.update(value=response)
-#         #     yield response
-
-#         def stream_response(question):
-#             for chunk_response, _ in process_question(question):
-#                 yield chunk_response
-#                 time.sleep(0.05)
-
-#         submit_btn.click(
-#             fn=stream_response,
-#             inputs=input_text,
-#             outputs=answer_box,
-#             api_name="predict",
-#             queue=False
-#         )
-
-# if __name__ == "__main__":
-#     iface.launch(
-#         share=True,
-#         server_name="0.0.0.0",
-#         server_port=7860,
-#         max_threads=3,
-#         show_error=True
-#     )
-
-# # # Interface Gradio avec la correction
-# # with gr.Blocks(css=custom_css) as iface:
-# #     with gr.Column(elem_classes="container"):
-# #         gr.Markdown(
-# #             "# نظام الأسئلة والأجوبة الذكي",
-# #             elem_classes="app-title rtl-text"
-# #         )
-        
-# #         with gr.Column(elem_classes="textbox-container"):
-# #             input_text = gr.Textbox(
-# #                 label="السؤال",
-# #                 placeholder="اكتب سؤالك هنا...",
-# #                 lines=1,
-# #                 elem_classes="rtl-text"
-# #             )
-        
-# #         with gr.Row():
-# #             with gr.Column():
-# #                 answer_box = gr.Textbox(
-# #                     label="الإجابة",
-# #                     lines=5,
-# #                     elem_classes="rtl-text textbox-container"
-# #                 )
-# #             # with gr.Column(scale=1):
-# #             #     context_box = gr.Textbox(
-# #             #         label="السياق المستخدم",
-# #             #         lines=4,
-# #             #         elem_classes="rtl-text textbox-container"
-# #             #     )
-        
-# #         submit_btn = gr.Button(
-# #             "إرسال السؤال",
-# #             elem_classes="primary-button",
-# #             variant="primary"
-# #         )
-       
-
-# #         def on_submit(question):
-# #             for response, context in process_question(question):
-# #                 yield response  # Yield À CHAQUE itération
-
-        
-# #         submit_btn.click(
-# #             fn=on_submit,
-# #             inputs=input_text,
-# #             outputs=answer_box,
-# #             api_name="predict",
-# #             queue=False,
-# # )
-
-
-# # if __name__ == "__main__":
-# #     iface.launch(
-# #         share=True,
-# #         server_name="0.0.0.0",
-# #         server_port=7860,
-# #         max_threads=3,
-# #         show_error=True,
-# #     )
-
-# # def process_question(question: str):  
-# #     """  
-# #     Process the question and yield the answer progressively.  
-# #     """  
-# #     # Check cache first  
-# #     if question in question_cache:  
-# #         yield question_cache[question]  # Retourne directement depuis le cache si disponible  
-
-# #     relevant_docs = retriever(question)  
-# #     context = "\n".join([doc.page_content for doc in relevant_docs])  
-
-# #     prompt = prompt_template.format_messages(  
-# #         context=context,  
-# #         question=question  
-# #     )  
-
-# #     response = ""  # Initialise la réponse  
-# #     # Ici, nous supposons que 'llm.stream' est un générateur qui renvoie des chunks  
-# #     for chunk in llm.stream(prompt):  # suppose que llm.stream renvoie des chunks de réponse  
-# #         if isinstance(chunk, str):  
-# #             response += chunk  # Accumulez la réponse si c'est déjà une chaîne  
-# #         else:  
-# #             response += chunk.content  # Sinon, prenez le contenu du chunk (si chunk est un type d'objet spécifique)  
-
-# #         yield response, context  # Renvoie la réponse mise à jour et le contexte  
-
-# #     # Mettez le résultat en cache à la fin  
-# #     question_cache[question] = (response, context)   
-
-# # # Custom CSS for right-aligned text in textboxes  
-# # custom_css = """  
-# # .rtl-text {  
-# #     text-align: right !important;  
-# #     direction: rtl !important;  
-# # }  
-# # .rtl-text textarea {  
-# #     text-align: right !important;  
-# #     direction: rtl !important;  
-# # }  
-# # """  
-
-# # # Gradio interface with queue  
-# # with gr.Blocks(css=custom_css) as iface:  
-# #     with gr.Column():  
-# #         input_text = gr.Textbox(  
-# #             label="السؤال",  
-# #             placeholder="اكتب سؤالك هنا...",  
-# #             lines=2,  
-# #             elem_classes="rtl-text"  
-# #         )  
-        
-# #         with gr.Row():  
-# #             answer_box = gr.Textbox(  
-# #                 label="الإجابة",  
-# #                 lines=4,  
-# #                 elem_classes="rtl-text"  
-# #             )  
-# #             context_box = gr.Textbox(  
-# #                 label="السياق المستخدم",  
-# #                 lines=8,  
-# #                 elem_classes="rtl-text"  
-# #             )  
-        
-# #         submit_btn = gr.Button("إرسال")  
-        
-# #         submit_btn.click(  
-# #             fn=process_question,  
-# #             inputs=input_text,  
-# #             outputs=[answer_box, context_box],  
-# #             api_name="predict",  
-# #             queue=True  # Utiliser le système de queue pour un traitement asynchrone  
-# #         )  
-
-# # if __name__ == "__main__":  
-# #     iface.launch(  
-# #         share=True,  
-# #         server_name="0.0.0.0",  
-# #         server_port=7860,  
-# #         max_threads=3,  # Controls concurrency  
-# #         show_error=True  
-# #     )
-
-
-
-# # def process_question(question: str):  
-# #     """  
-# #     Process the question and return the answer and context
-# #     """  
-# #     # Check cache first  
-# #     if question in question_cache:  
-# #         return question_cache[question], ""  # Retourne la réponse cachée et un statut vide
-# #     relevant_docs = retriever(question)  
-# #     context = "\n".join([doc.page_content for doc in relevant_docs])  
-# #     prompt = prompt_template.format_messages(  
-# #         context=context,  
-# #         question=question  
-# #         )  
-# #     response = ""
-# #     for chunk in llm.stream(prompt):
-# #         if isinstance(chunk, str):  
-# #             response += chunk
-# #         else:  
-# #             response += chunk.content
-# #     # Mettez le résultat en cache à la fin  
-# #     question_cache[question] = (response, context)  
-# #     return response, context
-