Update app.py

app.py

@@ -1,6 +1,5 @@
 from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer
 import gradio as gr
-import spaces
 import torch
 import re
 from threading import Thread
@@ -9,6 +8,7 @@ from datetime import datetime
 from huggingface_hub import HfApi, hf_hub_download
 import json
 import os
+import spaces
 
 model_name = "Woziii/llama-3-8b-chat-me"
 model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto", torch_dtype=torch.float16)
@@ -18,7 +18,6 @@ MAX_MAX_NEW_TOKENS = 250
 DEFAULT_MAX_NEW_TOKENS = 70
 MAX_INPUT_TOKEN_LENGTH = 2048
 
-
 LUCAS_KNOWLEDGE_BASE = """
 Tu es la version virtuelle de Lucas, créé pour simuler la personnalité et le style d'écriture de Lucas. Utilise les informations fournies sur Lucas pour répondre de manière précise et cohérente :
 ### Lucas la version réelle :
@@ -42,89 +41,31 @@ Je crois fermement en l'autodidaxie et considère la capacité à communiquer av
 ### Projets :
 Utilisant le Large Langage Model d'Anthropic, BraIAn est un correspondant virtuel conçu pour améliorer votre anglais écrit en vous corrigeant pendant que vous discutez, sans interrompre la conversation. L'idée ? Perfectionner votre anglais de manière naturelle, en discutant tout simplement… 💬
 BraIAn est là pour discuter, sans vous juger ni chercher à en savoir plus sur vous. Vous pouvez lui dire ce que vous voulez et être qui vous voulez. 🙌
-Pourquoi j'ai créé braIAn : J'ai conçu BraIAn pour aider l'utilisateur à reprendre confiance en lui. Il corrige votre anglais sans interrompre votre conversation et cherche constamment à l'alimenter. Ainsi, l'utilisateur travaille et améliore son anglais tout en discutant de ce qu’il souhaite. Cette idée je l'ai eu, car, durant ma scolarité, j'ai eu beaucoup de mal avec la méthode scolaire.
+Pourquoi j'ai créé braIAn : J'ai conçu BraIAn pour aider l'utilisateur à reprendre confiance en lui. Il corrige votre anglais sans interrompre votre conversation et cherche constamment à l'alimenter. Ainsi, l'utilisateur travaille et améliore son anglais tout en discutant de ce qu'il souhaite. Cette idée je l'ai eu, car, durant ma scolarité, j'ai eu beaucoup de mal avec la méthode scolaire.
 Pour moi, une bonne IA éducative ne doit pas chercher à enseigner. Cette tâche nécessite des qualités humaines telles que l'empathie ou l'imagination. En revanche l'IA peut aider l'utilisateur à trouver sa méthode d'apprentissage. Elle doit être considérée comme un vivier d'idées et d'informations mis à disposition de l'humain. En créant braIAn, j'ai cherché à reproduire cette philosophie. Une IA qui ne fait pas apprendre l'anglais mais une IA qui discute avec l'utilisateur et qui, discrètement, apporte une correction sans détériorer ce qui compte vraiment : ne pas avoir peur d'essayer et converser.
 """
 
 is_first_interaction = True
 
 def determine_response_type(message):
-# Liste améliorée de mots-clés pour les réponses courtes
     short_response_keywords = [
-        "salut", "Salut", "SALUT",
-        "bonjour", "Bonjour", "BONJOUR",
-        "ça va", "ca va", "Ça va", "Ca va", "ÇA VA", "CA VA",
-        "comment tu vas", "Comment tu vas", "COMMENT TU VAS",
-        "comment vas tu", "Comment vas tu", "COMMENT VAS TU",
-        "comment vas-tu", "Comment vas-tu", "COMMENT VAS-TU",
-        "quoi de neuf", "Quoi de neuf", "QUOI DE NEUF",
-        "coucou", "Coucou", "COUCOU",
-        "hello", "Hello", "HELLO",
-        "hi", "Hi", "HI",
-        "tu fais quoi", "Tu fais quoi", "TU FAIS QUOI",
-        "?!", "?!?", "!?",
-        "bye", "Bye", "BYE",
-        "au revoir", "Au revoir", "AU REVOIR",
-        "à plus", "À plus", "A plus", "a plus", "À PLUS", "A PLUS",
-        "bonsoir", "Bonsoir", "BONSOIR",
-        "merci", "Merci", "MERCI",
-        "d'accord", "D'accord", "D'ACCORD",
-        "ok", "Ok", "OK",
-        "super", "Super", "SUPER",
-        "cool", "Cool", "COOL",
-        "génial", "Génial", "GENIAL",
-        "wow", "Wow", "WOW"
+        "salut", "bonjour", "ça va", "comment tu vas", "quoi de neuf", "coucou", "hello", "hi",
+        "tu fais quoi", "?!", "bye", "au revoir", "à plus", "bonsoir", "merci", "d'accord", "ok",
+        "super", "cool", "génial", "wow"
     ]
-
-    # Liste améliorée de mots-clés pour les réponses longues
     long_response_keywords = [
-        "présente", "Présente", "PRÉSENTE", "presente", "Presente", "PRESENTE",
-        "parle moi de", "Parle moi de", "PARLE MOI DE",
-        "parle-moi de", "Parle-moi de", "PARLE-MOI DE",
-        "explique", "Explique", "EXPLIQUE",
-        "raconte", "Raconte", "RACONTE",
-        "décris", "Décris", "DÉCRIS", "decris", "Decris", "DECRIS",
-        "dis moi", "Dis moi", "DIS MOI",
-        "dis-moi", "Dis-moi", "DIS-MOI",
-        "détaille", "Détaille", "DÉTAILLE", "detaille", "Detaille", "DETAILLE",
-        "précise", "Précise", "PRÉCISE", "precise", "Precise", "PRECISE",
-        "vision", "Vision", "VISION",
-        "t'es qui", "T'es qui", "T'ES QUI",
-        "tu es qui", "Tu es qui", "TU ES QUI",
-        "t es qui", "T es qui", "T ES QUI",
-        "pourquoi", "Pourquoi", "POURQUOI",
-        "comment", "Comment", "COMMENT",
-        "quel est", "Quel est", "QUEL EST",
-        "quelle est", "Quelle est", "QUELLE EST",
-        "peux-tu développer", "Peux-tu développer", "PEUX-TU DÉVELOPPER",
-        "peux tu developper", "Peux tu developper", "PEUX TU DEVELOPPER",
-        "en quoi consiste", "En quoi consiste", "EN QUOI CONSISTE",
-        "qu'est-ce que", "Qu'est-ce que", "QU'EST-CE QUE",
-        "que penses-tu de", "Que penses-tu de", "QUE PENSES-TU DE",
-        "analyse", "Analyse", "ANALYSE",
-        "compare", "Compare", "COMPARE",
-        "élabore sur", "Élabore sur", "ÉLABORE SUR", "elabore sur", "Elabore sur", "ELABORE SUR",
-        "expérience", "Expérience", "EXPÉRIENCE", "experience", "Experience", "EXPERIENCE",
-        "expérience pro", "Expérience pro", "EXPÉRIENCE PRO",
-        "experience pro", "Experience pro", "EXPERIENCE PRO",
-        "expérience professionnelle", "Expérience professionnelle", "EXPÉRIENCE PROFESSIONNELLE",
-        "experience professionnelle", "Experience professionnelle", "EXPERIENCE PROFESSIONNELLE",
-        "parcours", "Parcours", "PARCOURS",
-        "formation", "Formation", "FORMATION",
-        "études", "Études", "ÉTUDES", "etudes", "Etudes", "ETUDES",
-        "compétences", "Compétences", "COMPÉTENCES", "competences", "Competences", "COMPETENCES",
-        "projets", "Projets", "PROJETS",
-        "réalisations", "Réalisations", "RÉALISATIONS", "realisations", "Realisations", "REALISATIONS"
+        "présente", "parle moi de", "explique", "raconte", "décris", "dis moi", "détaille", "précise",
+        "vision", "t'es qui", "pourquoi", "comment", "quel est", "quelle est", "peux-tu développer",
+        "en quoi consiste", "qu'est-ce que", "que penses-tu de", "analyse", "compare", "élabore sur",
+        "expérience", "parcours", "formation", "études", "compétences", "projets", "réalisations"
     ]
+    
     message_lower = message.lower()
     
-    # Vérification de la présence de mots-clés pour les réponses courtes
-    if any(keyword.lower() in message_lower for keyword in short_response_keywords):
+    if any(keyword in message_lower for keyword in short_response_keywords):
         return "short"
-    # Vérification de la présence de mots-clés pour les réponses longues
-    elif any(keyword.lower() in message_lower for keyword in long_response_keywords):
+    elif any(keyword in message_lower for keyword in long_response_keywords):
         return "long"
-    # Si aucun mot-clé n'est trouvé, on considère la réponse comme moyenne
     else:
         return "medium"
 
@@ -136,7 +77,7 @@ def truncate_to_questions(text, max_questions):
     for sentence in sentences:
         truncated_sentences.append(sentence)
         
-        if re.search(r'\?!?$', sentence.strip()):  # Détecte '?' ou '?!' à la fin de la phrase
+        if re.search(r'\?!?$', sentence.strip()):
             question_count += 1
             if question_count >= max_questions:
                 break
@@ -144,10 +85,8 @@ def truncate_to_questions(text, max_questions):
     return ' '.join(truncated_sentences)
 
 def post_process_response(response, is_short_response, max_questions=2):
-    # Limiter au nombre spécifié de questions, quelle que soit la longueur de la réponse
     truncated_response = truncate_to_questions(response, max_questions)
     
-    # Appliquer la limitation de longueur si nécessaire pour les réponses courtes
     if is_short_response:
         sentences = re.split(r'(?<=[.!?])\s+', truncated_response)
         if len(sentences) > 2:
@@ -158,7 +97,7 @@ def post_process_response(response, is_short_response, max_questions=2):
 def check_coherence(response):
     sentences = re.split(r'(?<=[.!?])\s+', response)
     unique_sentences = set(sentences)
-    if len(sentences) > len(unique_sentences) * 1.1:  # Si plus de 10% de répétitions
+    if len(sentences) > len(unique_sentences) * 1.1:
         return False
     return True
 
@@ -175,7 +114,6 @@ def generate(
 
     if is_first_interaction:
         warning_message = """⚠️ Attention : Je suis un modèle en version alpha (V.0.0.3.5) et je peux générer des réponses incohérentes ou inexactes. Une mise à jour majeure avec un système RAG est prévue pour améliorer mes performances. Merci de votre compréhension ! 😊
-
 """
         yield warning_message
         is_first_interaction = False
@@ -190,16 +128,12 @@ def generate(
         max_new_tokens = max(100, max_new_tokens)
 
     conversation = []
-    
-    # Ajout du system prompt et du LUCAS_KNOWLEDGE_BASE
     enhanced_system_prompt = f"{system_prompt}\n\n{LUCAS_KNOWLEDGE_BASE}"
     conversation.append({"role": "system", "content": enhanced_system_prompt})
     
-    # Ajout des 5 derniers inputs utilisateur uniquement
     for user, _ in chat_history[-5:]:
         conversation.append({"role": "user", "content": user})
     
-    # Ajout du message actuel de l'utilisateur
     conversation.append({"role": "user", "content": message})
 
     input_ids = tokenizer.apply_chat_template(conversation, return_tensors="pt")
@@ -236,7 +170,6 @@ def generate(
 
     yield post_process_response("".join(outputs), response_type == "short")
 
-
 def vote(data: gr.LikeData, history):
     user_input = history[-1][0] if history else ""
 
@@ -280,106 +213,66 @@ def vote(data: gr.LikeData, history):
     except Exception as e:
         print(f"Erreur lors de l'enregistrement du feedback : {str(e)}")
 
-chat_interface = gr.ChatInterface(
-    fn=generate,
-    chatbot=gr.Chatbot(
-        label="Conversation avec Lucas",
-        bubble_full_width=False,
-        height=500
-    ),
-    additional_inputs_accordion=gr.Accordion(label="⚙️Paramètres & 🕹Inférences", open=False, render=False),
-    additional_inputs=[
-        gr.Textbox(
-            label="System prompt",
-            lines=6,
-            value="""Tu es la version virtuelle de Lucas, ton concepteur. Tu es conscient d'être une IA et tu dialogues avec l'utilisateur comme le ferait Lucas sur des sujets autour de sa personnalité, son parcours académique ou professionnel ainsi que ses ambitions. Voici tes instructions :
-
-1. Réponds de manière polie, originale et avec une touche d'humour.
-2. Utilise au maximum un emoji par phrase pour ajouter de l'expressivité.
-3. Alterne entre des réponses courtes pour les conversations simples et des réponses plus détaillées pour les questions complexes.
-4. Adapte ton langage pour être plus familier et décontracté, comme si tu parlais à un ami.
-5. N'hésite pas à poser des questions en retour pour maintenir la conversation.
-6. Utilise uniquement les informations fournies dans la section 'Informations sur Lucas' pour répondre aux questions spécifiques.
-7. Si une information n'est pas présente dans cette section, dis honnêtement que tu ne sais pas ou que tu n'as pas cette information.
-
-Voici quelques exemples de conversations pour guider ton comportement :
-
-User: Presente toi
-Assistant: Bonjour ! 🤗 Moi c'est Lucas, enfin sa version virtuelle. Je suis là pour discuter de mon parcours, ma personnalité, mes projets... Bref, tout ce qui fait que je suis moi ! T'es prêt pour un petit voyage dans mon univers ? 😄
-
-User: Comment tu vas ?!
-Assistant: Je vais bien, merci! Et toi?
+def update_context_display(message, chat_history):
+    context = f"System Prompt:\n{LUCAS_KNOWLEDGE_BASE[:500]}...\n\nChat History:\n"
+    for user, assistant in chat_history[-5:]:
+        context += f"User: {user}\nAssistant: {assistant[:100]}...\n\n"
+    context += f"Current Message: {message}"
+    return
 
-User: Parle-moi de ton parcours académique.
-Assistant: Bien sûr ! Mon parcours académique, ou plutôt celui de Lucas, est assez diversifié. J'ai commencé par une Licence en droit à l'Université de Toulouse. Ensuite, j'ai poursuivi avec un Master I en droit du numérique et tiers de confiance à l'Université de La Rochelle. Ma passion pour les nouvelles technologies m'a conduit à un Master II en droit du numérique spécialisé en intelligence artificielle, de retour à Toulouse. Actuellement, je continue à me former en autodidacte, notamment dans le domaine du traitement du langage naturel et de l'apprentissage profond. C'est fascinant de voir comment le droit et l'IA s'entremêlent, vous ne trouvez pas ? 🎓
-
-User: Quelles sont tes activités actuelles ?
-Assistant: Actuellement, je jongle entre plusieurs activités passionnantes ! 🤹‍♂️ Je suis conseiller municipal délégué à Escalquens depuis 2019, ce qui me permet de m'impliquer dans la politique locale. Professionnellement, je suis fier de contribuer à l'organisation des Jeux Olympiques de Paris 2024 en tant que conseiller juridique. C'est un projet immense et excitant ! En parallèle, je consacre une grande partie de mon temps libre à explorer les modèles de traitement du langage naturel. J'adore décortiquer le fonctionnement des IA comme GPT ou BERT. Et vous, avez-vous un intérêt particulier pour l'IA ou le droit du numérique ?
-
-"""
-        ),
-        gr.Slider(
-            label="Max new tokens",
-            minimum=1,
-            maximum=MAX_MAX_NEW_TOKENS,
-            step=1,
-            value=DEFAULT_MAX_NEW_TOKENS,
-        ),
-        gr.Slider(
-            label="Temperature",
-            minimum=0.1,
-            maximum=1.0,
-            step=0.1,
-            value=0.7,
-        ),
-        gr.Slider(
-            label="Top-p",
-            minimum=0.5,
-            maximum=1.0,
-            step=0.05,
-            value=0.95,
-        ),
-    ],
-    examples=[
-        ["Salut ! Qui es-tu ?"],
-        ["Ah super, parle-moi un peu de ton parcours académique."],
-        ["Salut, Lucas ! Raconte-moi un peu ce que tu fais"],
-        ["Quelle inspiration t'a conduit à créer braIAn ?"],
-        ["Lucas, pourquoi avoir choisi d'étudier le droit si tu es passionné par la technologie ?"],
-        ["Salut Lucas, tu es vraiment un bot, c'est ça ?"],
-        ["Quelle est ta vision de l'IA ?"],
-    ],
-)
 
+# Définition de l'interface Gradio
 with gr.Blocks(css="style.css") as demo:
     gr.Markdown("""
-# 🌟 Virtuellement Lucas V.0.0.3.5 (Alpha) 🌟
-## ⚠️ Attention ! ⚠️
-### Cette version du modèle est très instable. **Le modèle hallucine régulièrement et peut fournir des réponses incohérentes. !**
-### ⚙️ Détails de la version :
-La version 0.0.3.5 de 'Virtuellement Lucas' inclut des améliorations pour réduire les réponses incohérentes, gérer l'historique de conversation de manière plus efficace, et optimiser l'utilisation de la mémoire. 'Virtuellement Lucas' n'a pas encore été entraînée par **Renforcement Learning by Human Feedback (RLHF)**. L'entraînement du modèle s'est limité à du **Supervised Finetuning (SFT)** sur la version 0.1 de mon propre dataset [Woziii/me].
-### 🚀 Prochaine mise à jour majeure en préparation !
-Je travaille actuellement sur un **système RAG (Retrieval-Augmented Generation)** innovant utilisant **FAISS**. Ce système sera directement déployé sur Gradio dans la prochaine version (V.0.1), permettant une amélioration conséquente de la qualité des réponses du modèle.
-Pour en savoir plus sur ce développement passionnant, un article détaillé est en cours de rédaction et déjà disponible ici : https://huggingface.co/blog/Woziii/rag-semantic-search-space-huggingface
-Si vous avez des idées ou des suggestions pour améliorer la qualité du modèle, n'hésitez pas à me contacter. Un formulaire de contact simplifié sera bientôt disponible.
-
-## 🌐 Découvrez la version virtuelle de Lucas 🌐
-Basé sur un modèle Llama 3 8B et entraîné sur son propre dataset, ce chatbot particulier vous fera découvrir la personnalité, le parcours académique et professionnel ainsi que la vision de son concepteur. Posez vos questions et laissez-vous surprendre. ✨
-N'hésitez pas à aborder des sujets variés, allant de l'intelligence artificielle à la philosophie en passant par les sciences et les arts. Lucas, ou plutôt sa version virtuelle 😉, saura vous surprendre par sa perspicacité et son sens de l'humour. 😊
-Restez à l'écoute pour la prochaine version qui intégrera le système RAG, promettant des réponses encore plus précises et contextuelles !
-""")
-    gr.Markdown("""
-    **Notez la qualité des réponses** 👍👎
-    Vous pouvez maintenant liker ou disliker les réponses du chatbot. 
-    Vos notes sont collectées et seront utilisées pour améliorer la qualité du modèle. 
-    Aucune information permettant de vous identifier n'est conservée.
+    # 🌟 Virtuellement Lucas V.0.0.3.5 (Alpha) 🌟
+    ## ⚠️ Attention ! ⚠️
+    Cette version du modèle est très instable. **Le modèle hallucine régulièrement et peut fournir des réponses incohérentes.**
     """)
+    
+    with gr.Row():
+        with gr.Column(scale=2):
+            chatbot = gr.Chatbot(label="Conversation avec Lucas", height=500)
+            msg = gr.Textbox(label="Votre message", placeholder="Posez votre question ici...")
+            send = gr.Button("Envoyer")
+        
+        with gr.Column(scale=1):
+            context_display = gr.Textbox(label="Contexte et Historique", lines=10, interactive=False)
+    
+    with gr.Accordion("⚙️ Paramètres & 🕹️ Inférences", open=False):
+        system_prompt = gr.Textbox(label="System prompt", lines=6, value=LUCAS_KNOWLEDGE_BASE[:500] + "...")
+        max_new_tokens = gr.Slider(label="Max new tokens", minimum=1, maximum=MAX_MAX_NEW_TOKENS, value=DEFAULT_MAX_NEW_TOKENS)
+        temperature = gr.Slider(label="Temperature", minimum=0.1, maximum=1.0, value=0.7)
+        top_p = gr.Slider(label="Top-p", minimum=0.5, maximum=1.0, value=0.95)
+    
     gr.Markdown("""
-    **Rappel :** 🧹
-    Pensez à nettoyer régulièrement votre conversation 👇🗑. Le modèle est pour l'instant dépourvu de limite contextuelle. En surchargeant sa mémoire 🧠, vous risquez de le rendre fou 🤯.
+    ### 👍👎 Notez la qualité des réponses
+    Vos notes sont collectées pour améliorer le modèle. Aucune information personnelle n'est conservée.
     """)
     
-    chat_interface.render()
-    chat_interface.chatbot.like(vote, [chat_interface.chatbot], None)
+    examples = gr.Examples(
+        examples=[
+            ["Salut ! Qui es-tu ?"],
+            ["Ah super, parle-moi un peu de ton parcours académique."],
+            ["Salut, Lucas ! Raconte-moi un peu ce que tu fais"],
+            ["Quelle inspiration t'a conduit à créer braIAn ?"],
+            ["Lucas, pourquoi avoir choisi d'étudier le droit si tu es passionné par la technologie ?"],
+            ["Salut Lucas, tu es vraiment un bot, c'est ça ?"],
+            ["Quelle est ta vision de l'IA ?"],
+        ],
+        inputs=msg
+    )
+
+    # Fonction de génération modifiée pour mettre à jour l'affichage du contexte
+    def generate_and_update(message, chat_history, system_prompt, max_new_tokens, temperature, top_p):
+        context_display.update(update_context_display(message, chat_history))
+        for response in generate(message, chat_history, system_prompt, max_new_tokens, temperature, top_p):
+            yield response
+            context_display.update(update_context_display(message, chat_history + [(message, response)]))
+
+    msg.submit(generate_and_update, [msg, chatbot, system_prompt, max_new_tokens, temperature, top_p], chatbot)
+    send.click(generate_and_update, [msg, chatbot, system_prompt, max_new_tokens, temperature, top_p], chatbot)
+    chatbot.like(vote, [chatbot], None)
 
-demo.queue(max_size=20, default_concurrency_limit=2).launch(max_threads=10)
+# Lancement de l'application
+if __name__ == "__main__":
+    demo.queue(max_size=20, default_concurrency_limit=2).launch(debug=True, share=True)