app.py

import gradio as gr
import requests
import json

def respond(message, history, system_message, max_tokens, temperature, top_p):
    """
    Fonction pour générer une réponse en utilisant Ollama
    
    Args:
    - message: Le dernier message de l'utilisateur
    - history: Historique des conversations
    - system_message: Message système pour guider le comportement du modèle
    - max_tokens: Nombre maximal de tokens à générer
    - temperature: Contrôle la créativité de la réponse
    - top_p: Échantillonnage nucléaire
    
    Returns:
    - Réponse générée par le modèle
    """
    # Préparer les messages pour le contexte
    messages = [{"role": "system", "content": system_message}]
    for user_msg, assistant_msg in history:
        if user_msg:
            messages.append({"role": "user", "content": user_msg})
        if assistant_msg:
            messages.append({"role": "assistant", "content": assistant_msg})
    messages.append({"role": "user", "content": message})
    
    # Préparer les données pour la requête Ollama
    data = {
        "model": "hf.co/ibrahimBlyc/LA_Llama:latest",  # Assurez-vous que ce modèle est disponible localement
        "messages": messages,
        "stream": True,
        "options": {
            "num_predict": max_tokens,
            "temperature": temperature,
            "top_p": top_p
        }
    }
    
    # URL du serveur Ollama local
    url = "http://localhost:11434/api/chat"
    
    try:
        # Envoyer la requête en streaming
        response = ""
        with requests.post(url, json=data, stream=True) as stream_response:
            stream_response.raise_for_status()
            for chunk in stream_response.iter_lines():
                if chunk:
                    try:
                        # Décoder correctement le chunk JSON
                        chunk_decoded = chunk.decode('utf-8')
                        chunk_json = json.loads(chunk_decoded)
                        
                        # Extraire le token de la réponse
                        if 'message' in chunk_json and 'content' in chunk_json['message']:
                            token = chunk_json['message']['content']
                            response += token
                            yield response
                        
                    except json.JSONDecodeError as e:
                        print(f"Erreur de décodage JSON : {e}")
                        yield f"Erreur : Impossible de décoder la réponse du serveur."
                        return
                    except Exception as e:
                        print(f"Erreur inattendue : {e}")
                        yield f"Erreur : Une erreur inattendue s'est produite."
                        return
    
    except requests.exceptions.RequestException as e:
        print(f"Erreur de requête : {e}")
        yield f"Erreur : Impossible de communiquer avec le serveur Ollama."

# Créer l'interface Gradio
demo = gr.ChatInterface(
    respond,
    title="Ollama Chatbot",
    description="Discutez avec un modèle Ollama local",
    additional_inputs=[
        gr.Textbox(
            value="Tu es un assistant IA amical et utile qui répond de manière concise et informative.", 
            label="Message système",
            lines=3
        ),
        gr.Slider(
            minimum=1, 
            maximum=2048, 
            value=512, 
            step=1, 
            label="Nombre max de tokens"
        ),
        gr.Slider(
            minimum=0.1, 
            maximum=2.0, 
            value=0.7, 
            step=0.1, 
            label="Température"
        ),
        gr.Slider(
            minimum=0.1,
            maximum=1.0,
            value=0.95,
            step=0.05,
            label="Top-p (échantillonnage nucléaire)"
        ),
    ],
    theme="default"
)

# Lancement de l'application
if __name__ == "__main__":
    # Vérifier que le serveur Ollama est bien installé
    try:
        import ollama
        print("Serveur Ollama détecté. Lancement de l'interface...")
        demo.launch(share=True)
    except ImportError:
        print("Le serveur Ollama n'est pas installé. Veuillez l'installer.")
    except Exception as e:
        print(f"Erreur lors du lancement : {e}")