Spaces:
Sleeping
Sleeping
import gradio as gr | |
import requests | |
import json | |
def respond(message, history, system_message, max_tokens, temperature, top_p): | |
""" | |
Fonction pour générer une réponse en utilisant Ollama | |
Args: | |
- message: Le dernier message de l'utilisateur | |
- history: Historique des conversations | |
- system_message: Message système pour guider le comportement du modèle | |
- max_tokens: Nombre maximal de tokens à générer | |
- temperature: Contrôle la créativité de la réponse | |
- top_p: Échantillonnage nucléaire | |
Returns: | |
- Réponse générée par le modèle | |
""" | |
# Préparer les messages pour le contexte | |
messages = [{"role": "system", "content": system_message}] | |
for user_msg, assistant_msg in history: | |
if user_msg: | |
messages.append({"role": "user", "content": user_msg}) | |
if assistant_msg: | |
messages.append({"role": "assistant", "content": assistant_msg}) | |
messages.append({"role": "user", "content": message}) | |
# Préparer les données pour la requête Ollama | |
data = { | |
"model": "hf.co/ibrahimBlyc/LA_Llama:latest", # Assurez-vous que ce modèle est disponible localement | |
"messages": messages, | |
"stream": True, | |
"options": { | |
"num_predict": max_tokens, | |
"temperature": temperature, | |
"top_p": top_p | |
} | |
} | |
# URL du serveur Ollama local | |
url = "http://localhost:11434/api/chat" | |
try: | |
# Envoyer la requête en streaming | |
response = "" | |
with requests.post(url, json=data, stream=True) as stream_response: | |
stream_response.raise_for_status() | |
for chunk in stream_response.iter_lines(): | |
if chunk: | |
try: | |
# Décoder correctement le chunk JSON | |
chunk_decoded = chunk.decode('utf-8') | |
chunk_json = json.loads(chunk_decoded) | |
# Extraire le token de la réponse | |
if 'message' in chunk_json and 'content' in chunk_json['message']: | |
token = chunk_json['message']['content'] | |
response += token | |
yield response | |
except json.JSONDecodeError as e: | |
print(f"Erreur de décodage JSON : {e}") | |
yield f"Erreur : Impossible de décoder la réponse du serveur." | |
return | |
except Exception as e: | |
print(f"Erreur inattendue : {e}") | |
yield f"Erreur : Une erreur inattendue s'est produite." | |
return | |
except requests.exceptions.RequestException as e: | |
print(f"Erreur de requête : {e}") | |
yield f"Erreur : Impossible de communiquer avec le serveur Ollama." | |
# Créer l'interface Gradio | |
demo = gr.ChatInterface( | |
respond, | |
title="Ollama Chatbot", | |
description="Discutez avec un modèle Ollama local", | |
additional_inputs=[ | |
gr.Textbox( | |
value="Tu es un assistant IA amical et utile qui répond de manière concise et informative.", | |
label="Message système", | |
lines=3 | |
), | |
gr.Slider( | |
minimum=1, | |
maximum=2048, | |
value=512, | |
step=1, | |
label="Nombre max de tokens" | |
), | |
gr.Slider( | |
minimum=0.1, | |
maximum=2.0, | |
value=0.7, | |
step=0.1, | |
label="Température" | |
), | |
gr.Slider( | |
minimum=0.1, | |
maximum=1.0, | |
value=0.95, | |
step=0.05, | |
label="Top-p (échantillonnage nucléaire)" | |
), | |
], | |
theme="default" | |
) | |
# Lancement de l'application | |
if __name__ == "__main__": | |
# Vérifier que le serveur Ollama est bien installé | |
try: | |
import ollama | |
print("Serveur Ollama détecté. Lancement de l'interface...") | |
demo.launch(share=True) | |
except ImportError: | |
print("Le serveur Ollama n'est pas installé. Veuillez l'installer.") | |
except Exception as e: | |
print(f"Erreur lors du lancement : {e}") | |