Update app.py

app.py

@@ -13,12 +13,18 @@ from fastapi.responses import JSONResponse
 import uvicorn
 from threading import Thread
 import gptcache
+import nltk
+from sklearn.metrics.pairwise import cosine_similarity
+from sklearn.feature_extraction.text import TfidfVectorizer
 
+# Cargar las variables de entorno
 load_dotenv()
 HUGGINGFACE_TOKEN = os.getenv("HUGGINGFACE_TOKEN")
 
+# Configuración del caché
 cache = cachetools.TTLCache(maxsize=100, ttl=60)
 
+# Datos globales para almacenar la configuración de los modelos
 global_data = {
     'models': {},
     'tokens': {
@@ -74,11 +80,22 @@ global_data = {
     'model_type': {}
 }
 
+# Configuración de los modelos
 model_configs = [
     {
         "repo_id": "Hjgugugjhuhjggg/testing_semifinal-Q2_K-GGUF",
         "filename": "testing_semifinal-q2_k.gguf",
         "name": "testing"
+    },
+    {
+        "repo_id": "bartowski/Llama-3.2-3B-Instruct-uncensored-GGUF",
+        "filename": "Llama-3.2-3B-Instruct-uncensored-Q2_K.gguf",
+        "name": "llama-3.2-3B"
+    },
+    {
+        "repo_id": "Ffftdtd5dtft/Meta-Llama-3.1-70B-Q2_K-GGUF",
+        "filename": "meta-llama-3.1-70b-q2_k.gguf",
+        "name": "meta-llama-3.1-70B"
     }
 ]
 
@@ -111,9 +128,11 @@ global_data['models'] = model_manager.load_all_models()
 class ChatRequest(BaseModel):
     message: str
 
+# Normalizar entrada
 def normalize_input(input_text):
     return input_text.strip()
 
+# Eliminar respuestas duplicadas
 def remove_duplicates(text):
     lines = text.split('\n')
     unique_lines = []
@@ -124,16 +143,23 @@ def remove_duplicates(text):
             seen_lines.add(line)
     return '\n'.join(unique_lines)
 
-def cache_response(func):
-    def wrapper(*args, **kwargs):
-        cache_key = f"{args}-{kwargs}"
-        if cache_key in cache:
-            return cache[cache_key]
-        response = func(*args, **kwargs)
-        cache[cache_key] = response
-        return response
-    return wrapper
-
+# Función para evaluar la coherencia de las respuestas usando similitud de coseno
+def get_best_response(responses):
+    # Vectorizar las respuestas usando TF-IDF
+    vectorizer = TfidfVectorizer().fit_transform(responses)
+    
+    # Calcular la similitud de coseno entre las respuestas
+    similarity_matrix = cosine_similarity(vectorizer)
+    
+    # Sumar las similitudes para cada respuesta
+    total_similarities = similarity_matrix.sum(axis=1)
+    
+    # Obtener el índice de la respuesta con mayor similitud
+    best_response_index = total_similarities.argmax()
+    
+    return responses[best_response_index]
+
+# Función para generar respuestas de modelos
 @cache_response
 def generate_model_response(model, inputs):
     try:
@@ -142,13 +168,7 @@ def generate_model_response(model, inputs):
     except Exception as e:
         return ""
 
-def remove_repetitive_responses(responses):
-    unique_responses = {}
-    for response in responses:
-        if response['model'] not in unique_responses:
-            unique_responses[response['model']] = response['response']
-    return unique_responses
-
+# Procesar mensaje y generar respuestas
 async def process_message(message):
     inputs = normalize_input(message)
     with ThreadPoolExecutor() as executor:
@@ -157,15 +177,15 @@ async def process_message(message):
             for model in global_data['models'].values()
         ]
         responses = [
-            {'model': model_name, 'response': future.result()}
-        for model_name, future in zip(global_data['models'].keys(), as_completed(futures))
-    ]
-    unique_responses = remove_repetitive_responses(responses)
-    formatted_response = ""
-    for model, response in unique_responses.items():
-        formatted_response += f"**{model}:**\n{response}\n\n"
-    return formatted_response
+            future.result()
+            for future in as_completed(futures)
+        ]
+    
+    # Seleccionar la mejor respuesta basada en similitud
+    best_response = get_best_response(responses)
+    return best_response
 
+# API FastAPI
 app = FastAPI()
 
 @app.post("/generate")
@@ -176,12 +196,14 @@ async def generate(request: ChatRequest):
     except Exception as e:
         return JSONResponse(content={"error": str(e)})
 
+# Función para iniciar servidor uvicorn
 def run_uvicorn():
     try:
         uvicorn.run(app, host="0.0.0.0", port=7860)
     except Exception as e:
         print(f"Error al ejecutar uvicorn: {e}")
 
+# Interfaz Gradio
 iface = gr.Interface(
     fn=process_message,
     inputs=gr.Textbox(lines=2, placeholder="Enter your message here..."),