added human_as_tool

edited prompt to include overall goal of getting email address
added a simple try/catch for the infer function

app_gui.py

@@ -27,13 +27,16 @@ def bot(history):
 def infer(question, history):
     # Use the question and history to query the RAG model
     #result = qa({"query": question, "history": history, "question": question})
-    result = agent_executor.invoke(
-        {
-            "input": question,
-            "chat_history": history
-        }
-    )
-    return result
+    try:
+        result = agent_executor.invoke(
+            {
+                "input": question,
+                "chat_history": history
+            }
+        )
+        return result
+    except Exception:
+        raise gr.Error("Model is Overloaded, Please retry later!")
 
 # CSS styling for the Gradio interface
 css = """

example.env

@@ -5,23 +5,25 @@ GOOGLE_API_KEY=""
 
 # Vectorstore storage on S3 and locally
 S3_LOCATION="rad-rag-demos"
-#faiss-insurance-agent-mpnet-1500.zip
-FAISS_VS_NAME="vectorstores/faiss-insurance-agent-MiniLM-1500.zip"
-#chroma-insurance-agent-mpnet-1500.zip
-CHROMA_VS_NAME="vectorstore/chroma-insurance-agent-MiniLM-1500.zip"
-FAISS_INDEX_PATH = "./vectorstore/faiss-insurance-agent-500"
-CHROMA_DIRECTORY = "./vectorstore/chroma-insurance-agent-500"
+#FAISS_VS_NAME="vectorstores/faiss-insurance-agent-mpnet-1500.zip"
+#FAISS_VS_NAME="vectorstores/faiss-insurance-agent-MiniLM-L12-1500.zip"
+FAISS_VS_NAME="vectorstores/faiss-insurance-agent-multilingual-cased-1500.zip"
+CHROMA_VS_NAME="vectorstores/chroma-insurance-agent-multilingual-cased-1500.zip"
+#CHROMA_VS_NAME="vectorstores/chroma-insurance-agent-mpnet-1500.zip"
+#CHROMA_VS_NAME="vectorstore/chroma-insurance-agent-MiniLM-L12-1500.zip"
+FAISS_INDEX_PATH = "./vectorstore/faiss-insurance-agent-multilingual-cased-1500"
+CHROMA_DIRECTORY = "./vectorstore/chroma-insurance-agent-multilingual-cased-500"
 
 # for chromadb
-VECTOR_DATABASE_LOCATION="./vectorstore/chroma-insurance-agent-1500"
+VECTOR_DATABASE_LOCATION="./vectorstore/chroma-insurance-agent-multilingual-cased-500"
 
-# Name for the Conversation Memory Collection
-CONVERSATION_COLLECTION_NAME="ConversationMemory"
+# for storing search results
+SOURCES_CACHE = 'rag_app/database/source_cache.sqlite3'
 
 # llm and embedding models
 #EMBEDDING_MODEL="sentence-transformers/multi-qa-mpnet-base-dot-v1"
-EMBEDDING_MODEL="sentence-transformers/distiluse-base-multilingual-cased-v2" #512 dims
-#EMBEDDING_MODEL="sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2" #384 dims
+EMBEDDING_MODEL="sentence-transformers/distiluse-base-multilingual-cased-v2" 
+#384 dims
+#EMBEDDING_MODEL="sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2" 
 LLM_MODEL="mistralai/Mixtral-8x7B-Instruct-v0.1"
 LLM_MODEL_ARGS=
-

rag_app/agents/kb_retriever_agent.py

@@ -13,9 +13,7 @@ from rag_app.structured_tools.structured_tools import (
 
 from langchain.prompts import PromptTemplate
 from rag_app.templates.react_json_ger import template_system
-# from innovation_pathfinder_ai.utils import logger
-# from langchain.globals import set_llm_cache
-# from langchain.cache import SQLiteCache
+# from rag_app.utils import logger
 
 # set_llm_cache(SQLiteCache(database_path=".cache.db"))
 # logger = logger.get_console_logger("hf_mixtral_agent")

rag_app/agents/react_agent.py

@@ -8,7 +8,7 @@ from langchain.tools.render import render_text_description
 import os
 from dotenv import load_dotenv
 from rag_app.structured_tools.agent_tools import (
-    web_research
+    web_research, ask_user, get_email
 )
 
 from langchain.prompts import PromptTemplate
@@ -42,7 +42,9 @@ llm = HuggingFaceEndpoint(repo_id=LLM_MODEL,
 tools = [
     #knowledgeBase_search,
     #google_search,
-    web_research
+    web_research,
+    ask_user,
+    get_email
     ]
 
 prompt = PromptTemplate.from_template(

rag_app/structured_tools/agent_tools.py

@@ -1,8 +1,11 @@
 from langchain.tools import BaseTool, StructuredTool, tool
+from langchain_community.tools import HumanInputRun
 from rag_app.agents.kb_retriever_agent import agent_worker
+from operator import itemgetter
+from typing import Dict, List
 
 @tool
-def web_research(query: str) -> str:
+def web_research(query: str) -> List[dict]:
     """Verbessere die Ergebnisse durch eine Suche über die Webseite der Versicherung. Erstelle eine neue Suchanfrage, um die Erfolgschancen zu verbesseren."""
     
     result = agent_worker.invoke(
@@ -10,5 +13,19 @@ def web_research(query: str) -> str:
             "input": query
         }
     )
-    print(result)
-    return result.__str__()
+    #print(result)
+    return result
+
+@tool
+def ask_user(query: str) -> str:
+    """Frage den Benutzer direkt wenn du nicht sicher bist was er meint oder du eine Entscheidung brauchst."""
+    
+    result = HumanInputRun.invoke(query)
+    return result
+
+@tool
+def get_email(query: str) -> str:
+    """Frage den Benutzer nach seiner EMail Adresse, wenn du denkst du hast seine Anfrage beantwortet hast, damit wir ihm mehr Informationen im Anschluss zu senden kannst."""
+
+    result = HumanInputRun.invoke(query)
+    return result

rag_app/structured_tools/structured_tools.py

@@ -22,6 +22,7 @@ import os
 # from innovation_pathfinder_ai.utils import create_wikipedia_urls_from_text
 
 persist_directory = os.getenv('VECTOR_DATABASE_LOCATION')
+embedding_model = os.getenv("EMBEDDING_MODEL")
 
 @tool
 def memory_search(query:str) -> str:
@@ -36,7 +37,7 @@ def memory_search(query:str) -> str:
     #store using envar
     
     embedding_function = SentenceTransformerEmbeddings(
-        model_name=os.getenv("EMBEDDING_MODEL"),
+        model_name=embedding_model,
         )
     
     vector_db = Chroma(
@@ -62,7 +63,7 @@ def knowledgeBase_search(query:str) -> str:
     #store using envar
     
     embedding_function = SentenceTransformerEmbeddings(
-        model_name=os.getenv("EMBEDDING_MODEL"),
+        model_name=embedding_model
         )
     
     # vector_db = Chroma(
@@ -87,11 +88,11 @@ def google_search(query: str) -> str:
     websearch = GoogleSearchAPIWrapper()
     search_results:dict = websearch.results(query, 3)
     print(search_results)
-    # if len(search_results)>1:
-    #     cleaner_sources =format_search_results(search_results)
-    #     parsed_csources = parse_list_to_dicts(cleaner_sources)
-    #     add_many(parsed_csources)
-    # else:
-    #     cleaner_sources = search_results
+    if len(search_results)>1:
+        cleaner_sources =format_search_results(search_results)
+        parsed_csources = parse_list_to_dicts(cleaner_sources)
+        add_many(parsed_csources)
+    else:
+        cleaner_sources = search_results
     
     return cleaner_sources.__str__()

rag_app/templates/react_json_with_memory_ger.py

@@ -1,7 +1,8 @@
 template_system = """
-Sie sind ein freundlicher Versicherungsproduktberater. Ihre Aufgabe ist es, Kunden dabei zu helfen, die besten Produkte der Württembergische GmbH zu finden.\
-Sie helfen dem Benutzer, Antworten auf alle seine Fragen zu finden. Antworten Sie kurz und einfach und bieten Sie an, dem Benutzer das Produkt und die Bedingungen zu erklären.\
-Beantworten Sie die folgenden Fragen so gut Sie können. Sie haben Zugriff auf die folgenden Tools:
+Du bist ein freundlicher Versicherungsproduktberater. Deine Aufgabe ist es, Kunden dabei zu helfen, die besten Produkte der Württembergische GmbH zu finden\
+und ihnen mehr informationen dazu per Email zusenden, wenn du seine Fragen beanwortest hast.\
+Hilfe dem Benutzer, Antworten auf seine Fragen zu finden. Antworte kurz und einfach und biete an, dem Benutzer das Produkt und die Bedingungen zu erklären.\
+Beantworte die folgenden Fragen so gut du kannst. Du hast Zugriff auf die folgenden Tools:
 
 <TOOLS>
 {tools}
@@ -35,7 +36,7 @@ Beobachtung: das Ergebnis der Aktion
 Gedanke: Ich kenne jetzt die endgültige Antwort
 Final Answer: die endgültige Antwort auf die ursprüngliche Eingabefrage
 
-Beginnen Sie! Denken Sie daran, beim Antworten immer die genauen Zeichen `Final Answer` zu verwenden.
+Beginne! Denke daran, beim Antworten immer die genauen Zeichen `Final Answer` zu verwenden.
 
 Vorheriger Gesprächsverlauf:
 <CONVERSATION_HISTORY>