Update app.py

app.py

@@ -4,8 +4,9 @@ import gradio as gr
 import json
 from huggingface_hub import InferenceClient
 
-path='/Users/thiloid/Desktop/Avah/chromafiles'
-if(os.path.exists(path)==False): path="/home/user/app/chromafiles"
+path = '/Users/thiloid/Desktop/Avah/chromafiles'
+if not os.path.exists(path): 
+    path = "/home/user/app/chromafiles"
 
 print(path)
 
@@ -13,9 +14,10 @@ client = chromadb.PersistentClient(path=path)
 print(client.heartbeat()) 
 print(client.get_version())  
 print(client.list_collections()) 
+
 from chromadb.utils import embedding_functions
 default_ef = embedding_functions.DefaultEmbeddingFunction()
-sentence_transformer_ef = embedding_functions.SentenceTransformerEmbeddingFunction(model_name="T-Systems-onsite/cross-en-de-roberta-sentence-transformer")#"VAGOsolutions/SauerkrautLM-Mixtral-8x7B-Instruct")
+sentence_transformer_ef = embedding_functions.SentenceTransformerEmbeddingFunction(model_name="T-Systems-onsite/cross-en-de-roberta-sentence-transformer")
 
 collection = client.get_collection(name="chromatsc", embedding_function=sentence_transformer_ef)
 
@@ -23,12 +25,9 @@ client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1")
 
 
 def format_prompt(message, history):
-  prompt = "" #"<s>"
-  #for user_prompt, bot_response in history:
-  #  prompt += f"[INST] {user_prompt} [/INST]"
-  #  prompt += f" {bot_response}</s> "
-  prompt += f"[INST] {message} [/INST]"
-  return prompt
+    prompt = f"[INST] {message} [/INST]"
+    return prompt
+
 
 def response(prompt, history, selected_option, temperature=0.9, max_new_tokens=500, top_p=0.95, repetition_penalty=1.0):
     temperature = float(temperature)
@@ -52,12 +51,12 @@ def response(prompt, history, selected_option, temperature=0.9, max_new_tokens=5
     combination = zip(results, dists)
     combination = [' '.join(triplets) for triplets in combination]
     if len(results) > 1:
-        addon = " Bitte berücksichtige bei deiner Antwort ausschießlich folgende Auszüge aus unserer Wahlhilfe Datenbank, sofern sie für die Antwort erforderlich sind. Beantworte die Frage knapp und präzise. Ignoriere unpassende Datenbank-Auszüge OHNE sie zu kommentieren, zu erwähnen oder aufzulisten:\n" + "\n".join(results)
+        addon = "Bitte berücksichtige bei deiner Antwort ausschießlich folgende Auszüge aus unserer Wahlhilfe Datenbank, sofern sie für die Antwort erforderlich sind. Beantworte die Frage knapp und präzise. Ignoriere unpassende Datenbank-Auszüge OHNE sie zu kommentieren, zu erwähnen oder aufzulisten:\n" + "\n".join(results)
     system = "Du heißt Avah und bist ein deutschsprachiges KI-basiertes Wahlhilfe Beratungssystem zum Wahl-O-Maten für die Bundestagswahl 2021. Du nimmst selber keine eigene politische Postion ein!" + addon + "\n\nUser-Anliegen:"
-    if selected_option=="Keine These ausgewählt":
-        selected_option== " "
+    if selected_option == "Keine These ausgewählt":
+        selected_option = " "
     else:
-        selected_option= "Die Nutzer Frage bezieht sich auf folgende Wahl-O-Mat These: "+ selected_option
+        selected_option = "Die Nutzer Frage bezieht sich auf folgende Wahl-O-Mat These: " + selected_option
     formatted_prompt = format_prompt(system + "\n" + selected_option + "\n" + prompt, history)
     stream = client.text_generation(formatted_prompt, **generate_kwargs, stream=True, details=True, return_full_text=False)
     output = ""
@@ -105,7 +104,6 @@ dropdown_options = ["Keine These ausgewählt",
  'Der gesetzliche Mindestlohn soll spätestens im Jahr 2022 auf mindestens 12 Euro erhöht werden.',
  'Der Flugverkehr soll höher besteuert werden.',
  'Unternehmen sollen selbst entscheiden, ob sie ihren Beschäftigten das Arbeiten im Homeoffice erlauben.']
-                   
 
 with gr.Blocks() as demo:
     chatbot = gr.Chatbot(value=[[None, "Hallo mein Name ist Avah (Artificial Voting Advice Helper), deine interaktive Hilfe zum Wahl-O-Maten für die Bundestagswahl 2021. Wenn du Fragen zu Thesen der Wahlhilfe hast, wähle gerne die besagt These aus. Ansonsten kannst du mir auch unabhängig von bestimmten Thesen Fragen stellen."]], render_markdown=True)
@@ -113,7 +111,8 @@ with gr.Blocks() as demo:
     textbox = gr.Textbox(label="Your Question")
     
     def combined_response(prompt, history, dropdown_value):
-        return response(prompt, history, dropdown_value)
+        answer = response(prompt, history, dropdown_value)
+        return history + [[prompt, answer]]
 
     submit_button = gr.Button("Submit")
     
@@ -123,9 +122,8 @@ with gr.Blocks() as demo:
         outputs=chatbot,
     )
     
-demo.launch(share=True)
+demo.launch()
 
-    
 print("Interface up and running!")