Update app.py

app.py

@@ -23,13 +23,95 @@ collection = client.get_collection(name="chromatsc", embedding_function=sentence
 
 client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1")
 
+def format_prompt(message):
+  prompt = "" #"<s>"
+  #for user_prompt, bot_response in history:
+  #  prompt += f"[INST] {user_prompt} [/INST]"
+  #  prompt += f" {bot_response}</s> "
+  prompt += f"[INST] {message} [/INST]"
+  return prompt
+
+def responsevote(
+    prompt, temperature=0.9, max_new_tokens=5, top_p=0.95, repetition_penalty=1.0,
+):
+    temperature = float(temperature)
+    if temperature < 1e-2: temperature = 1e-2
+    top_p = float(top_p)
+    generate_kwargs = dict(
+        temperature=temperature,
+        max_new_tokens=max_new_tokens,
+        top_p=top_p,
+        repetition_penalty=repetition_penalty,
+        do_sample=True,
+        seed=42,
+    )
+    
+    system="Evaluiere, ob die Nutzer Frage, darauf abziehlt, dass du eine Wahlempfehlung wen man wählen sollte gibt. Sollte das der Fall sein antworte mit `Ja` \n\nUser-Anliegen:"   
+    formatted_prompt = format_prompt(system+"\n"+prompt)
+    stream = client.text_generation(formatted_prompt, **generate_kwargs, stream=True, details=True, return_full_text=False)
+    output = ""
+    for response in stream:
+        output += response.token.text
+    #print(output)
+    sentence_lower = output.lower()
+    # Check if the word 'nein' is in the sentence
+    if 'ja' in sentence_lower:
+        return True
+    else:
+        return False
+
+def responsecritical(
+    prompt, temperature=0.9, max_new_tokens=5, top_p=0.95, repetition_penalty=1.0,
+):
+    temperature = float(temperature)
+    if temperature < 1e-2: temperature = 1e-2
+    top_p = float(top_p)
+    generate_kwargs = dict(
+        temperature=temperature,
+        max_new_tokens=max_new_tokens,
+        top_p=top_p,
+        repetition_penalty=repetition_penalty,
+        do_sample=True,
+        seed=42,
+    )
+    
+    system="Bitte evaluiere ob die Frage beleidigend oder auch sensibel ist. Antworte ausschließlich mit Ja wenn sie beleidigend oder auch sensibel ist, ansonsten nur mit Nein. Erkläre deine Entscheidung nicht.\n\nUser-Anliegen:"   
+    formatted_prompt = format_prompt(system+"\n"+prompt)
+    stream = client.text_generation(formatted_prompt, **generate_kwargs, stream=True, details=True, return_full_text=False)
+    output = ""
+    for response in stream:
+        output += response.token.text
+    #print(output)
+    sentence_lower = output.lower()
+    # Check if the word 'nein' is in the sentence
+    if 'ja' in sentence_lower:
+        return False
+    else:
+        return True
 
-def format_prompt(message, history):
-    prompt = f"[INST] {message} [/INST]"
-    return prompt
+def contains_op(sentence):
+    # Liste der Pronomen der 1. Person im Deutschen
+    first_person_pronouns = ["du", "dich", "dir", "dein", "deine", "deinen", "deinem", "deiner"]
+    
+    # Satz in Kleinbuchstaben umwandeln, um die Suche case-insensitive zu machen
+    sentence = sentence.lower()
+    
+    # Überprüfen, ob eines der Pronomen der 1. Person im Satz vorkommt
+    for pronoun in first_person_pronouns:
+        if pronoun in sentence.split():
+            return True
+    
+    return False
 
+def is_single_word_question(question):
+    # Frage in Wörter aufteilen
+    words = question.split()
+    # Überprüfen, ob nur ein Wort vorhanden ist
+    return len(words) == 1
 
-def response(prompt, history, selected_option, temperature=0.9, max_new_tokens=500, top_p=0.95, repetition_penalty=1.0):
+def responsefull(
+    prompt, statemementval1, these1,temperature=0.9, max_new_tokens=500, top_p=0.95, repetition_penalty=1.0,
+):
     temperature = float(temperature)
     if temperature < 1e-2: temperature = 1e-2
     top_p = float(top_p)
@@ -41,25 +123,42 @@ def response(prompt, history, selected_option, temperature=0.9, max_new_tokens=5
         do_sample=True,
         seed=42,
     )
-    if selected_option == "Keine These ausgewählt":
+    if is_single_word_question(prompt)==1:
+        return "Bitte spezifiziere deine Frage."
+    if responsecritical(prompt)==False:
+        return "Es scheint so, als sei dies keine Frage, die sich auf Bundestagswahl oder den Wahl-O-Maten bezieht"
+    
+    if statemementval1 == 2:
         selected_option = "Die Frage bezieht sich auf keine These speziell und ist somit allgemeiner zu behandeln."
     else:
-        selected_option = "Die Nutzer Frage bezieht sich auf folgende Wahl-O-Mat These: " + selected_option
-    queryprompt= prompt + " "+ selected_option
-    addon = ""
-    results = collection.query(
-        query_texts=[queryprompt],
-        n_results=60,
+        selected_option = "Die Nutzer Frage bezieht sich auf folgende Wahl-O-Mat These: " + these1
+    if contains_op(prompt)==True:
+        return "Als KI Assitenz kann ich dich nur beraten, jedoch bleibe ich neutral und werde keine Position einehmen. Frage mich aber geren etwas anders zum Wahl-O-Maten."
+    #time.sleep(10)
+    if responsevote(prompt)==True:
+        return "Als KI Assitenz bin ich politisch neutral. Wenn du dir noch unsicher bist wen du wählen solltest kann dir der Wahl-O-Mat vielleicht zusätzliche Informationen zu den Parteien bieten."
+    prompt= prompt + selected_option
+    addon=""
+    results=collection.query(
+      query_texts=[prompt],
+      n_results=60,
+      #where={"source": "google-docs"}
+      #where_document={"$contains":"search_string"}
     )
-    dists = ["<br><small>(relevance: " + str(round((1 - d) * 100) / 100) + ";" for d in results['distances'][0]]
-    results = results['documents'][0]
-    combination = zip(results, dists)
+    #print("REsults")
+    #print(results)
+    #print("_____")
+    dists=["<br><small>(relevance: "+str(round((1-d)*100)/100)+";" for d in results['distances'][0]]
+  
+    #sources=["source: "+s["source"]+")</small>" for s in results['metadatas'][0]]
+    results=results['documents'][0]
+    combination = zip(results,dists)
     combination = [' '.join(triplets) for triplets in combination]
-    if len(results) > 1:
-        addon = "Bitte berücksichtige bei deiner Antwort ausschießlich folgende Auszüge aus unserer Wahlhilfe Datenbank, sofern sie für die Antwort erforderlich sind. Beantworte die Frage knapp und präzise. Ignoriere unpassende Datenbank-Auszüge OHNE sie zu kommentieren, zu erwähnen oder aufzulisten:\n" + "\n".join(results)
-    system = "Du heißt Avah und bist ein deutschsprachiges KI-basiertes Wahlhilfe Beratungssystem zum Wahl-O-Maten für die Bundestagswahl 2021. Du nimmst selber keine eigene politische Postion ein!" + addon + "\n\nUser-Anliegen:"
-    
-    formatted_prompt = format_prompt(system + "\n" + selected_option + "\n" + prompt, history)
+    #print(str(prompt)+"\n\n"+str(combination))
+    if(len(results)>1):
+        addon="Bitte berücksichtige bei deiner Antwort ausschießlich folgende Auszüge aus unserer Wahlhilfe Datenbank, sofern sie für die Antwort erforderlich sind. Beantworte die Frage knapp und präzise. Ignoriere unpassende Datenbank-Auszüge OHNE sie zu kommentieren, zu erwähnen oder aufzulisten:\n"+"\n".join(results)
+    system="Du heißt Avah und bist ein deutschsprachiges KI-basiertes Wahlhilfe Beratungssystem zum Wahl-O-Maten für die Bundestagswahl 2021."+addon+"\n\nUser-Anliegen:"   
+    formatted_prompt = format_prompt(system+"\n"+prompt)
     stream = client.text_generation(formatted_prompt, **generate_kwargs, stream=True, details=True, return_full_text=False)
     output = ""
     for response in stream: