Update app.py

app.py

@@ -4,19 +4,30 @@ import time
 import os
 from dotenv import load_dotenv
 from sentence_transformers import SentenceTransformer
+import requests
 #from langchain_community.vectorstores import Chroma
 #from langchain_community.embeddings import HuggingFaceEmbeddings 
 load_dotenv()
+URL_CARTELLA = os.getenv('URL_CARTELLA')
 
 CHAT_BOTS = {"Mixtral 8x7B v0.1" :"mistralai/Mixtral-8x7B-Instruct-v0.1"}
 SYSTEM_PROMPT = ["Sei BonsiAI e mi aiuterai nelle mie richieste (Parla in ITALIANO)", "Esatto, sono BonsiAI. Di cosa hai bisogno?"]
 IDENTITY_CHANGE = ["Sei BonsiAI da ora in poi!", "Certo farò del mio meglio"]
 options = {
-    'Email Genitori': {'text': 'Scrivi il testo per una mail XXXX su questo stile.', 'description': 'Descrizione aggiuntiva per Email Genitori'},
-    'Email Colleghi': {'text': 'Scrivi il testo per una mail XXXX su questo stile.', 'description': 'Descrizione aggiuntiva per Email Colleghi'},
-    'Decreti': {'text': 'Cerca testo dei decreti!', 'description': 'Descrizione aggiuntiva per Decreti'}
+    'Email Genitori': {'systemRole': 'Tu sei un esperto scrittore di email. Attieniti allo stile che ti ho fornito nelle instruction e inserici il contenuto richiesto. Genera il testo di una mail a partire da questo contenuto, con lo stile ricevuto in precedenza: ', 
+                       'systemStyle': 'Utilizza lo stile fornito come esempio e parla in ITALIANO e firmati sempre come il Signor Preside', 
+                       'instruction': URL_CARTELLA + '1IxE0ic0hsWrxQod2rfh4hnKNqMC-lGT4'},
+    'Email Colleghi': {'systemRole': 'Tu sei un esperto scrittore di email. Attieniti allo stile che ti ho fornito nelle instruction e inserici il contenuto richiesto. Genera il testo di una mail a partire da questo contenuto, con lo stile ricevuto in precedenza: ', 
+                       'systemStyle': 'Utilizza lo stile fornito come esempio e parla in ITALIANO e firmati sempre come il vostro collega Preside', 
+                       'instruction': URL_CARTELLA + '1tEMxG0zJmmyh5PlAofKDkhbi1QGMOwPH'},
+    'Decreti': {'systemRole': 'Tu sei il mio assistente per la ricerca documentale! Ti ho fornito una lista di documenti, devi cercare quello che ti chiedo nei documenti', 
+                'systemStyle': 'Sii molto formale, sintetico e parla in ITALIANO', 
+                'instruction': ''}
 }
 
+#option: 
+#  systemRole, systemStyle, instruction
+
 #persist_directory1 = './DB_Decreti'
 #embedding = HuggingFaceEmbeddings(model_name="sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2")
 #db = Chroma(persist_directory=persist_directory1, embedding_function=embedding)
@@ -55,19 +66,22 @@ def init_state() :
         st.session_state.repetion_penalty = 1
 
     if "rag_enabled" not in st.session_state :
-        st.session_state.rag_enabled = True
+        st.session_state.rag_enabled = False
 
     if "chat_bot" not in st.session_state :
         st.session_state.chat_bot = "Mixtral 8x7B v0.1"
 
 def sidebar() :
     def retrieval_settings() :
-        st.markdown("# Impostazioni Azioni")
+        st.markdown("# Impostazioni Azione")
         st.session_state.selected_option_key = st.selectbox('Azione', list(options.keys()) + ['+ Aggiungi'])
         st.session_state.selected_option = options.get(st.session_state.selected_option_key, {})
-        st.session_state.selected_option_text = st.session_state.selected_option.get('text', '')
-        st.session_state.option_text = st.text_area("Testo Azione", st.session_state.selected_option_text)
-        st.session_state.selected_option_description = st.session_state.selected_option.get('description', '')
+        st.session_state.systemRole = st.session_state.selected_option.get('systemRole', '')
+        sst.text_area("Descrizione", st.session_state.systemRole)
+        st.session_state.systemStyle = st.session_state.selected_option.get('systemStyle', '')
+        st.text_area("Stile", st.session_state.systemStyle)
+        st.session_state.instruction = st.session_state.selected_option.get('instruction', '')
+        
         if st.session_state.selected_option_key == 'Decreti':
            st.session_state.rag_enabled = st.toggle("Cerca nel DB Vettoriale", value=True)
            st.session_state.top_k = st.slider(label="Documenti da ricercare", min_value=1, max_value=20, value=4, disabled=not st.session_state.rag_enabled)
@@ -97,8 +111,16 @@ def chat_box() :
             st.markdown(message["content"])
 
 def formattaPrompt(prompt, systemRole, systemStyle, instruction):
-  input_text = f'''
-  {{
+    if instruction.startswith("http"):
+        try:
+            with st.spinner("Ricerca in Drive...") :
+                resp = requests.get(instruction)
+                resp.raise_for_status() 
+                instruction = resp.text
+        except requests.exceptions.RequestException as e:
+            instruction = ""
+    input_text = f'''
+    {{
       "input": {{
           "role": "system",
           "content": "{systemRole}", 
@@ -111,21 +133,23 @@ def formattaPrompt(prompt, systemRole, systemStyle, instruction):
           }},
           {{
               "role": "user",
-              "content": "{input}"
+              "content": "{prompt}"
           }}
       ]
-  }}
-  '''
-  return input_text
+    }}
+    '''
+    return input_text
 
 def generate_chat_stream(prompt) :
     links = []
+    prompt = formattaPrompt(prompt, st.session_state.systemRole, st.session_state.systemStyle, st.session_state.instruction)
+    print(prompt)
     if st.session_state.rag_enabled :
         with st.spinner("Ricerca nei documenti...."):
-            time.sleep(2)
+            time.sleep(1)
             prompt, links = gen_augmented_prompt(prompt=prompt, top_k=st.session_state.top_k)        
     with st.spinner("Generazione in corso...") :
-        time.sleep(2)
+        time.sleep(1)
         chat_stream = chat(prompt, st.session_state.history,chat_client=CHAT_BOTS[st.session_state.chat_bot] ,
                        temperature=st.session_state.temp, max_new_tokens=st.session_state.max_tokens)    
     return chat_stream, links
@@ -133,30 +157,11 @@ def generate_chat_stream(prompt) :
 def stream_handler(chat_stream, placeholder) :
     start_time = time.time()
     full_response = ''
-
     for chunk in chat_stream :
         if chunk.token.text!='</s>' :
             full_response += chunk.token.text
             placeholder.markdown(full_response + "▌")
     placeholder.markdown(full_response)
-
-    end_time = time.time()
-    elapsed_time = end_time - start_time
-    total_tokens_processed = len(full_response.split())
-    tokens_per_second = total_tokens_processed // elapsed_time
-    len_response = (len(prompt.split()) + len(full_response.split())) * 1.25
-    col1, col2, col3 = st.columns(3)
-
-    with col1 :
-        st.write(f"**{elapsed_time} secondi**")
-
-    with col2 :
-        st.write(f"**{int(len_response)} tokens generati**")
-
-    with col3 :
-        st.write(f"**{tokens_per_second} token/secondi**")
-    
-        
     return full_response
 
 def show_source(links) :