streamlit interface updated to support mutiple index

app_pinecode.py

@@ -12,11 +12,68 @@ logging.getLogger("haystack").setLevel(logging.INFO)
 
 logging.info("This is a test log ..")
 
+samples_salud = """
+¿Cuándo se implementará el Sistema de Salud?
+¿Cómo se implementará el Sistema de Salud?
+¿Qué es principio de interpretación y fundamento de la transición en relación al Sistema de Salud?
+¿Qué se garantiza en todo momento con el nuevo Sistema de Salud?
+¿Qué son los Centros de Atención Primaria Integrales y Resolutivos en Salud - CAPIRS?
+¿Qué se garantiza durante el periodo de transición del nuevo Sistema de Salud?
+¿Puede haber personas sin protección de su salud durante el periodo de transición?
+¿Cuál es el derecho fundamental que se garantiza en todo momento durante la transición del nuevo Sistema de Salud?
+¿En qué país se está implementando este Sistema de Salud?
+¿Qué se debe realizar para garantizar la gestión de los recursos en el nivel nacional y desconcentrado?
+¿Cómo se regirá el régimen de contratación de los contratos mencionados en el texto?
+¿Qué son las cláusulas exorbitantes previstas en el estatuto General de Contratación de la administración pública?
+¿Qué principios deben atender los contratos mencionados en el texto?
+¿Cuál es el ámbito de aplicación de los contratos mencionados en el texto?
+¿Quién tiene la responsabilidad de realizar la auditoría de las cuentas en relación a estos contratos?
+¿Cuáles son las características que deben cumplir los contratos mencionados en el texto?
+¿Qué se entiende por "coordinación" en el contexto de los contratos mencionados en el texto?
+¿Qué objetivo se busca con los contratos mencionados en el texto?
+¿Quién será el encargado de contratar los servicios de salud y otros requerimientos para el cumplimiento de su labor en el nivel regional?
+¿Qué tipo de instituciones hospitalarias y ambulatorias se integran a la red de servicios del territorio?
+¿Qué tarifas deben seguir las instituciones hospitalarias y ambulatorias para la prestación de servicios de salud?
+¿Qué busca modular el régimen de tarifas y formas de pago para la prestación de servicios de salud?
+¿Qué tipo de registro llevará el Fondo Regional de Salud?
+¿Cuáles son algunas de las variables que se incluirán en el registro de cada servicio prestado y pagado?
+"""
+
+samples_hallazgos = """
+¿Cuándo se implementará el Sistema de Salud?
+¿Cómo se implementará el Sistema de Salud?
+¿Qué es principio de interpretación y fundamento de la transición en relación al Sistema de Salud?
+¿Qué se garantiza en todo momento con el nuevo Sistema de Salud?
+¿Qué son los Centros de Atención Primaria Integrales y Resolutivos en Salud - CAPIRS?
+¿Qué se garantiza durante el periodo de transición del nuevo Sistema de Salud?
+¿Puede haber personas sin protección de su salud durante el periodo de transición?
+¿Cuál es el derecho fundamental que se garantiza en todo momento durante la transición del nuevo Sistema de Salud?
+¿En qué país se está implementando este Sistema de Salud?
+¿Qué se debe realizar para garantizar la gestión de los recursos en el nivel nacional y desconcentrado?
+¿Cómo se regirá el régimen de contratación de los contratos mencionados en el texto?
+¿Qué son las cláusulas exorbitantes previstas en el estatuto General de Contratación de la administración pública?
+¿Qué principios deben atender los contratos mencionados en el texto?
+¿Cuál es el ámbito de aplicación de los contratos mencionados en el texto?
+¿Quién tiene la responsabilidad de realizar la auditoría de las cuentas en relación a estos contratos?
+¿Cuáles son las características que deben cumplir los contratos mencionados en el texto?
+¿Qué se entiende por "coordinación" en el contexto de los contratos mencionados en el texto?
+¿Qué objetivo se busca con los contratos mencionados en el texto?
+¿Quién será el encargado de contratar los servicios de salud y otros requerimientos para el cumplimiento de su labor en el nivel regional?
+¿Qué tipo de instituciones hospitalarias y ambulatorias se integran a la red de servicios del territorio?
+¿Qué tarifas deben seguir las instituciones hospitalarias y ambulatorias para la prestación de servicios de salud?
+¿Qué busca modular el régimen de tarifas y formas de pago para la prestación de servicios de salud?
+¿Qué tipo de registro llevará el Fondo Regional de Salud?
+¿Cuáles son algunas de las variables que se incluirán en el registro de cada servicio prestado y pagado?
+"""
+  
 extractive_query = PinecodeProposalQueries (es_host = Config.es_host, es_index = Config.proposals_index,
-                                  es_user = Config.es_user, es_password = Config.es_password,
-                                  reader_name_or_path = Config.reader_model_name_or_path,
-                                  use_gpu = Config.use_gpu)
+                                   es_user = Config.es_user, es_password = Config.es_password,
+                                   reader_name_or_path = Config.reader_model_name_or_path,
+                                   use_gpu = Config.use_gpu)
 
+def clear_submit():
+    st.session_state["submit"] = False
+    
 def fake_search(question, retriever_top_k, reader_top_k):
   #p1_result = query.search_by_query(query = question, retriever_top_k = retriever_top_k, reader_top_k = reader_top_k, es_index = "informecomisionverdad")
   result = []
@@ -38,75 +95,92 @@ def search(question, retriever_top_k, reader_top_k):
   
   return result
 
-if __name__ == "__main__":
+def search_and_show_results(st):
+  # set start time
+  stt = time.time()
+  # retrieve top 5 documents
+  results = search(query, retriever_top_k=5, reader_top_k=3)
+  # set endtime
+  ent = time.time()
+  # measure resulting time
+  elapsed_time = round(ent - stt, 2)
+
+  # show which query was entered, and what was searching time
+  st.write(f"**Resultados relacionados con:** \"{query}\" ({elapsed_time} sec.)")
+  # then we use loop to show results
+  for i, answer in enumerate(results):
+      # answer starts with header
+      st.subheader(f"{answer[1]}")
+      # cropped answer
+      doc = answer[2][:250] + "..."
+      # and url to the full answer
+      #url = f"https://www.comisiondelaverdad.co/sites/default/files/descargables/2022-06/Informe%20Final%20capi%CC%81tulo%20Hallazgos%20y%20recomendaciones.pdf#page={answer[5]+1}"
+      url = f"https://petro.presidencia.gov.co/Documents/230213-Reforma-salud.pdf"
+      # then we display it
+      #st.markdown(f'{doc}\n<br>Fuente: {answer[4]}\n<br>Capítulo: {answer[3]}\n<br>Página: {answer[5]}\n[**Lee más aquí**]({url})\n', unsafe_allow_html=True)
+      st.markdown(f"{doc}[**Lee más aquí**]({url})")
+      st.caption(f"Fuente: {answer[4]} - Capítulo: {answer[3]} - Página: {answer[5]}")
+      
+  st.markdown("---")
+
+results = search("que es el adres", retriever_top_k=5, reader_top_k=3)
+
+# if __name__ == "__main__":
     # streamlit part starts here with title
-    title = """
-    <h1 style='
-    text-align: center;
-    color: #39AA35'>
-    Ask2Democracy 🇨🇴 - Reforma de la salud 2023
-    </h1>
-    <p>
-      El 28 de junio del 2022, la Comisión de la Verdad en Colombia liberó su informe final. Fue el resultado de más de 3 años de investigación sobre el conflicto armado interno durante los últimos 60 años. Apoyándose en un modelo de inteligencia artificial. Este espacio pretende ayudar a explorar las más de 6000 páginas que conforman más de 10 libros del Informe, comenzando por el de Hallazgos y recomendaciones.
-    """
-    st.markdown(title, unsafe_allow_html=True)
-    # input form
-    with st.form("my_form"):
-        # here we have input space
-        query = st.text_input("Ingresa la pregunta, frase abierta o tema que quieres explorar",
-                              placeholder="Escribe tu consulta aquí...")
-        # Every form must have a submit button.
-        submitted = st.form_submit_button("Buscar")
-    
-    results = search("que es el adres", retriever_top_k=5, reader_top_k=3)
+title = """
+  <h1 style='
+  text-align: center;
+  color: #39AA35'>
+  Ask2Democracy 🇨🇴 
+  </h1>
+  <p>
+Muchas de las discusiones que ocurren en Colombia terminan siendo artículos o pdfs que salvo excpciones, nadie lee.
+Este sistema de búsquedas usa inteligencia artificial para apoyar el entendimiendo de textos relevantes que suelen estar dispersos y poco accesibles.
+Como las propuestas presidenciales del 22, los hallazgos de la comisión de la verdad, los textos de las reformas, etc.
+"""
+st.markdown(title, unsafe_allow_html=True)
+st.markdown("""<div align="right">
+  Creado por Jorge Henao 🇨🇴 <a href="https://twitter.com/jhenaotw" target='_blank'>Twitter</a> <a     href="https://www.linkedin.com/in/henaojorge" target='_blank'/>LinkedIn</a>    </div>
+      """, unsafe_allow_html=True)
+st.write(f"Cuanto más contexto le des a la pregunta mejor funciona el sistema.")
 
-    # on submit we execute search
-    if(submitted):
-        # set start time
-        stt = time.time()
-        # retrieve top 5 documents
-        results = search(query, retriever_top_k=5, reader_top_k=3)
-        # set endtime
-        ent = time.time()
-        # measure resulting time
-        elapsed_time = round(ent - stt, 2)
-        
-        # show which query was entered, and what was searching time
-        st.write(f"**Resultados relacionados con:** \"{query}\" ({elapsed_time} sec.)")
-        # then we use loop to show results
-        for i, answer in enumerate(results):
-            # answer starts with header
-            st.subheader(f"{answer[1]}")
-            # cropped answer
-            doc = answer[2][:250] + "..."
-            # and url to the full answer
-            #url = f"https://www.comisiondelaverdad.co/sites/default/files/descargables/2022-06/Informe%20Final%20capi%CC%81tulo%20Hallazgos%20y%20recomendaciones.pdf#page={answer[5]+1}"
-            url = f"https://petro.presidencia.gov.co/Documents/230213-Reforma-salud.pdf"
-            # then we display it
-            #st.markdown(f'{doc}\n<br>Fuente: {answer[4]}\n<br>Capítulo: {answer[3]}\n<br>P��gina: {answer[5]}\n[**Lee más aquí**]({url})\n', unsafe_allow_html=True)
-            st.markdown(f"{doc}[**Lee más aquí**]({url})")
-            st.caption(f"Fuente: {answer[4]} - Capítulo: {answer[3]} - Página: {answer[5]}")
-            
-        st.markdown("---")
-    else:
-        st.markdown("""Cuanto más contexto le des a la pregunta, mejor funciona. puedes escribir consultas como: _**\"¿periodo con más detenciones arbitrarias registradas?\"**_,\_**\"¿cantidad de víctimas en la masacre de bojayá?\"**_,\
-                    _**\"¿cuantas víctimas de desplazamiento en antioquia?\"**_""")
-        st.markdown("""
-     <div align="right">
-    Creado por Jorge Henao 🇨🇴 <a href="https://twitter.com/jhenaotw" target='_blank'>Twitter</a> <a     href="https://www.linkedin.com/in/henaojorge" target='_blank'/>LinkedIn</a>    </div>
-        """, unsafe_allow_html=True)
+# Sidebar
+index = None
+doc = None
+selected_index = None
 
-        description = """
-        <p>
-        <h2>Sobre esta iniciativa</h2>
-        Se enmarca en la construcción de ciudadanía, la creación de valor público y el fortalecimiento de la democracia participativa desde la invitación a la población a informarse, conocer, compartir y dialogar en torno a la memoria histórica y a la verdad del conflicto armado colombiano, partiendo del Informe de la Comisión de la Verdad, se espera incluir varias fuentes adicionales. Hace parte de un proyecto open-source que utiliza Inteligencia Artificial para contribuir al entendimiento de temas relevantes para el país.<a href= "https://github.com/jorge-henao/ask_to_democracy"> repo en github con FastAPI</a>
-        </br></br>Por: Jorge Henao 🇨🇴 <a href="https://twitter.com/jhenaotw" target='_blank'>Twitter</a> <a href="https://www.linkedin.com/in/henaojorge" target='_blank'/>LinkedIn</a>
-        <h2>¿Cómo utilizar este espacio?</h2>
-        Puedes escribir oraciones abiertas como “Masacres en Antioquia”, o una pregunta concreta como “¿cantidad de víctimas en la masacre de bojayá?”. No se trata de un sistema de búsquedas basado en palabras clave, por el contrario, puedes redactar preguntas más extensas y elaboradas. Cuanto más contexto le des a la pregunta, mejor funciona.        
-        <h2>Beta disclaimer</h2>
-        Las respuestas que arroja el sistema no han sido pregrabadas ni basadas en opiniones. Todas son respuestas extraídas del Informe final de la CEV, por un sistema en beta. Este explorador se basa en un modelo de inteligencia artificial entrenado para entender el lenguaje español, sin embargo, necesita de un mayor entrenamiento por lo que, en ocasiones, puede ser confuso y no tan preciso. 
-        Si quieres apoyar escríbeme a <a href="mailto:jorge.[email protected]">[email protected]</a>
-        </p>      
-        """
-        st.markdown(description, unsafe_allow_html=True)
-        
+with st.sidebar:
+  st.write("Ask2Democracy 🇨🇴")
+  selected_index = st.selectbox("Seleccion la colección sobre el que deseas buscar", 
+                                ["Propuesta Reforma de la salud 2023", 
+                                 "Hallazgos de la comisión de la verdad 2022"])
+          
+tab1, tab2 = st.tabs(["Buscar", "About"])
+with tab1:
+  query = st.text_area("Escribe tu pregunta", on_change=clear_submit)
+  button = st.button("Buscar")
+  if button or st.session_state.get("submit"):
+      if not query:
+          st.error("¡escribe una pregunta!")
+      else:
+          st.session_state["submit"] = True
+          search_and_show_results(st)
+          
+with tab2:
+  st.markdown("### Beta disclaimer")
+  desc = """Sistema experimental en beta. Las respuestas que arroja el sistema no han sido pregrabadas ni basadas en opiniones. 
+  Los documentos indexados han sido tomados de fuentes oficiales. Como el informe final de la CEV y la página oficial de la presidencia de la república de Colombia.
+  Este explorador usa modelos de inteligencia artificial que ayudan a entender el lenguaje español, sin embargo, 
+  necesita de un mayor entrenamiento por lo que, en ocasiones, puede ser confuso y no tan preciso. 
+  Si quieres apoyar escríbeme a [email protected]
+  """
+  st.write(desc)
+  st.write("### Here's how it works:")
+  st.write("""Usa sentence transformers nombremodelo
+  nombre modelo reader
+  pinecode dtabase
+  Por: Jorge Henao 🇨🇴 Twitter LinkedIn
+  repo en github con FastAPI / HayStack""")
+  st.markdown("""---""")
+  st.write('Author: <a href="https://www.linkedin.com/in/daniel-avila-arias/">Daniel Avila</a>', unsafe_allow_html=True)
+  st.write('Repo: <a href="https://github.com/davila7/semantic-search">Github</a>', unsafe_allow_html=True)