Improve ENV VARIABLE MANAGMENT

app.py

@@ -1,24 +1,28 @@
 import gradio as gr
-from utils import load_users
 from bedrock_client import bedrock_llm
 from langchain.schema import SystemMessage, HumanMessage, AIMessage
 import os
+from distutils.util import strtobool
 
 
+MULTIMODAL = False
+
+# 1) convert common truthy/falsy strings to bool
+try:
+    MULTIMODAL = bool(strtobool(MULTIMODAL))
+except ValueError:
+    # catch unrecognized values
+    raise ValueError(f"Invalid MULTIMODAL value: {MULTIMODAL!r}. Use true/false, 1/0, yes/no.")
+
 AUTHS = [(os.environ.get('USER'), os.environ.get('PW'))]
 
+SYSTEM_PROMPT = os.environ.get('SYSTEM_PROMPT', '')
+
+
 def chat(message, history):
-    # 3a) Build Bedrock input (with system prompt + raw dict‐history)
-    system_prompt = (
-        "Du bist DevalBot, ein konversationeller Assistent des Deutschen Evaluierungsinstituts "
-        "für Entwicklungsbewertung (DEval). DEval bietet staatlichen und zivilgesellschaftlichen "
-        "Organisationen in der Entwicklungszusammenarbeit unabhängige und wissenschaftlich fundierte "
-        "Evaluierungen. Deine Hauptsprache ist Deutsch; antworte daher standardmäßig auf Deutsch. "
-        "Du kannst zudem bei statistischen Analysen und Programmierung in Stata und R unterstützen."
-    )
 
     # 1) start with the system prompt
-    history_langchain_format: list = [SystemMessage(content=system_prompt)]
+    history_langchain_format: list = [SystemMessage(content=SYSTEM_PROMPT)]
 
     # 2) replay the user/assistant turns
     for msg in history:
@@ -31,7 +35,9 @@ def chat(message, history):
     history_langchain_format.append(HumanMessage(content=message))
 
     stream =bedrock_llm.stream(history_langchain_format)
+
     full = next(stream)
+
     for chunk in stream:
          full +=chunk
          yield full.content
@@ -62,8 +68,6 @@ with gr.Blocks(css_paths=["static/deval.css"],theme = gr.themes.Default(primary_
                 "sowie sensible erhobene Daten (wie etwa Interviewtranskripte).", elem_id="header-text"
             )
 
-    #Hinweis: Bitte gebe keine vertraulichen Informationen ein. Dazu zählen u.a. sensible personenbezogene Daten, institutsinterne Informationen oder Dokumente, unveröffentlichte Berichtsinhalte, vertrauliche Informationen oder Dokumente externer Organisationen sowie sensible erhobene Daten (wie etwa Interviewtranskripte).
-    #logout_btn = gr.Button("Logout", elem_id="logout-btn")
     # inject auto-reload script
     gr.HTML(
         """
@@ -78,11 +82,12 @@ with gr.Blocks(css_paths=["static/deval.css"],theme = gr.themes.Default(primary_
     gr.ChatInterface(
         chat,
         type="messages",
+        multimodal=MULTIMODAL,
         editable=True,
-        concurrency_limit=200,
+        concurrency_limit=20,
         save_history=True,
     )
     
 
 
-demo.queue().launch(auth=AUTHS,share=True, ssr_mode=False)
+demo.queue().launch( ssr_mode=False)

bedrock_client.py

@@ -4,24 +4,15 @@ from langchain_aws.chat_models import ChatBedrockConverse
 from langchain_aws.llms.bedrock import BedrockLLM
 
 
-# bedrock_llm1 = BedrockLLM(
-#     aws_access_key_id     = os.environ["AWS_ACCESS_KEY_ID"],
-#     aws_secret_access_key = os.environ["AWS_SECRET_ACCESS_KEY"],
-#     region_name           = "eu-west-1",
-#     provider              = "mistral",
-#     model_id              = "mistral.mistral-large-2402-v1:0",
-#     streaming             = True,
-#     model_kwargs          = {"temperature": 0.7},
-#  )
-
 # Initialize the streaming Bedrock chat model
 bedrock_llm = ChatBedrockConverse(
-    aws_access_key_id       =os.environ.get("AWS_ACCESS_KEY_ID"),
-    aws_secret_access_key   =os.environ.get("AWS_SECRET_ACCESS_KEY"),
-    region_name             =os.environ.get("AWS_DEFAULT_REGION", "eu-west-1"),
+    aws_access_key_id       = os.environ.get("AWS_ACCESS_KEY_ID"),
+    aws_secret_access_key   = os.environ.get("AWS_SECRET_ACCESS_KEY"),
+    region_name             = os.environ.get("AWS_DEFAULT_REGION", "eu-west-1"),
     provider                = os.environ.get("PROVIDER", "mistral"),
-    model_id                =os.environ.get("MODEL_ID", "mistral.mistral-large-2402-v1:0"),  # or your preferred Bedrock model
-    temperature= 0.7)
+    model_id                = os.environ.get("MODEL_ID", "mistral.mistral-large-2402-v1:0"),  # or your preferred Bedrock model
+    temperature             = eval(os.environ.get("TEMPERATURE", "0.7"))
+    )