Update app.py

app.py

@@ -1,79 +1,172 @@
-import gradio as gr
-import groq_gradio
+Hugging Face's logo
+Hugging Face
+Search models, datasets, users...
+Models
+Datasets
+Spaces
+Posts
+Docs
+Enterprise
+Pricing
+
+
+
+Spaces:
+
+dromerosm
+/
+groq-llama3
+
+
+like
+29
+App
+Files
+Community
+groq-llama3
+/
+app.py
+
+dromerosm's picture
+dromerosm
+Update app.py
+81a6356
+verified
+4 months ago
+raw
+
+Copy download link
+history
+blame
+contribute
+delete
+
+4.5 kB
 import os
-import openai
+from dotenv import find_dotenv, load_dotenv
+import streamlit as st
+from typing import Generator
+from groq import Groq
 
-# Set up the client to interact with Groq API through OpenAI's endpoint
-client = openai.OpenAI(
-    base_url="https://api.groq.com/openai/v1",  # URL for Groq's API endpoint
-    api_key=os.environ.get("GROQ_API_KEY")   # Retrieve the API key from environment variables
-)
-
-# Example usage of the client (sending a request to Groq API)
-response = client.completions.create(
-    model="gpt-4",  # You can replace with the desired model
-    prompt="Provide a summary of the Groq API documentation",
-    max_tokens=100
-)
-
-
-
-print(response.choices[0].text.strip())  # Output the response from Groq API
-
-
-gr.load(
-    name = "Ai;)",
-    src = groq_gradio.registry,
-    title = "Groq-Gradio Chat",
-    theme =  "upsatwal/mlsc_tiet",
-    examples = [""""
-    
-###system_prompt''' 
-
-**Техническая задача**: Написание привлекательного и дружелюбного объявления для сдачи в аренду недвижимости, которое будет содержать ключевую информацию для потенциальных арендаторов и описывать преимущества квартиры.
+_ = load_dotenv(find_dotenv())
+st.set_page_config(page_icon="📃", layout="wide", page_title="Groq & LLaMA3.1 Chat Bot...")
 
-### Шаги для выполнения
 
-1. **Сбор основной информации**:
-   - **Адрес и окружение**: Уточните полный адрес квартиры, ближайшие достопримечательности, транспортные узлы, магазины, школы, парки и другие важные объекты. Если есть ссылка на Google Maps, предоставьте её для более детального анализа окружения.
-   - **Состояние квартиры и ремонт**: Опишите текущее состояние квартиры, какие ремонтные работы были проведены, качество и стиль отделки, а также удобства (например, мебель, техника, кондиционер, отопление).
-   - **Цена**: Укажите стоимость аренды в месяц, возможные скидки или условия, например, скидки на долгосрочную аренду.
-   - **Фото**: Если есть фотографии квартиры, предоставьте их для анализа и детализации.
+def icon(emoji: str):
+    """Shows an emoji as a Notion-style page icon."""
+    st.write(
+        f'<span style="font-size: 78px; line-height: 1">{emoji}</span>',
+        unsafe_allow_html=True,
+    )
 
-2. **На основе предоставленных данных**:
-   - Провести анализ окружения по Google Maps, описав близлежащие объекты, удобства района, инфраструктуру и любые уникальные особенности.
-   - При наличии фотографий анализировать их для добавления деталей об интерьере, чтобы подчеркнуть особенности, которые помогут привлечь арендаторов (например, большие окна, новая техника, удобная планировка).
-   - На основе всех данных создать улучшенное объявление, выделив преимущества квартиры, чтобы оно выглядело дружелюбно и привлекательно для арендаторов.
 
----
+# icon("⚡️")
 
-### Уточняющие вопросы для сбора информации:
+st.subheader("Groq Chat with LLaMA3.1 App", divider="rainbow", anchor=False)
 
-1. Какой точный адрес квартиры?
-2. Есть ли рядом станции метро, остановки транспорта, парки, школы, магазины? Если есть ссылка на Google Maps, приложите её.
-3. В каком состоянии находится квартира? Опишите ремонт, мебель, технику и особенности отделки.
-4. Какова цена аренды? Предусмотрены ли скидки для долгосрочных арендаторов?
-5. Приложите фотографии квартиры для более детального описания.
-
----
-
-### Конечный пример объявления на основе собранной информации (на украинском языке, с локализацией в Киеве):
-
-**Здається в оренду простора 2-кімнатна квартира у центрі Києва, неподалік від метро Палац Україна!**
-
-Адреса: [вказаний адрес]
-
-**Опис квартири**: 
-Світла, сучасна квартира з ремонтом у скандинавському стилі. Простора вітальня, велика кухня з усією необхідною технікою (холодильник, плита, мікрохвильова піч), затишна спальня з великим ліжком. У квартирі є кондиціонер, телевізор, пральна машина, а також багато місця для зберігання.
-
-**Інфраструктура**: 
-Квартира розташована у пішій доступності до станцій метро Палац Україна та Олімпійська, поруч зупинки громадського транспорту. У районі багато магазинів, кафе, парків, дитячих майданчиків, а також ТЦ Океан Плаза – зручне місце для шопінгу.
-
-**Ціна**: ХХХ грн/місяць (можливі знижки для довготривалої оренди).
+client = Groq(
+    api_key=os.environ['GROQ_API_KEY'],
+)
 
-Звертайтесь за деталями, приходьте на огляд і закохайтесь у вашу нову оселю!
-'''
-"""]
-).launch()
-# Define the system prompt with context and detailed instructions
-   
+# Initialize chat history and selected model
+if "messages" not in st.session_state:
+    st.session_state.messages = []
+
+if "selected_model" not in st.session_state:
+    st.session_state.selected_model = None
+
+# Define model details
+models = {
+    "llama-3.1-70b-versatile": {"name": "LLaMA3.1-70b", "tokens": 4096, "developer": "Meta"},
+    "llama-3.1-8b-instant": {"name": "LLaMA3.1-8b", "tokens": 4096, "developer": "Meta"},
+    "llama3-70b-8192": {"name": "Meta Llama 3 70B", "tokens": 4096, "developer": "Meta"},
+    "llama3-8b-8192": {"name": "Meta Llama 3 8B", "tokens": 4096, "developer": "Meta"},
+    "llama3-groq-70b-8192-tool-use-preview": {"name": "Llama 3 Groq 70B Tool Use (Preview)", "tokens": 4096, "developer": "Groq"},
+    "gemma-7b-it": {"name": "Gemma-7b-it", "tokens": 4096, "developer": "Google"},
+    "mixtral-8x7b-32768": {
+        "name": "Mixtral-8x7b-Instruct-v0.1",
+        "tokens": 32768,
+        "developer": "Mistral",
+    },
+}
+
+# Layout for model selection and max_tokens slider
+col1, col2 = st.columns([1, 3])  # Adjust the ratio to make the first column smaller
+
+
+with col1:
+    model_option = st.selectbox(
+        "Choose a model:",
+        options=list(models.keys()),
+        format_func=lambda x: models[x]["name"],
+        index=0,  # Default to the first model in the list
+    )
+    max_tokens_range = models[model_option]["tokens"]
+    max_tokens = st.slider(
+        "Max Tokens:",
+        min_value=512,
+        max_value=max_tokens_range,
+        value=min(32768, max_tokens_range),
+        step=512,
+        help=f"Adjust the maximum number of tokens (words) for the model's response. Max for selected model: {max_tokens_range}",
+    )
+
+# Detect model change and clear chat history if model has changed
+if st.session_state.selected_model != model_option:
+    st.session_state.messages = []
+    st.session_state.selected_model = model_option
+
+# Add a "Clear Chat" button
+if st.button("Clear Chat"):
+    st.session_state.messages = []
+    
+# Display chat messages from history on app rerun
+for message in st.session_state.messages:
+    avatar = "🔋" if message["role"] == "assistant" else "🧑‍💻"
+    with st.chat_message(message["role"], avatar=avatar):
+        st.markdown(message["content"])
+
+
+def generate_chat_responses(chat_completion) -> Generator[str, None, None]:
+    """Yield chat response content from the Groq API response."""
+    for chunk in chat_completion:
+        if chunk.choices[0].delta.content:
+            yield chunk.choices[0].delta.content
+
+
+if prompt := st.chat_input("Enter your prompt here..."):
+    st.session_state.messages.append({"role": "user", "content": prompt})
+
+    with st.chat_message("user", avatar="🧑‍💻"):  
+        st.markdown(prompt)
+
+    # Fetch response from Groq API
+    try:
+        chat_completion = client.chat.completions.create(
+            model=model_option,
+            messages=[
+                {"role": m["role"], "content": m["content"]}
+                for m in st.session_state.messages
+            ],
+            max_tokens=max_tokens,
+            stream=True,
+        )
+
+        # Use the generator function with st.write_stream
+        with st.chat_message("assistant", avatar="🔋"):
+            chat_responses_generator = generate_chat_responses(chat_completion)
+            full_response = st.write_stream(chat_responses_generator)
+    except Exception as e:
+        st.error(e, icon="❌")
+
+    # Append the full response to session_state.messages
+    if isinstance(full_response, str):
+        st.session_state.messages.append(
+            {"role": "assistant", "content": full_response}
+        )
+    else:
+        # Handle the case where full_response is not a string
+        combined_response = "\n".join(str(item) for item in full_response)
+        st.session_state.messages.append(
+            {"role": "assistant", "content": combined_response}
+        )