Update app.py

app.py

@@ -1,6 +1,8 @@
 import gradio as gr
 import requests
 import os
+import json
+from collections import deque
 
 # 환경 변수에서 API 토큰 가져오기
 TOKEN = os.getenv("HUGGINGFACE_API_TOKEN")
@@ -9,6 +11,9 @@ TOKEN = os.getenv("HUGGINGFACE_API_TOKEN")
 if not TOKEN:
     raise ValueError("API token is not set. Please set the HUGGINGFACE_API_TOKEN environment variable.")
 
+# 대화 기록을 관리하는 큐 (최대 10개의 대화 기록을 유지)
+memory = deque(maxlen=10)
+
 def respond(
     message,
     history: list[tuple[str, str]],
@@ -17,16 +22,18 @@ def respond(
     temperature=0.7,
     top_p=0.95,
 ):
+    # 현재 대화 내용을 메모리에 추가
+    memory.append((message, None))
+
     messages = [{"role": "system", "content": system_message}]
 
-    for val in history:
+    # 메모리에서 대화 기록을 가져와 메시지 목록에 추가
+    for val in memory:
         if val[0]:
             messages.append({"role": "user", "content": val[0]})
         if val[1]:
             messages.append({"role": "assistant", "content": val[1]})
 
-    messages.append({"role": "user", "content": message})
-
     headers = {
         "Authorization": f"Bearer {TOKEN}",
         "Content-Type": "application/json"
@@ -50,6 +57,9 @@ def respond(
             # content 영역만 출력
             if "choices" in response_json:
                 content = response_json["choices"][0]["message"]["content"]
+                response_text = content
+                # 마지막 대화에 모델의 응답을 추가하여 메모리에 저장
+                memory[-1] = (message, response_text)
                 yield content
 
 theme="Nymbo/Nymbo_Theme"
@@ -72,4 +82,4 @@ demo = gr.ChatInterface(
 )
 
 if __name__ == "__main__":
-    demo.launch()
+    demo.queue(concurrency_count=20).launch()  # 큐를 10으로 설정하여 동시 처리 가능