Update app.py

app.py

@@ -18,7 +18,7 @@ models = {
 def get_client(model):
     return InferenceClient(model=model, token=hf_token)
 
-# 응답 생성 함수
+# 응답 생성 함수 (스트리밍 방식, 자문자답 방지)
 def respond(prompt, system_message, max_tokens, temperature, top_p, selected_model):
     stop_event.clear()
     client = get_client(selected_model)
@@ -44,11 +44,10 @@ def respond(prompt, system_message, max_tokens, temperature, top_p, selected_mod
                 break
             if chunk:
                 response += chunk
-
-        return [(prompt, response)]  # 대화창에 프롬프트와 응답을 표시
+                yield [(prompt, response.strip())]  # 실시간으로 부분적인 응답 반환
     
     except Exception as e:
-        return [(prompt, f"오류 발생: {str(e)}")]
+        yield [(prompt, f"오류 발생: {str(e)}")]
 
 # 응답 중단 함수
 def stop_generation():
@@ -62,7 +61,7 @@ with gr.Blocks() as demo:
     **주의사항:**
     - '전송' 버튼을 클릭하거나 입력 필드에서 Shift+Enter를 눌러 메시지를 전송할 수 있습니다.
     - Enter 키는 줄바꿈으로 작동합니다.
-    - 입력한 내용에 대해서만 응답하도록 설정되어 있지만, 모델이 때때로 예상치 못한 방식으로 응답할 수 있습니다.
+    - 입력한 내용에 대해서만 응답하도록 설정되어 있으며, 모델이 추가 질문을 만들거나 입력을 확장하지 않도록 설정됩니다.
     """)
     
     with gr.Row():
@@ -74,7 +73,7 @@ with gr.Blocks() as demo:
                 top_p = gr.Slider(minimum=0.1, maximum=1.0, value=0.90, step=0.05, label="Top-p (핵 샘플링)")
             
             system_message = gr.Textbox(
-                value="너는 나의 최고의 비서이다.\n내가 요구하는것들을 최대한 자세하고 정확하게 답변하라.\n반드시 한글로 답변할것.\n사용자의 입력 내용에만 직접적으로 답변하고, 추가 질문을 만들거나 입력을 확장하지 마라.",
+                value="너는 나의 최고의 비서이다.\n내가 요구하는 것들에 대해 정확하고 간결하게 답변하라.\n반드시 한글로 답변할 것.\n사용자의 입력 내용에만 직접적으로 답변하고, 추가 질문을 만들거나 입력을 확장하지 마라.",
                 label="시스템 메시지",
                 lines=5
             )