Spaces:
Sleeping
Sleeping
import gradio as gr | |
from huggingface_hub import InferenceClient | |
import openai | |
import anthropic | |
import os | |
from typing import Optional | |
############################# | |
# [기본코드] - 수정/삭제 불가 | |
############################# | |
# Cohere Command R+ 모델 ID 정의 | |
COHERE_MODEL = "CohereForAI/c4ai-command-r-plus-08-2024" | |
def get_client(model_name): | |
""" | |
모델 이름에 맞춰 InferenceClient 생성. | |
토큰은 환경 변수에서 가져옴. | |
""" | |
hf_token = os.getenv("HF_TOKEN") | |
if not hf_token: | |
raise ValueError("HuggingFace API 토큰이 필요합니다.") | |
if model_name == "Cohere Command R+": | |
model_id = COHERE_MODEL | |
else: | |
raise ValueError("유효하지 않은 모델 이름입니다.") | |
return InferenceClient(model_id, token=hf_token) | |
def respond_cohere_qna( | |
question: str, | |
system_message: str, | |
max_tokens: int, | |
temperature: float, | |
top_p: float | |
): | |
""" | |
Cohere Command R+ 모델을 이용해 한 번의 질문(question)에 대한 답변을 반환하는 함수. | |
""" | |
model_name = "Cohere Command R+" | |
try: | |
client = get_client(model_name) | |
except ValueError as e: | |
return f"오류: {str(e)}" | |
messages = [ | |
{"role": "system", "content": system_message}, | |
{"role": "user", "content": question} | |
] | |
try: | |
response_full = client.chat_completion( | |
messages, | |
max_tokens=max_tokens, | |
temperature=temperature, | |
top_p=top_p, | |
) | |
assistant_message = response_full.choices[0].message.content | |
return assistant_message | |
except Exception as e: | |
return f"오류가 발생했습니다: {str(e)}" | |
def respond_chatgpt_qna( | |
question: str, | |
system_message: str, | |
max_tokens: int, | |
temperature: float, | |
top_p: float | |
): | |
""" | |
ChatGPT(OpenAI) 모델을 이용해 한 번의 질문(question)에 대한 답변을 반환하는 함수. | |
""" | |
openai_token = os.getenv("OPENAI_TOKEN") | |
if not openai_token: | |
return "OpenAI API 토큰이 필요합니다." | |
openai.api_key = openai_token | |
messages = [ | |
{"role": "system", "content": system_message}, | |
{"role": "user", "content": question} | |
] | |
try: | |
response = openai.ChatCompletion.create( | |
model="gpt-4o-mini", | |
messages=messages, | |
max_tokens=max_tokens, | |
temperature=temperature, | |
top_p=top_p, | |
) | |
assistant_message = response.choices[0].message['content'] | |
return assistant_message | |
except Exception as e: | |
return f"오류가 발생했습니다: {str(e)}" | |
def respond_deepseek_qna( | |
question: str, | |
system_message: str, | |
max_tokens: int, | |
temperature: float, | |
top_p: float, | |
model_name: str # 모델 이름 추가 | |
): | |
""" | |
DeepSeek 모델을 이용해 한 번의 질문(question)에 대한 답변을 반환하는 함수. | |
""" | |
deepseek_token = os.getenv("DEEPSEEK_TOKEN") | |
if not deepseek_token: | |
return "DeepSeek API 토큰이 필요합니다." | |
openai.api_key = deepseek_token | |
openai.api_base = "https://api.deepseek.com/v1" | |
messages = [ | |
{"role": "system", "content": system_message}, | |
{"role": "user", "content": question} | |
] | |
try: | |
response = openai.ChatCompletion.create( | |
model=model_name, # 선택된 모델 사용 | |
messages=messages, | |
max_tokens=max_tokens, | |
temperature=temperature, | |
top_p=top_p, | |
) | |
assistant_message = response.choices[0].message['content'] | |
return assistant_message | |
except Exception as e: | |
return f"오류가 발생했습니다: {str(e)}" | |
def respond_claude_qna( | |
question: str, | |
system_message: str, | |
max_tokens: int, | |
temperature: float, | |
top_p: float, | |
model_name: str # 모델 이름 파라미터 추가 | |
) -> str: | |
""" | |
Claude API를 사용한 개선된 응답 생성 함수. | |
""" | |
claude_api_key = os.getenv("CLAUDE_TOKEN") | |
if not claude_api_key: | |
return "Claude API 토큰이 필요합니다." | |
try: | |
client = anthropic.Anthropic(api_key=claude_api_key) | |
message = client.messages.create( | |
model=model_name, | |
max_tokens=max_tokens, | |
temperature=temperature, | |
system=system_message, | |
messages=[ | |
{"role": "user", "content": question} | |
] | |
) | |
return message.content[0].text | |
except anthropic.APIError as ae: | |
return f"Claude API 오류: {str(ae)}" | |
except anthropic.RateLimitError: | |
return "요청 한도를 초과했습니다. 잠시 후 다시 시도해주세요." | |
except Exception as e: | |
return f"예상치 못한 오류가 발생했습니다: {str(e)}" | |
def respond_o1mini_qna( | |
question: str, | |
system_message: str, | |
max_tokens: int, | |
temperature: float | |
): | |
""" | |
o1-mini 모델을 이용해 한 번의 질문(question)에 대한 답변을 반환하는 함수. | |
o1-mini에서는 'system' 메시지를 지원하지 않으므로 system_message와 question을 하나의 'user' 메시지로 합쳐 전달합니다. | |
또한, o1-mini에서는 'max_tokens' 대신 'max_completion_tokens'를 사용하며, temperature는 고정값 1만 지원합니다. | |
""" | |
openai_token = os.getenv("OPENAI_TOKEN") | |
if not openai_token: | |
return "OpenAI API 토큰이 필요합니다." | |
openai.api_key = openai_token | |
combined_message = f"{system_message}\n\n{question}" | |
messages = [{"role": "user", "content": combined_message}] | |
try: | |
response = openai.ChatCompletion.create( | |
model="o1-mini", | |
messages=messages, | |
max_completion_tokens=max_tokens, | |
temperature=1, # 고정된 값 1 사용 | |
) | |
assistant_message = response.choices[0].message['content'] | |
return assistant_message | |
except Exception as e: | |
return f"오류가 발생했습니다: {str(e)}" | |
def respond_gemini_qna( | |
question: str, | |
system_message: str, | |
max_tokens: int, | |
temperature: float, | |
top_p: float, # top_p는 Gemini API에서 지원되면 전달됩니다. | |
model_id: str | |
): | |
""" | |
Gemini 모델(예: "gemini-2.0-flash", "gemini-2.0-flash-lite-preview-02-05")을 이용해 | |
질문(question)에 대한 답변을 반환하는 함수. | |
최신 google-generativeai 라이브러리를 사용합니다. | |
""" | |
import os | |
try: | |
import google.generativeai as genai | |
except ModuleNotFoundError: | |
return ("오류가 발생했습니다: 'google-generativeai' 모듈을 찾을 수 없습니다. " | |
"해결 방법: 'pip install --upgrade google-generativeai' 를 실행하여 설치해주세요.") | |
gemini_api_key = os.getenv("GEMINI_API_KEY") | |
if not gemini_api_key: | |
return "Gemini API 토큰이 필요합니다." | |
# API 키 설정 | |
genai.configure(api_key=gemini_api_key) | |
# system_message와 question을 하나의 프롬프트로 결합 | |
prompt = f"{system_message}\n\n{question}" | |
try: | |
# 최신 SDK에서는 GenerativeModel 클래스를 사용합니다. | |
model = genai.GenerativeModel(model_name=model_id) | |
response = model.generate_content(prompt) | |
return response.text | |
except Exception as e: | |
return f"오류가 발생했습니다: {str(e)}" | |
############################# | |
# [기본코드] UI 부분 - 수정/삭제 불가 (탭 순서: OpenAI, Gemini, Claude, DeepSeek, Cohere Command R+) | |
############################# | |
with gr.Blocks() as demo: | |
gr.Markdown("# LLM 플레이그라운드") | |
################# | |
# OpenAI 탭 (gpt-4o-mini / o1-mini 통합) | |
################# | |
with gr.Tab("OpenAI"): | |
openai_model_radio = gr.Radio( | |
choices=["gpt-4o-mini", "o1-mini"], | |
label="모델 선택", | |
value="gpt-4o-mini" | |
) | |
with gr.Column(visible=True) as chatgpt_ui: | |
chatgpt_input1_o = gr.Textbox(label="입력1", lines=1) | |
chatgpt_input2_o = gr.Textbox(label="입력2", lines=1) | |
chatgpt_input3_o = gr.Textbox(label="입력3", lines=1) | |
chatgpt_input4_o = gr.Textbox(label="입력4", lines=1) | |
chatgpt_input5_o = gr.Textbox(label="입력5", lines=1) | |
chatgpt_answer_output_o = gr.Textbox(label="결과", lines=5, interactive=False) | |
with gr.Accordion("고급 설정 (gpt-4o-mini)", open=False): | |
chatgpt_system_message_o = gr.Textbox( | |
value="""반드시 한글로 답변할 것. | |
너는 ChatGPT, OpenAI에서 개발한 언어 모델이다. | |
내가 요구하는 것을 최대한 자세하고 정확하게 답변하라. | |
""", | |
label="System Message", | |
lines=3 | |
) | |
chatgpt_max_tokens_o = gr.Slider(minimum=100, maximum=4000, value=2000, step=100, label="Max Tokens") | |
chatgpt_temperature_o = gr.Slider(minimum=0.1, maximum=2.0, value=0.7, step=0.05, label="Temperature") | |
chatgpt_top_p_o = gr.Slider(minimum=0.1, maximum=1.0, value=0.95, step=0.05, label="Top-P") | |
chatgpt_submit_button_o = gr.Button("전송") | |
def merge_and_call_chatgpt_o(i1, i2, i3, i4, i5, sys_msg, mt, temp, top_p_): | |
question = " ".join([i1, i2, i3, i4, i5]) | |
return respond_chatgpt_qna( | |
question=question, | |
system_message=sys_msg, | |
max_tokens=mt, | |
temperature=temp, | |
top_p=top_p_ | |
) | |
chatgpt_submit_button_o.click( | |
fn=merge_and_call_chatgpt_o, | |
inputs=[ | |
chatgpt_input1_o, chatgpt_input2_o, chatgpt_input3_o, chatgpt_input4_o, chatgpt_input5_o, | |
chatgpt_system_message_o, | |
chatgpt_max_tokens_o, | |
chatgpt_temperature_o, | |
chatgpt_top_p_o | |
], | |
outputs=chatgpt_answer_output_o | |
) | |
with gr.Column(visible=False) as o1mini_ui: | |
o1mini_input1_o = gr.Textbox(label="입력1", lines=1) | |
o1mini_input2_o = gr.Textbox(label="입력2", lines=1) | |
o1mini_input3_o = gr.Textbox(label="입력3", lines=1) | |
o1mini_input4_o = gr.Textbox(label="입력4", lines=1) | |
o1mini_input5_o = gr.Textbox(label="입력5", lines=1) | |
o1mini_answer_output_o = gr.Textbox(label="결과", lines=5, interactive=False) | |
with gr.Accordion("고급 설정 (o1-mini)", open=False): | |
o1mini_system_message_o = gr.Textbox( | |
value="""반드시 한글로 답변할 것. | |
너는 o1-mini, OpenAI에서 개발한 경량 언어 모델이다. | |
내가 요구하는 것을 최대한 자세하고 정확하게 답변하라. | |
""", | |
label="System Message", | |
lines=3 | |
) | |
o1mini_max_tokens_o = gr.Slider(minimum=100, maximum=4000, value=2000, step=100, label="Max Tokens") | |
o1mini_temperature_o = gr.Slider(minimum=0.1, maximum=2.0, value=0.7, step=0.05, label="Temperature") | |
o1mini_submit_button_o = gr.Button("전송") | |
def merge_and_call_o1mini_o(i1, i2, i3, i4, i5, sys_msg, mt, temp): | |
question = " ".join([i1, i2, i3, i4, i5]) | |
return respond_o1mini_qna( | |
question=question, | |
system_message=sys_msg, | |
max_tokens=mt, | |
temperature=temp | |
) | |
o1mini_submit_button_o.click( | |
fn=merge_and_call_o1mini_o, | |
inputs=[ | |
o1mini_input1_o, o1mini_input2_o, o1mini_input3_o, o1mini_input4_o, o1mini_input5_o, | |
o1mini_system_message_o, | |
o1mini_max_tokens_o, | |
o1mini_temperature_o | |
], | |
outputs=o1mini_answer_output_o | |
) | |
def update_openai_ui(model_choice): | |
if model_choice == "gpt-4o-mini": | |
return gr.update(visible=True), gr.update(visible=False) | |
else: | |
return gr.update(visible=False), gr.update(visible=True) | |
openai_model_radio.change( | |
fn=update_openai_ui, | |
inputs=openai_model_radio, | |
outputs=[chatgpt_ui, o1mini_ui] | |
) | |
################# | |
# Gemini 탭 | |
################# | |
with gr.Tab("Gemini"): | |
gemini_model_radio = gr.Radio( | |
choices=["gemini-2.0-flash", "gemini-2.0-flash-lite-preview-02-05"], | |
label="모델 선택", | |
value="gemini-2.0-flash" | |
) | |
gemini_input1 = gr.Textbox(label="입력1", lines=1) | |
gemini_input2 = gr.Textbox(label="입력2", lines=1) | |
gemini_input3 = gr.Textbox(label="입력3", lines=1) | |
gemini_input4 = gr.Textbox(label="입력4", lines=1) | |
gemini_input5 = gr.Textbox(label="입력5", lines=1) | |
gemini_answer_output = gr.Textbox(label="결과", lines=5, interactive=False) | |
with gr.Accordion("고급 설정 (Gemini)", open=False): | |
gemini_system_message = gr.Textbox( | |
value="""반드시 한글로 답변할 것. | |
너는 Gemini 모델이다. | |
내가 요구하는 것을 최대한 자세하고 정확하게 답변하라. | |
""", | |
label="System Message", | |
lines=3 | |
) | |
gemini_max_tokens = gr.Slider(minimum=100, maximum=4000, value=2000, step=100, label="Max Tokens") | |
gemini_temperature = gr.Slider(minimum=0.1, maximum=2.0, value=0.7, step=0.05, label="Temperature") | |
gemini_top_p = gr.Slider(minimum=0.1, maximum=1.0, value=0.95, step=0.05, label="Top-P") | |
gemini_submit_button = gr.Button("전송") | |
def merge_and_call_gemini(i1, i2, i3, i4, i5, sys_msg, mt, temp, top_p_, model_radio): | |
question = " ".join([i1, i2, i3, i4, i5]) | |
return respond_gemini_qna( | |
question=question, | |
system_message=sys_msg, | |
max_tokens=mt, | |
temperature=temp, | |
top_p=top_p_, | |
model_id=model_radio | |
) | |
gemini_submit_button.click( | |
fn=merge_and_call_gemini, | |
inputs=[ | |
gemini_input1, gemini_input2, gemini_input3, gemini_input4, gemini_input5, | |
gemini_system_message, | |
gemini_max_tokens, | |
gemini_temperature, | |
gemini_top_p, | |
gemini_model_radio | |
], | |
outputs=gemini_answer_output | |
) | |
################# | |
# Claude 탭 | |
################# | |
with gr.Tab("Claude"): | |
claude_model_radio = gr.Radio( | |
choices=[ | |
"claude-3-haiku-20240307", | |
"claude-3-5-haiku-20241022", | |
"claude-3-5-sonnet-20241022" | |
], | |
label="모델 선택", | |
value="claude-3-5-sonnet-20241022" | |
) | |
claude_input1 = gr.Textbox(label="입력1", lines=1) | |
claude_input2 = gr.Textbox(label="입력2", lines=1) | |
claude_input3 = gr.Textbox(label="입력3", lines=1) | |
claude_input4 = gr.Textbox(label="입력4", lines=1) | |
claude_input5 = gr.Textbox(label="입력5", lines=1) | |
claude_answer_output = gr.Textbox(label="결과", interactive=False, lines=5) | |
with gr.Accordion("고급 설정 (Claude)", open=False): | |
claude_system_message = gr.Textbox( | |
label="System Message", | |
value="""반드시 한글로 답변할 것. | |
너는 Anthropic에서 개발한 클로드이다. | |
최대한 정확하고 친절하게 답변하라. | |
""", | |
lines=3 | |
) | |
claude_max_tokens = gr.Slider(minimum=100, maximum=4000, value=2000, step=100, label="Max Tokens") | |
claude_temperature = gr.Slider(minimum=0.1, maximum=2.0, value=0.7, step=0.05, label="Temperature") | |
claude_top_p = gr.Slider(minimum=0.1, maximum=1.0, value=0.95, step=0.05, label="Top-p") | |
claude_submit_button = gr.Button("전송") | |
def merge_and_call_claude(i1, i2, i3, i4, i5, sys_msg, mt, temp, top_p_, model_radio): | |
question = " ".join([i1, i2, i3, i4, i5]) | |
return respond_claude_qna( | |
question=question, | |
system_message=sys_msg, | |
max_tokens=mt, | |
temperature=temp, | |
top_p=top_p_, | |
model_name=model_radio | |
) | |
claude_submit_button.click( | |
fn=merge_and_call_claude, | |
inputs=[ | |
claude_input1, claude_input2, claude_input3, claude_input4, claude_input5, | |
claude_system_message, | |
claude_max_tokens, | |
claude_temperature, | |
claude_top_p, | |
claude_model_radio | |
], | |
outputs=claude_answer_output | |
) | |
################# | |
# DeepSeek 탭 | |
################# | |
with gr.Tab("DeepSeek"): | |
deepseek_model_radio = gr.Radio( | |
choices=["V3 (deepseek-chat)", "R1 (deepseek-reasoner)"], | |
label="모델 선택", | |
value="V3 (deepseek-chat)" | |
) | |
deepseek_input1 = gr.Textbox(label="입력1", lines=1) | |
deepseek_input2 = gr.Textbox(label="입력2", lines=1) | |
deepseek_input3 = gr.Textbox(label="입력3", lines=1) | |
deepseek_input4 = gr.Textbox(label="입력4", lines=1) | |
deepseek_input5 = gr.Textbox(label="입력5", lines=1) | |
deepseek_answer_output = gr.Textbox(label="결과", lines=5, interactive=False) | |
with gr.Accordion("고급 설정 (DeepSeek)", open=False): | |
deepseek_system_message = gr.Textbox( | |
value="""반드시 한글로 답변할 것. | |
너는 DeepSeek-V3, 최고의 언어 모델이다. | |
내가 요구하는 것을 최대한 자세하고 정확하게 답변하라. | |
""", | |
label="System Message", | |
lines=3 | |
) | |
deepseek_max_tokens = gr.Slider(minimum=100, maximum=4000, value=2000, step=100, label="Max Tokens") | |
deepseek_temperature = gr.Slider(minimum=0.1, maximum=2.0, value=0.7, step=0.05, label="Temperature") | |
deepseek_top_p = gr.Slider(minimum=0.1, maximum=1.0, value=0.95, step=0.05, label="Top-P") | |
deepseek_submit_button = gr.Button("전송") | |
def merge_and_call_deepseek(i1, i2, i3, i4, i5, sys_msg, mt, temp, top_p_, model_radio): | |
if model_radio == "V3 (deepseek-chat)": | |
model_name = "deepseek-chat" | |
else: | |
model_name = "deepseek-reasoner" | |
question = " ".join([i1, i2, i3, i4, i5]) | |
return respond_deepseek_qna( | |
question=question, | |
system_message=sys_msg, | |
max_tokens=mt, | |
temperature=temp, | |
top_p=top_p_, | |
model_name=model_name | |
) | |
deepseek_submit_button.click( | |
fn=merge_and_call_deepseek, | |
inputs=[ | |
deepseek_input1, deepseek_input2, deepseek_input3, deepseek_input4, deepseek_input5, | |
deepseek_system_message, | |
deepseek_max_tokens, | |
deepseek_temperature, | |
deepseek_top_p, | |
deepseek_model_radio | |
], | |
outputs=deepseek_answer_output | |
) | |
################# | |
# Cohere Command R+ 탭 | |
################# | |
with gr.Tab("Cohere Command R+"): | |
cohere_input1 = gr.Textbox(label="입력1", lines=1) | |
cohere_input2 = gr.Textbox(label="입력2", lines=1) | |
cohere_input3 = gr.Textbox(label="입력3", lines=1) | |
cohere_input4 = gr.Textbox(label="입력4", lines=1) | |
cohere_input5 = gr.Textbox(label="입력5", lines=1) | |
cohere_answer_output = gr.Textbox(label="결과", lines=5, interactive=False) | |
with gr.Accordion("고급 설정 (Cohere)", open=False): | |
cohere_system_message = gr.Textbox( | |
value="""반드시 한글로 답변할 것. | |
너는 최고의 비서이다. | |
내가 요구하는것들을 최대한 자세하고 정확하게 답변하라. | |
""", | |
label="System Message", | |
lines=3 | |
) | |
cohere_max_tokens = gr.Slider(minimum=100, maximum=10000, value=4000, step=100, label="Max Tokens") | |
cohere_temperature = gr.Slider(minimum=0.1, maximum=2.0, value=0.7, step=0.1, label="Temperature") | |
cohere_top_p = gr.Slider(minimum=0.1, maximum=1.0, value=0.95, step=0.05, label="Top-P") | |
cohere_submit_button = gr.Button("전송") | |
def merge_and_call_cohere(i1, i2, i3, i4, i5, sys_msg, mt, temp, top_p_): | |
question = " ".join([i1, i2, i3, i4, i5]) | |
return respond_cohere_qna( | |
question=question, | |
system_message=sys_msg, | |
max_tokens=mt, | |
temperature=temp, | |
top_p=top_p_ | |
) | |
cohere_submit_button.click( | |
fn=merge_and_call_cohere, | |
inputs=[ | |
cohere_input1, cohere_input2, cohere_input3, cohere_input4, cohere_input5, | |
cohere_system_message, | |
cohere_max_tokens, | |
cohere_temperature, | |
cohere_top_p | |
], | |
outputs=cohere_answer_output | |
) | |
############################# | |
# 메인 실행부 | |
############################# | |
if __name__ == "__main__": | |
demo.launch() | |