Update app.py

app.py

@@ -4,7 +4,6 @@ from PIL import Image
 import gradio as gr
 import logging
 import re
-import io
 from io import BytesIO
 
 from google import genai
@@ -22,111 +21,115 @@ def save_binary_file(file_name, data):
     with open(file_name, "wb") as f:
         f.write(data)
 
+def translate_prompt_to_english(prompt):
+    """
+    입력된 프롬프트에 한글이 포함되어 있으면 Gemini‑2.0‑flash 모델을 사용하여 영어로 번역합니다.
+    한글이 없으면 원본 프롬프트를 그대로 반환합니다.
+    """
+    if not re.search("[가-힣]", prompt):
+        return prompt
+    try:
+        api_key = os.environ.get("GEMINI_API_KEY")
+        if not api_key:
+            logger.error("Gemini API 키가 설정되지 않았습니다.")
+            return prompt
+        client = genai.Client(api_key=api_key)
+        translation_prompt = f"Translate the following Korean text to English:\n\n{prompt}"
+        logger.info(f"Translation prompt: {translation_prompt}")
+        response = client.models.generate_content(
+            model="gemini-2.0-flash",
+            contents=[translation_prompt],
+            config=types.GenerateContentConfig(
+                response_modalities=['Text'],
+                temperature=0.2,
+                top_p=0.95,
+                top_k=40,
+                max_output_tokens=512
+            )
+        )
+        translated_text = ""
+        for part in response.candidates[0].content.parts:
+            if hasattr(part, 'text') and part.text:
+                translated_text += part.text
+        if translated_text.strip():
+            logger.info(f"Translated text: {translated_text.strip()}")
+            return translated_text.strip()
+        else:
+            logger.warning("번역 결과가 없습니다. 원본 프롬프트 사용")
+            return prompt
+    except Exception as e:
+        logger.exception("번역 중 오류 발생:")
+        return prompt
+
 def preprocess_prompt(prompt, image1, image2, image3):
     """
     프롬프트를 처리하고 기능 명령을 해석
     """
-    # 기존 preprocess_prompt 함수 코드 유지
-    # 이미지 없는 참조 확인 및 처리
     has_img1 = image1 is not None
     has_img2 = image2 is not None
     has_img3 = image3 is not None
-    
-    # #1, #2, #3 참조를 설명으로 변환 (이미지가 없는 경우 무시)
+
     if "#1" in prompt and not has_img1:
         prompt = prompt.replace("#1", "첫 번째 이미지(없음)")
     else:
         prompt = prompt.replace("#1", "첫 번째 이미지")
-        
+
     if "#2" in prompt and not has_img2:
         prompt = prompt.replace("#2", "두 번째 이미지(없음)")
     else:
         prompt = prompt.replace("#2", "두 번째 이미지")
-        
+
     if "#3" in prompt and not has_img3:
         prompt = prompt.replace("#3", "세 번째 이미지(없음)")
     else:
         prompt = prompt.replace("#3", "세 번째 이미지")
-    
-    # 기능 명령 해석
+
     if "1. 이미지 변경" in prompt:
-        # 설명 추출을 시도하지만 실패해도 기본 프롬프트 제공
         desc_match = re.search(r'#1을 "(.*?)"으로 바꿔라', prompt)
         if desc_match:
             description = desc_match.group(1)
             prompt = f"첫 번째 이미지를 {description}으로 변경해주세요. 원본 이미지의 주요 내용은 유지하되 새로운 스타일과 분위기로 재해석해주세요."
         else:
             prompt = "첫 번째 이미지를 창의적으로 변형해주세요. 더 생생하고 예술적인 버전으로 만들어주세요."
-    
+
     elif "2. 글자지우기" in prompt:
-        # 지울 텍스트 추출을 시도하지만 실패해도 기본 프롬프트 제공
         text_match = re.search(r'#1에서 "(.*?)"를 지워라', prompt)
         if text_match:
             text_to_remove = text_match.group(1)
             prompt = f"첫 번째 이미지에서 '{text_to_remove}' 텍스트를 찾아 자연스럽게 제거해주세요. 텍스트가 있던 부분을 배경과 조화롭게 채워주세요."
         else:
             prompt = "첫 번째 이미지에서 모든 텍스트를 찾아 자연스럽게 제거해주세요. 깔끔한 이미지로 만들어주세요."
-    
-    elif "3. 얼굴바꾸기" in prompt:
-        prompt = "첫 번째 이미지의 인물 얼굴을 두 번째 이미지의 얼굴로 자연스럽게 교체해주세요. 얼굴의 표정과 특징은 두 번째 이미지를 따르되, 나머지 부분은 첫 번째 이미지를 유지해주세요."
-    
+
     elif "4. 옷바꾸기" in prompt:
-        # 여러 이미지 참조 처리
-        if "#3" in prompt or "또는 #3" in prompt:
-            prompt = "첫 번째 이미지의 인물 의상을 두 번째 또는 세 번째 이미지의 의상으로 자연스럽게 교체해주세요. 의상의 스타일과 색상은 참조 이미지를 따르되, 신체 비율과 포즈는 첫 번째 이미지를 유지해주세요."
-        else:
-            prompt = "첫 번째 이미지의 인물 의상을 두 번째 이미지의 의상으로 자연스럽게 교체해주세요. 의상의 스타일과 색상은 두 번째 이미지를 따르되, 신체 비율과 포즈는 첫 번째 이미지를 유지해주세요."
-    
+        prompt = "첫 번째 이미지의 인물 의상을 두 번째 이미지의 의상으로 변경해주세요. 의상의 스타일과 색상은 두 번째 이미지를 따르되, 신체 비율과 포즈는 첫 번째 이미지를 유지해주세요."
+
     elif "5. 배경바꾸기" in prompt:
-        prompt = "첫 번째 이미지의 배경을 두 번째 이미지의 배경으로 자연스럽게 교체해주세요. 첫 번째 이미지의 주요 피사체는 유지하고, 두 번째 이미지의 배경과 조화롭게 합성해주세요."
-    
+        prompt = "첫 번째 이미지의 배경을 두 번째 이미지의 배경으로 변경해주세요. 첫 번째 이미지의 주요 피사체는 유지하고, 두 번째 이미지의 배경과 조화롭게 합성해주세요."
+
     elif "6. 이미지 합성(상품포함)" in prompt:
-        # 여러 이미지 참조 처리
-        if "#3" in prompt or "또는 #3" in prompt:
-            prompt = "첫 번째 이미지와 두 번째, 세 번째 이미지를 자연스럽게 합성해주세요. 모든 이미지의 주요 요소를 포함하고, 특히 상품이 잘 보이도록 조화롭게 통합해주세요."
-        else:
-            prompt = "첫 번째 이미지와 두 번째 이미지를 자연스럽게 합성해주세요. 두 이미지의 주요 요소를 포함하고, 특히 상품이 잘 보이도록 조화롭게 통합해주세요."
-    
-    elif "7. 이미지 합성(스타일적용)" in prompt:
-        prompt = "첫 번째 이미지의 내용을 두 번째 이미지의 스타일로 변환해주세요. 첫 번째 이미지의 주요 피사체와 구도는 유지하되, 두 번째 이미지의 예술적 스타일, 색상, 질감을 적용해주세요."
-    
-    # 간단한 색상 변경 요청 처리
-    elif "을 붉은색으로 바꿔라" in prompt or "를 붉은색으로 바꿔라" in prompt:
-        prompt = "첫 번째 이미지를 붉은색 톤으로 변경해주세요. 전체적인 색상을 붉은 계열로 조정하고 자연스러운 느낌을 유지해주세요."
-    
-    # 명확한 이미지 생성 요청 추가
+        prompt = "첫 번째 이미지와 두 번째 이미지(또는 세 번째 이미지)를 자연스럽게 합성해주세요. 모든 이미지의 주요 요소를 포함하고, 특히 상품이 돋보이도록 조화롭게 통합해주세요."
+
     prompt += " 이미지를 생성해주세요."
-    
     return prompt
 
 def generate_with_images(prompt, images):
     """
-    공식 문서에 기반한 올바른 API 호출 방식 구현
+    API 호출을 통해 이미지를 생성하고 결과 이미지를 반환합니다.
     """
     try:
-        # API 키 확인
         api_key = os.environ.get("GEMINI_API_KEY")
         if not api_key:
             return None, "API 키가 설정되지 않았습니다. 환경변수를 확인해주세요."
-            
-        # Gemini 클라이언트 초기화
+
         client = genai.Client(api_key=api_key)
-        
         logger.info(f"Gemini API 요청 시작 - 프롬프트: {prompt}")
-        
-        # 컨텐츠 준비
-        contents = []
-        
-        # 텍스트 프롬프트 추가
-        contents.append(prompt)
-        
-        # 이미지 추가
+
+        contents = [prompt]
         for idx, img in enumerate(images, 1):
             if img is not None:
                 contents.append(img)
                 logger.info(f"이미지 #{idx} 추가됨")
-        
-        # 생성 설정 - 공식 문서에 따라 responseModalities 설정
+
         response = client.models.generate_content(
             model="gemini-2.0-flash-exp-image-generation",
             contents=contents,
@@ -138,15 +141,11 @@ def generate_with_images(prompt, images):
                 max_output_tokens=8192
             )
         )
-        
-        # 임시 파일 생성
+
         with tempfile.NamedTemporaryFile(suffix=".png", delete=False) as tmp:
             temp_path = tmp.name
-            
             result_text = ""
             image_found = False
-            
-            # 응답 처리
             for part in response.candidates[0].content.parts:
                 if hasattr(part, 'text') and part.text:
                     result_text += part.text
@@ -155,140 +154,171 @@ def generate_with_images(prompt, images):
                     save_binary_file(temp_path, part.inline_data.data)
                     image_found = True
                     logger.info("응답에서 이미지 추출 성공")
-            
             if not image_found:
                 return None, f"API에서 이미지를 생성하지 못했습니다. 응답 텍스트: {result_text}"
-                    
-            # 결과 이미지 반환
             result_img = Image.open(temp_path)
             if result_img.mode == "RGBA":
                 result_img = result_img.convert("RGB")
-                
             return result_img, f"이미지가 성공적으로 생성되었습니다. {result_text}"
-            
     except Exception as e:
         logger.exception("이미지 생성 중 오류 발생:")
         return None, f"오류 발생: {str(e)}"
 
 def process_images_with_prompt(image1, image2, image3, prompt):
     """
-    3개의 이미지와 프롬프트를 처리하는 함수
+    3개의 이미지와 프롬프트를 처리하여 최종 영어 프롬프트(final_prompt)를 생성한 후,
+    API를 호출하여 결과 이미지를 반환합니다.
     """
     try:
-        # 이미지 개수 확인
         images = [image1, image2, image3]
         valid_images = [img for img in images if img is not None]
-        
         if not valid_images:
-            return None, "적어도 하나의 이미지를 업로드해주세요."
-        
-        # 프롬프트 처리
-        if not prompt or not prompt.strip():
-            # 프롬프트가 없으면 업로드된 이미지 수에 따라 자동 합성 프롬프트를 영어로 생성
+            return None, "적어도 하나의 이미지를 업로드해주세요.", ""
+
+        if prompt and prompt.strip():
+            processed_prompt = preprocess_prompt(prompt, image1, image2, image3)
+            if re.search("[가-힣]", processed_prompt):
+                final_prompt = translate_prompt_to_english(processed_prompt)
+            else:
+                final_prompt = processed_prompt
+        else:
             if len(valid_images) == 1:
-                prompt = "Please creatively transform this image into a more vivid and artistic version."
+                final_prompt = "Please creatively transform this image into a more vivid and artistic version."
                 logger.info("Default prompt generated for single image")
             elif len(valid_images) == 2:
-                prompt = "Please seamlessly composite these two images, integrating their key elements harmoniously into a single image."
+                final_prompt = "Please seamlessly composite these two images, integrating their key elements harmoniously into a single image."
                 logger.info("Default prompt generated for two images")
             else:
-                prompt = "Please creatively composite these three images, combining their main elements into a cohesive and natural scene."
+                final_prompt = "Please creatively composite these three images, combining their main elements into a cohesive and natural scene."
                 logger.info("Default prompt generated for three images")
-        else:
-            # 프롬프트 전처리 및 기능 명령 해석
-            prompt = preprocess_prompt(prompt, image1, image2, image3)
-        
-        # 새로운 API 호출 방식 사용
-        return generate_with_images(prompt, valid_images)
-            
+
+        result_img, status = generate_with_images(final_prompt, valid_images)
+        return result_img, status, final_prompt
     except Exception as e:
         logger.exception("이미지 처리 중 오류 발생:")
-        return None, f"오류 발생: {str(e)}"
+        return None, f"오류 발생: {str(e)}", prompt
 
-# (기능 선택 관련 코드 전체 삭제됨)
+def process_and_show_prompt(image1, image2, image3, prompt):
+    try:
+        result_img, status, final_prompt = process_images_with_prompt(image1, image2, image3, prompt)
+        return result_img, status, final_prompt
+    except Exception as e:
+        logger.exception("처리 중 오류 발생:")
+        return None, f"오류 발생: {str(e)}", prompt
 
-# Gradio 인터페이스
+# 예제 실행 함수들
+def run_example_1():
+    """예제 1: 이미지 변경 예제"""
+    input_path = os.path.join("down", "1_in-1.png")
+    output_path = os.path.join("down", "1_out-1.webp")
+    try:
+        input_img = Image.open(input_path)
+    except Exception as e:
+        return None, f"입력 이미지 열기 오류: {str(e)}", ""
+    prompt = "#1 이미지의 [청색 상어레고를 검은 고래레고]으로 변경하라."
+    result_img, status, final_prompt = process_and_show_prompt(input_img, None, None, prompt)
+    if result_img is not None:
+        result_img.save(output_path, "WEBP")
+    return result_img, status, final_prompt
+
+def run_example_2():
+    """예제 2: 글자지우기 예제"""
+    input_path = os.path.join("down", "2_in-1.png")
+    output_path = os.path.join("down", "2_out-1.webp")
+    try:
+        input_img = Image.open(input_path)
+    except Exception as e:
+        return None, f"입력 이미지 열기 오류: {str(e)}", ""
+    prompt = "#1 이미지의 [중국어를 모두]를 제거하라."
+    result_img, status, final_prompt = process_and_show_prompt(input_img, None, None, prompt)
+    if result_img is not None:
+        result_img.save(output_path, "WEBP")
+    return result_img, status, final_prompt
+
+# -------------------------------------------------------------------
+# 예제 적용 부분 (참조 코드 적���)
+# -------------------------------------------------------------------
+# Set up the interaction with two outputs.
+submit_btn.click(
+    fn=process_image_and_prompt,
+    inputs=[image_input, prompt_input, gemini_api_key],
+    outputs=[output_gallery, output_text],
+)
+
+gr.Markdown("## Try these examples", elem_classes="gr-examples-header")
+
+examples = [
+    ["data/1.webp", 'change text to "AMEER"', ""],
+    ["data/2.webp", "remove the spoon from hand only", ""],
+    ["data/3.webp", 'change text to "Make it "', ""],
+    ["data/1.jpg", "add joker style only on face", ""],
+    ["data/1777043.jpg", "add joker style only on face", ""],
+    ["data/2807615.jpg", "add lipstick on lip only", ""],
+    ["data/76860.jpg", "add lipstick on lip only", ""],
+    ["data/2807615.jpg", "make it happy looking face only", ""],
+]
+
+gr.Examples(
+    examples=examples,
+    inputs=[image_input, prompt_input],
+    elem_id="examples-grid"
+)
+# -------------------------------------------------------------------
+
+# 기존 Gradio 인터페이스 구성 (예제 적용 외 다른 코드는 그대로 유지)
 with gr.Blocks() as demo:
     gr.HTML(
         """
         <div style="text-align: center; margin-bottom: 1rem;">
-            <h1>간단한 이미지 생성기</h1>
-            <p>이미지를 업로드하고 바로 실행하면 자동으로 합성합니다.</p>
+            <h1>Gemini for Image Editing</h1>
+            <p>Upload an image and enter a prompt to generate outputs.</p>
         </div>
         """
     )
     
     with gr.Row():
         with gr.Column():
-            # 3개의 이미지 입력
-            with gr.Row():
-                image1_input = gr.Image(type="pil", label="#1", image_mode="RGB")
-                image2_input = gr.Image(type="pil", label="#2", image_mode="RGB")
-                image3_input = gr.Image(type="pil", label="#3", image_mode="RGB")
-            
-            # 프롬프트 입력 (선택 사항)
+            image_input = gr.Image(
+                type="pil",
+                label="Upload Image",
+                image_mode="RGBA",
+                elem_id="image-input"
+            )
+            gemini_api_key = gr.Textbox(
+                lines=1,
+                placeholder="Enter Gemini API Key (optional)",
+                label="Gemini API Key (optional)"
+            )
             prompt_input = gr.Textbox(
-                lines=3,
-                placeholder="프롬프트를 입력하거나 비워두면 자동 합성됩니다.",
-                label="프롬프트 (선택 사항)"
+                lines=2,
+                placeholder="Enter prompt here...",
+                label="Prompt"
             )
-            
-            # 생성 버튼
-            submit_btn = gr.Button("이미지 생성", variant="primary")
-        
+            submit_btn = gr.Button("Generate")
         with gr.Column():
-            # 결과 출력
-            output_image = gr.Image(label="생성된 이미지")
-            output_text = gr.Textbox(label="상태 메시지")
-            
-            # 사용된 프롬프트 표시
-            prompt_display = gr.Textbox(label="사용된 프롬프트", visible=True)
+            output_gallery = gr.Gallery(label="Generated Outputs")
+            output_text = gr.Textbox(
+                label="Gemini Output",
+                placeholder="Text response will appear here if no image is generated."
+            )
     
-    # 이미지 생성 버튼 클릭 이벤트
-    def process_and_show_prompt(image1, image2, image3, prompt):
-        # 이미지 개수 확인
-        images = [image1, image2, image3]
-        valid_images = [img for img in images if img is not None]
-        
-        try:
-            # 자동 프롬프트 생성 또는 프롬프트 전처리
-            auto_prompt = prompt
-            if not prompt or not prompt.strip():
-                if len(valid_images) == 1:
-                    auto_prompt = "Please creatively transform this image into a more vivid and artistic version."
-                elif len(valid_images) == 2:
-                    auto_prompt = "Please seamlessly composite these two images, integrating their key elements harmoniously into a single image."
-                else:
-                    auto_prompt = "Please creatively composite these three images, combining their main elements into a cohesive and natural scene."
-            else:
-                auto_prompt = preprocess_prompt(prompt, image1, image2, image3)
-            
-            # 이미지 생성 함수 호출
-            result_img, status = process_images_with_prompt(image1, image2, image3, prompt)
-            
-            return result_img, status, auto_prompt
-        except Exception as e:
-            logger.exception("처리 중 오류 발생:")
-            return None, f"오류 발생: {str(e)}", prompt
-        
-    submit_btn.click(
-        fn=process_and_show_prompt,
-        inputs=[image1_input, image2_input, image3_input, prompt_input],
-        outputs=[output_image, output_text, prompt_display],
-    )
-
-    gr.Markdown(
-        """
-        ### 사용 방법:
-        
-        1. **자동 합성**: 이미지만 업로드하고 프롬프트를 비워두면 자동으로 합성됩니다.
-        2. **이미지 참조**: #1, #2, #3으로 각 이미지를 참조할 수 있습니다.
-        3. **일부 이미지만**: 필요한 이미지만 업로드해도 기능 실행이 가능합니다.
-        
-        > **팁**: 프롬프트를 직접 수정할 수도 있습니다.
-        """
+    gr.Markdown("## Try these examples", elem_classes="gr-examples-header")
+    
+    examples = [
+        ["data/1.webp", 'change text to "AMEER"', ""],
+        ["data/2.webp", "remove the spoon from hand only", ""],
+        ["data/3.webp", 'change text to "Make it "', ""],
+        ["data/1.jpg", "add joker style only on face", ""],
+        ["data/1777043.jpg", "add joker style only on face", ""],
+        ["data/2807615.jpg", "add lipstick on lip only", ""],
+        ["data/76860.jpg", "add lipstick on lip only", ""],
+        ["data/2807615.jpg", "make it happy looking face only", ""],
+    ]
+    
+    gr.Examples(
+        examples=examples,
+        inputs=[image_input, prompt_input],
+        elem_id="examples-grid"
     )
 
-# 애플리케이션 실행
-if __name__ == "__main__":
-    demo.launch(share=True)
+demo.queue(max_size=50).launch()