import gradio as gr import numpy as np import librosa from transformers import pipeline from datetime import datetime import os # AI 모델 초기화 speech_recognizer = pipeline("automatic-speech-recognition", model="kresnik/wav2vec2-large-xlsr-korean") emotion_classifier = pipeline("audio-classification", model="MIT/ast-finetuned-speech-commands-v2") text_analyzer = pipeline("sentiment-analysis", model="nlptown/bert-base-multilingual-uncased-sentiment") def create_interface(): with gr.Blocks(theme=gr.themes.Soft()) as app: # 상태 관리 state = gr.State({ "stage": "intro", "user_name": "", "reflections": [], "voice_analyses": [], "current_prompt": "", "generated_images": [] }) with gr.Column(): # 사용자 이름 표시 user_name_display = gr.Markdown("", elem_id="user-name-display") # 단계별 탭 with gr.Tabs() as tabs: # 1. 입장 with gr.Tab("입장", id="intro"): gr.Markdown(""" # 디지털 굿판에 오신 것을 환영합니다 온천천의 디지털 치유 공간으로 들어가보세요. """) name_input = gr.Textbox(label="이름을 알려주세요") start_button = gr.Button("여정 시작하기") # 2. 청신 with gr.Tab("청신", id="cleansing"): gr.Markdown("## 청신 - 소리로 정화하기") with gr.Row(): # 음악 플레이어 audio_player = gr.Audio( value=os.path.join(os.path.dirname(__file__), "assets", "main_music.mp3"), type="filepath", label="온천천의 소리", interactive=True, autoplay=True ) # 감상 입력 with gr.Column(): reflection_input = gr.Textbox( label="현재 순간의 감상을 적어주세요", lines=3 ) save_reflection = gr.Button("감상 저장") reflections_display = gr.Dataframe( headers=["시간", "감상", "감정"], label="기록된 감상들" ) # 3. 기원 with gr.Tab("기원", id="prayer"): gr.Markdown("## 기원 - 목소리로 전하기") with gr.Row(): # 음성 입력 voice_input = gr.Audio( label="나누고 싶은 이야기를 들려주세요", sources=["microphone"], type="filepath", interactive=True ) # 분석 결과 표시 with gr.Column(): analysis_output = gr.JSON( label="음성 분석 결과" ) text_output = gr.Textbox( label="인식된 텍스트", interactive=False ) emotion_output = gr.Textbox( label="감정 분석", interactive=False ) # 4. 송신 with gr.Tab("송신", id="sharing"): gr.Markdown("## 송신 - 함께 나누기") with gr.Row(): # 프롬프트 및 이미지 표시 final_prompt = gr.Textbox( label="생성된 프롬프트", interactive=False ) generated_gallery = gr.Gallery( label="시각화 결과", columns=2, height="auto" ) # 함수 정의 def start_journey(name, state): """여정 시작 함수""" state["user_name"] = name return ( state, f"# 환영합니다, {name}님", gr.update(selected="cleansing") ) def analyze_voice(audio_path, state): """종합적인 음성 분석 함수""" try: if audio_path is None: return state, {"error": "음성 입력이 없습니다."}, "", "" # 오디오 로드 y, sr = librosa.load(audio_path) # 1. 음향학적 특성 분석 acoustic_features = { "energy": float(np.mean(librosa.feature.rms(y=y))), "pitch_mean": float(np.mean(librosa.pitch_tuning(y))), "tempo": float(librosa.beat.tempo(y)[0]), "mfcc": librosa.feature.mfcc(y=y, sr=sr, n_mfcc=13).mean(axis=1).tolist(), "zero_crossing_rate": float(np.mean(librosa.feature.zero_crossing_rate(y))) } # 2. 음성 감정 분석 emotion_result = emotion_classifier(y) # 3. 음성-텍스트 변환 text_result = speech_recognizer(y) # 4. 텍스트 감정 분석 text_sentiment = text_analyzer(text_result["text"])[0] # 결과 종합 analysis_result = { "acoustic_analysis": acoustic_features, "voice_emotion": emotion_result[0], "text": text_result["text"], "text_sentiment": text_sentiment } # 프롬프트 생성 prompt = generate_art_prompt(analysis_result) state["current_prompt"] = prompt return ( state, analysis_result, text_result["text"], f"음성 감정: {emotion_result[0]['label']} ({emotion_result[0]['score']:.2f})\n" f"텍스트 감정: {text_sentiment['label']} ({text_sentiment['score']:.2f})" ) except Exception as e: return state, {"error": str(e)}, "", "" def save_reflection(text, state): """감상 저장 함수""" if not text.strip(): return state, state["reflections"] current_time = datetime.now().strftime("%H:%M:%S") sentiment = text_analyzer(text)[0] new_reflection = [current_time, text, sentiment["label"]] state["reflections"].append(new_reflection) return state, state["reflections"] def generate_art_prompt(analysis): """분석 결과를 바탕으로 예술적 프롬프트 생성""" emotion = analysis["voice_emotion"]["label"] energy = analysis["acoustic_analysis"]["energy"] text_sentiment = analysis["text_sentiment"]["label"] colors = { "happy": "따뜻한 노란색과 주황색", "sad": "차분한 파랑색과 보라색", "angry": "강렬한 빨강색과 검정색", "neutral": "부드러운 회색과 베이지색" } prompt = f"한국 전통 민화 스타일로, {emotion}의 감정을 {colors.get(emotion, '자연스러운 색상')}으로 표현한 추상화. " prompt += f"음성의 에너지({energy:.2f})를 채도로 표현하고, " prompt += f"텍스트의 감정({text_sentiment})을 구도에 반영." return prompt # 이벤트 연결 start_button.click( fn=start_journey, inputs=[name_input, state], outputs=[state, user_name_display, tabs] ) save_reflection.click( fn=save_reflection, inputs=[reflection_input, state], outputs=[state, reflections_display] ) voice_input.change( fn=analyze_voice, inputs=[voice_input, state], outputs=[state, analysis_output, text_output, emotion_output] ) return app if __name__ == "__main__": interface = create_interface() interface.launch()