Update app.py

app.py

@@ -39,101 +39,123 @@ def load_extractive():
                trust_remote_code = True,
                )
 
-def old_funcs():
-    '''
-    def get_transcription_en(mp3_file):
-        model = whisper.load_model("tiny.en")
-        directory = os.getcwd()
-        result = model.transcribe(os.path.join(directory, mp3_file))
-        return result["text"]
-    
-    #def portuguese_sum_pipeline(link):
-    #    video_title = download_audio(link)
-    
-    def english_sum_pipeline(link):
-        download_audio(link)
-        transcript_text = get_transcription_en("video.mp3")
-    
-        #extractive summarization
-        extractive_model = Summarizer()
-        extractive = extractive_model(transcript_text, num_sentences=15)
-    
-        #abstractive summarization
-        device_num = 0 if torch.cuda.is_available() else -1
-        abstractive_summarizer = pipeline("summarization", model="facebook/bart-large-cnn", tokenizer="facebook/bart-large-cnn", device=device_num)
-        output_text = abstractive_summarizer(extractive)[0]["summary_text"]
-    
-        return transcript_text, output_text
-    
-    def english_qa_pipeline(questions, context):
-        nlp = pipeline("question-answering", model='distilbert-base-uncased-distilled-squad')
-        answers = []
-        for question in questions:
-            result = nlp(question=question, context=context)
-            answers.append(result["answer"])
-        return answers
-    '''
+#Load QA pipeline via HuggingFace
+@st.cache_resource
+def load_qa():
+    return pipeline("question-answering",
+                    model='distilbert-base-uncased-distilled-squad'
+                   )
+
+#Download punkt function from nltk
+@st.cache_data
+def load_nltk():
+    nltk.download("punkt")
 
+#Make the ASR task
+@st.cache_data
+def audio_speech_recognition(model_pipeline, video="video.mp3"):
+    return model_pipeline(video, batch_size=8)["text"].strip()
+
+#Make the Summarization task
+@st.cache_data
+def text_summarization(model_pipeline, full_text, ratio):
+    sentences = nltk.sent_tokenize(full_text)
+    extractive_sentences = model_pipeline({"sentences": sentences}, strategy="ratio", strategy_args=ratio)
+    extractive_text = " ".join(extractive_sentences[0])
+    return extractive_text.strip()
+
+#Make the QA task
+@st.cache_data
+def answer_questions(model_pipeline, full_text, questionings):
+    answers = []
+    for question in questionings:
+        result = model_pipeline(question=question, context=full_text)
+        answers.append(result["answer"])
+    return answers
+    
 def main():
 
+    header = st.container()
+    model = st.container()
+    model_1, model_2 = st.columns(2)
+    
     with st.sidebar:
-        st.title(":blue[Turing]Videos")
+        
+        st.title(":red[Turing]Videos")
 
         with st.form("data_collection"):
-            compression_rate = st.slider("Selecione a taxa de compressão:",
+
+            language = st.selectbox('Qual a linguagem do seu modelo?',
+                                    ('Português (pt)', 'Inglês (en)', 'Outra')
+                                   )
+
+            link = st.text_area(label="Coloque o link do seu vídeo do YouTube:",
+                                height=25, placeholder="Digite seu link...")
+
+            compression_rate = st.slider(label="Selecione a taxa de compressão:",
                                          min_value=0.1, max_value=0.9,
-                                         value=0.2, step=0.05
+                                         value=0.25, step=0.05
                                         )
 
-           # Every form must have a submit button.
+            questions = st.text_area(label="Coloque suas perguntas separadas por vírgula!",
+                                     height=50, placeholder="Digite suas perguntas..."
+                                    ).split(",")
+            
             submitted = st.form_submit_button("Submit")
+
+            seconds = st.select_slider(label="Digite a duração do seu vídeo para otimização:",
+                                       options = ["5 min", "15 min", "30 min", "45 min", "1 h"],
+                                       value = "15 min", 
+                                      )
+
+            seconds = seconds.replace(" min", "")
+            seconds = int(seconds) * 60
+            
             if submitted:
                 st.success('Dados coletados!', icon="✅")
             else:
                 st.error('Dados ainda não coletados!', icon="🚨")
-
-main()
-
-def old_main():
-    '''
-    #Collect inputs and create the interface
-    def main():
-        header = st.container()
-        model = st.container()
-        model_1, model_2 = st.columns(2)
-        qa = st.container()
-        qa_1, qa_2 = st.columns(2)
-    
-        with header:
-            st.title("TuringVideos")
-            st.write("Este trabalho visa a criação de uma interface capaz de sumarizar e responder perguntas sobre um determinado vídeo em português ou inglês!")
-    
-        with model:
-            st.header("Modelo para sumarização")
     
+    with header:
+        st.title(":red[Turing]Videos")
+        st.subheader("Este projeto inovador utiliza técnicas avançadas de inteligência artificial para simplificar e acelerar a compreensão de conteúdo audiovisual. Ao enfrentar o desafio da sobrecarga de informações em vídeos, a solução oferece uma abordagem eficiente para extrair os pontos-chave, permitindo aos usuários economizar tempo e concentrar-se nas informações essenciais.",
+                     divider = “red”
+                    )
+
+    with model:
+        if submitted:
+            with st.spinner("Carregando modelos..."):
+
+                if language == "Inglês (en)":
+                    download_audio(link)
+                    load_nltk()
+                    whisper = load_whisper(seconds)
+                    extractive = load_extractive()
+                    qa_model = load_qa()
+
+                elif language = "Português (pt)":
+                    st.header("Modelo ainda não implementado.")
+
+                else:
+                    st.header("Erro na seleção de linguagem.")
+
+            with st.spinner("Transcrevendo texto..."):
+                transcript_text = audio_speech_recognition(whisper)
+
             with model_1:
-                language = st.selectbox('Qual a linguagem do seu modelo?', ('Português (pt)', 'Inglês (en)', 'Outra'))
-                link = st.text_area(label="Coloque o link do seu vídeo do YouTube!", height=25, placeholder="Digite seu link...")
-                questions = st.text_area(label="Coloque suas perguntas separadas por vírgula!", height=50, placeholder="Digite suas perguntas...").split(",")
-                submit_1 = st.button('Gerar soluções!')
-    
+                st.header("Texto Sumarizado:")
+                with st.spinner("Carregando sumarização..."):
+                    summary = text_summarization(extractive, transcript_text, compression_rate)
+                st.subheader(summary)
+
             with model_2:
-                if submit_1:
-                    with st.spinner('Wait for it...'):
-                        if language == 'Português (pt)':
-                            #outputs = portuguese_sum_pipeline(link)
-                            st.write("Modelo ainda não implementado.")
-    
-                        elif language == 'Inglês (en)':
-                            outputs = english_sum_pipeline(link)
-                            answers = english_qa_pipeline(questions, outputs[0])
-    
-                        else:
-                            st.write("Erro na seleção de linguagem.")
-    
-                        st.write("Sumário.....................................................................: \n {} \n \n".format(outputs[1]))
-                        st.write("Resposta....................................................................: \n")
-    
-                        for i in range(len(answers)):
-                            st.write(questions[i] + ": " + answers[i])
-    '''
+                st.header("Resposta das perguntas:")
+                with st.spinner("Carregando respostas..."):
+                    answers = answer_questions(qa_model, transcript_text, questions)
+                
+                for i in range(len(answers)):
+                    st.subheader(questions[i])
+                    st.subheader(answers[i])
+                    st.write("\n")
+
+main()