Sultannn commited on
Commit
526dc34
·
1 Parent(s): bbe768f

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +9 -8
app.py CHANGED
@@ -1,14 +1,14 @@
1
 
2
  #MBART FINE TUNE
3
  #import os
4
- #os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
5
 
6
  import gradio as gr
7
- import tensorflow as tf
8
- import torch
9
 
10
  import sentencepiece
11
- from transformers import MBartTokenizer, TFMBartForConditionalGeneration
12
 
13
  def run_model(input_text,
14
  min_length,
@@ -16,21 +16,21 @@ def run_model(input_text,
16
  length_penalty):
17
 
18
  #MBART Transformer
19
- mbart_model = TFMBartForConditionalGeneration.from_pretrained("facebook/mbart-large-50", from_pt=True)
20
  mbart_tokenizer = MBartTokenizer.from_pretrained("facebook/mbart-large-50")
21
 
22
  #encode input to vector
23
  input_text = str(input_text)
24
  input_text = ' '.join(input_text.split()) # hapus white space
25
- input_tokenized = mbart_tokenizer.encode(input_text, return_tensors='tf')
26
 
27
  #generate input
28
  summary_ids = mbart_model.generate(input_tokenized,
29
  length_penalty = length_penalty, #Atur ke nilai <1.0 untuk menghasilkan urutan yang lebih pendek, ke nilai > 1.0 untuk menghasilkan urutan yang lebih panjang)
30
  min_length = min_length, #Panjang minimum urutan yang akan dihasilkan)
31
  max_length = max_length, #Panjang maksimum urutan yang akan dihasilkan)"""
32
- num_beams = 3,
33
- no_repeat_ngram_size = 2,
34
  early_stopping = True)
35
 
36
  #decode output to text
@@ -44,6 +44,7 @@ def run_model(input_text,
44
  # source Wikipedia
45
  contoh = [["Dota 2 adalah sebuah permainan arena pertarungan daring multipemain, dan merupakan sekuel dari Defense of the Ancients mod pada Warcraft 3: Reign of Chaos dan Warcraft 3: The Frozen Throne. DotA 2 dikembangkan oleh Valve Corporation, terbit juli 2013 dota 2 dapat dimainkan secara gratis pada sistem operasi Microsoft Windows, OS X and Linux. Dota 2 dapat dimainkan secara eksklusif melalui distributor resmi valve, Steam.Dota 2 dimainkan oleh 2 tim yang beranggota 5 orang pemain, setiap tim memiliki markas yang berada dipojok peta, setiap markas memiliki satu bangunan bernama 'Ancient', Di mana tim harus berusaha menghancurkan 'Ancient' tim lawan agar dapat memenangkan pertandingan. Setiap pemain hanya dapat mengontrol satu karakter Hero yang berfokus pada menaikan level, mengumpulkan gold, membeli item dan melawan tim lawan untuk menang.Pengembangan Dota 2 dimulai sejak tahun 2009. Ketika pengembang mod DotA, Icefrog, dipekerjakan oleh Valve sebagai lead designer. Dota 2 dipuji oleh kritikus karena gameplay-nya, kualitas pembuatan dan kesetiaan pada gameplay pendahulu (DotA mod Warcraft 3). tetapi Dota 2 juga menuai kritik sebagai game yang susah dipelajari dan para pemain yang tidak ramah.Sampai pertengahan 2017 Dota 2 menjadi game yang memiliki aktivitas pemain paling banyak di Steam, dengan pucak 800,000 pemain online bersamaan setiap hari", 30, 100, 2],
46
  ["Gangguan jiwa atau penyakit jiwa adalah pola psikologis atau perilaku yang pada umumnya terkait dengan stres atau kelainan jiwa yang tidak dianggap sebagai bagian dari perkembangan normal manusia.[1] Gangguan tersebut didefinisikan sebagai kombinasi afektif, perilaku, komponen kognitif atau persepsi yang berhubungan dengan fungsi tertentu pada daerah otak atau sistem saraf yang menjalankan fungsi sosial manusia. Penemuan dan pengetahuan tentang kondisi kesehatan jiwa telah berubah sepanjang perubahan waktu dan perubahan budaya, dan saat ini masih terdapat perbedaan tentang definisi, penilaan dan klasifikasi, meskipun kriteria pedoman standar telah digunakan secara luas. Lebih dari sepertiga orang di sebagian besar negara-negara melaporkan masalah pada satu waktu pada hidup mereka yang memenuhi kriteria salah satu atau beberapa tipe umum dari kelainan jiwa.", 30, 100, 1]]
 
47
  #judul
48
  title = "Text Sumarization id2id"
49
 
 
1
 
2
  #MBART FINE TUNE
3
  #import os
4
+ #os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' untuk mengatasi error di TF (tidak bisa)
5
 
6
  import gradio as gr
7
+ #import tensorflow as tf masih error
8
+ import torch #ganti ke pt
9
 
10
  import sentencepiece
11
+ from transformers import MBartTokenizer, MBartForConditionalGeneration
12
 
13
  def run_model(input_text,
14
  min_length,
 
16
  length_penalty):
17
 
18
  #MBART Transformer
19
+ mbart_model = MBartForConditionalGeneration.from_pretrained("facebook/mbart-large-50")#, from_pt=True) untuk TFMbart
20
  mbart_tokenizer = MBartTokenizer.from_pretrained("facebook/mbart-large-50")
21
 
22
  #encode input to vector
23
  input_text = str(input_text)
24
  input_text = ' '.join(input_text.split()) # hapus white space
25
+ input_tokenized = mbart_tokenizer.encode(input_text, return_tensors='pt')
26
 
27
  #generate input
28
  summary_ids = mbart_model.generate(input_tokenized,
29
  length_penalty = length_penalty, #Atur ke nilai <1.0 untuk menghasilkan urutan yang lebih pendek, ke nilai > 1.0 untuk menghasilkan urutan yang lebih panjang)
30
  min_length = min_length, #Panjang minimum urutan yang akan dihasilkan)
31
  max_length = max_length, #Panjang maksimum urutan yang akan dihasilkan)"""
32
+ num_beams = 3,#pencarian
33
+ no_repeat_ngram_size = 2, #jika diatur ke int > 0, semua ngram dengan ukuran tersebut hanya dapat muncul sekali.
34
  early_stopping = True)
35
 
36
  #decode output to text
 
44
  # source Wikipedia
45
  contoh = [["Dota 2 adalah sebuah permainan arena pertarungan daring multipemain, dan merupakan sekuel dari Defense of the Ancients mod pada Warcraft 3: Reign of Chaos dan Warcraft 3: The Frozen Throne. DotA 2 dikembangkan oleh Valve Corporation, terbit juli 2013 dota 2 dapat dimainkan secara gratis pada sistem operasi Microsoft Windows, OS X and Linux. Dota 2 dapat dimainkan secara eksklusif melalui distributor resmi valve, Steam.Dota 2 dimainkan oleh 2 tim yang beranggota 5 orang pemain, setiap tim memiliki markas yang berada dipojok peta, setiap markas memiliki satu bangunan bernama 'Ancient', Di mana tim harus berusaha menghancurkan 'Ancient' tim lawan agar dapat memenangkan pertandingan. Setiap pemain hanya dapat mengontrol satu karakter Hero yang berfokus pada menaikan level, mengumpulkan gold, membeli item dan melawan tim lawan untuk menang.Pengembangan Dota 2 dimulai sejak tahun 2009. Ketika pengembang mod DotA, Icefrog, dipekerjakan oleh Valve sebagai lead designer. Dota 2 dipuji oleh kritikus karena gameplay-nya, kualitas pembuatan dan kesetiaan pada gameplay pendahulu (DotA mod Warcraft 3). tetapi Dota 2 juga menuai kritik sebagai game yang susah dipelajari dan para pemain yang tidak ramah.Sampai pertengahan 2017 Dota 2 menjadi game yang memiliki aktivitas pemain paling banyak di Steam, dengan pucak 800,000 pemain online bersamaan setiap hari", 30, 100, 2],
46
  ["Gangguan jiwa atau penyakit jiwa adalah pola psikologis atau perilaku yang pada umumnya terkait dengan stres atau kelainan jiwa yang tidak dianggap sebagai bagian dari perkembangan normal manusia.[1] Gangguan tersebut didefinisikan sebagai kombinasi afektif, perilaku, komponen kognitif atau persepsi yang berhubungan dengan fungsi tertentu pada daerah otak atau sistem saraf yang menjalankan fungsi sosial manusia. Penemuan dan pengetahuan tentang kondisi kesehatan jiwa telah berubah sepanjang perubahan waktu dan perubahan budaya, dan saat ini masih terdapat perbedaan tentang definisi, penilaan dan klasifikasi, meskipun kriteria pedoman standar telah digunakan secara luas. Lebih dari sepertiga orang di sebagian besar negara-negara melaporkan masalah pada satu waktu pada hidup mereka yang memenuhi kriteria salah satu atau beberapa tipe umum dari kelainan jiwa.", 30, 100, 1]]
47
+
48
  #judul
49
  title = "Text Sumarization id2id"
50