Update app.py

app.py

@@ -4,6 +4,7 @@ import numpy as np
 import tensorflow as tf
 from transformers import AutoTokenizer
 from huggingface_hub import from_pretrained_keras
+import re
 
 
 app_title = "Portuguese Counter Hate Speech Detection"
@@ -19,10 +20,12 @@ For more, visit our [website](https://knowhate.eu) and [Hugging Face page](https
 """
 
 def_model = 'knowhate/counterhate-youtube-bertimbau'
+def_model2 = 'knowhate/counterhate-twitter-xlmrobertabase-cleantxt'
 
 model_list = [
     def_model, 
     "knowhate/counterhate-twitter-xlmrobertabase",
+    def_model2,
     "knowhate/counterhate-twitter-bertbasemultilingualcased",
     "knowhate/counterhate-twitter-bertimbau"
 ]
@@ -30,6 +33,7 @@ model_list = [
 kw_to_hf = {"knowhate/counterhate-twitter-bertimbau": "neuralmind/bert-base-portuguese-cased", 
             "knowhate/counterhate-youtube-bertimbau": "neuralmind/bert-base-portuguese-cased", 
             "knowhate/counterhate-twitter-xlmrobertabase": "xlm-roberta-base", 
+            "knowhate/counterhate-twitter-xlmrobertabase-cleantxt": "xlm-roberta-base", 
             "knowhate/counterhate-twitter-bertbasemultilingualcased": "bert-base-multilingual-cased", 
             "knowhate/counterhate-youtube-hateberttuga": "knowhate/hateberttuga",
             "knowhate/counterhate-twitter-hateberttuga": "knowhate/hateberttuga"}
@@ -44,9 +48,52 @@ app_examples = [
      def_model],
     ["Então o Marcelo foi ao Qatar para 'falar de direitos humanos', mas não foi a Odemira?", 
      "esse retardado mental, foi a praia do katar, la tem a agua mais kentinha.", 
-     def_model]
+     def_model],
+    ["Essa gente tem é de deixar de ser apaparicada pelo Estado e começar a cumprir os seus deveres como cidadãos.", 
+     "Nepia o que faz com que as pessoas generalizem é o ódio intrínseco que têm contra uma etnia, ng é responsável pela sua xenofobia", 
+     def_model2],
+    ["\"Não acredites em tudo o que lês na Internet\" - Abraham Lincoln", 
+     "A Internet foi desenvolvida entre os anos 1973-1989.", 
+     def_model2],
+    ["Então o Marcelo foi ao Qatar para 'falar de direitos humanos', mas não foi a Odemira?", 
+     "esse retardado mental, foi a praia do katar, la tem a agua mais kentinha.", 
+     def_model2]
+    
 ]
 
+
+
+def remove_emojis(data):
+    if '@' in data:
+        data = re.sub(r"(?<=^|(?<=[^a-zA-Z0-9-_\.]))@([A-Za-z0-9-_]+[A-Za-z0-9-_]+)", "", data).strip()
+
+    if 'https' in data:
+        data = re.sub(
+            r"(?i)\b(?:[a-z][\w.+-]+:(?:/{1,3}|[?+]?[a-z0-9%]))(?:[^\s()<>]+|\(([^\s()<>]+|(\([^\s()<>]+\)))*\))+(?:\(([^\s()<>]+|(\([^\s()<>]+\)))*\)|[^\s\x60!()\[\]{};:'\".,<>?«»“”‘’])",
+            "", data).strip()
+
+    emoj = re.compile("["
+        u"\U0001F600-\U0001F64F"  # emoticons
+        u"\U0001F300-\U0001F5FF"  # symbols & pictographs
+        u"\U0001F680-\U0001F6FF"  # transport & map symbols
+        u"\U0001F1E0-\U0001F1FF"  # flags (iOS)
+        u"\U00002500-\U00002BEF"  # chinese char
+        u"\U00002702-\U000027B0"
+        u"\U000024C2-\U0001F251"
+        u"\U0001f926-\U0001f937"
+        u"\U00010000-\U0010ffff"
+        u"\u2640-\u2642" 
+        u"\u2600-\u2B55"
+        u"\u200d"
+        u"\u23cf"
+        u"\u23e9"
+        u"\u231a"
+        u"\ufe0f"  # dingbats
+        u"\u3030"
+                      "]+", re.UNICODE)
+    return re.sub(emoj, '', data)
+    
+
 def predict(text, target, chosen_model):    
     # model1 = tf.keras.models.load_model(chosen_model, custom_objects={"TFBertModel": TFBertModel})
     model1 = from_pretrained_keras(chosen_model)