Update app.py

app.py

@@ -1,29 +1,25 @@
-import torch
-from transformers import AutoTokenizer, AutoModel
+from transformers import AutoConfig, AutoTokenizer, TFAutoModel
 
-# تنظیمات مدل
-model_name = "HooshvareLab/bert-fa-zwnj-base"
-model_dir = "./models/HooshvareLab/bert-fa-zwnj-base"
+# بارگذاری تنظیمات، توکنایزر و مدل
+config = AutoConfig.from_pretrained("HooshvareLab/bert-fa-zwnj-base")
+tokenizer = AutoTokenizer.from_pretrained("HooshvareLab/bert-fa-zwnj-base")
+model = TFAutoModel.from_pretrained("HooshvareLab/bert-fa-zwnj-base")
 
-# بارگذاری مدل و توکنایزر
-tokenizer = AutoTokenizer.from_pretrained(model_name)
-model = AutoModel.from_pretrained(model_name)
+# متن فارسی
+text = "ما در هوشواره معتقدیم با انتقال صحیح دانش و آگاهی، همه افراد میتوانند از ابزارهای هوشمند استفاده کنند. شعار ما هوش مصنوعی برای همه است."
 
-# جمله مورد نظر برای تست
-text = "این یک جمله تستی برای مدل embedding فارسی است."
+# توکنایز کردن متن
+tokens = tokenizer.tokenize(text)
+print("Tokens:", tokens)
 
-# توکنایز کردن جمله و ایجاد تنسور ورودی
-inputs = tokenizer(text, return_tensors="pt")
+# تبدیل متن به ورودی مدل
+inputs = tokenizer(text, return_tensors="tf", padding=True, truncation=True)
 
-# دریافت خروجی مدل (embedding)
-with torch.no_grad():
-    outputs = model(**inputs)
+# عبور داده‌ها از مدل
+outputs = model(**inputs)
 
-# استخراج embedding از خروجی مدل
-last_hidden_states = outputs.last_hidden_states
+# استخراج بردارهای embedding
+embeddings = outputs.last_hidden_state
 
-# نمایش ابعاد (shape) تنسور خروجی
-print("Shape of the embedding tensor:", last_hidden_states.shape)
-
-# نمایش بخشی از تنسور خروجی
-print("Sample embedding values:", last_hidden_states[0, 0, :10])
+# نمایش اطلاعات
+print("Shape of embeddings:", embeddings.shape)