Update README.md
Browse files
README.md
CHANGED
@@ -337,22 +337,37 @@ Then you can load this model and run inference.
|
|
337 |
```python
|
338 |
from sentence_transformers import SentenceTransformer
|
339 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
340 |
# Download from the 🤗 Hub
|
341 |
model = SentenceTransformer("Sami92/multiling-e5-large-instruct-claim-matching")
|
342 |
# Run inference
|
343 |
-
|
344 |
-
|
|
|
345 |
'Erinnern Sie sich an meinen Beitrag von vorhin über die massiven Cyberausfälle. Verbinden Sie das alles mit dem, was wir seit „Shot Heard Round the World“ am Samstag gesagt haben. BQQM BQQM BQQM BQQM 1776 1776 BRICS',
|
346 |
'Heute sind offensichtlich ältere Flugzeuge am Himmel die entweder Turbinen Probleme haben oder schon elektrisch Fliegen... Die ganzen Lügen sind sooo offensichtlich das es schon weh tut sie bewusst zu ignorieren bzw nicht zu erkennen... Ihr wollt die Wahrheit <URL>',
|
347 |
]
|
348 |
-
|
349 |
-
|
350 |
-
# [3, 1024]
|
351 |
|
352 |
# Get the similarity scores for the embeddings
|
353 |
-
similarities = model.similarity(
|
354 |
-
|
355 |
-
# [3, 3]
|
356 |
```
|
357 |
|
358 |
<!--
|
|
|
337 |
```python
|
338 |
from sentence_transformers import SentenceTransformer
|
339 |
|
340 |
+
def embed_query(texts:list, model):
|
341 |
+
return model.encode(sentences=texts,
|
342 |
+
prompt="Instruct: Retrieve semantically similar text.\nQuery: ",
|
343 |
+
batch_size=32,
|
344 |
+
show_progress_bar=True,
|
345 |
+
normalize_embeddings=False,
|
346 |
+
convert_to_numpy=True,
|
347 |
+
device="cuda")
|
348 |
+
def embed_documents(texts:list, model):
|
349 |
+
return model.encode(sentences=texts,
|
350 |
+
batch_size=1024,
|
351 |
+
show_progress_bar=True,
|
352 |
+
normalize_embeddings=False,
|
353 |
+
convert_to_numpy=True,
|
354 |
+
device="cuda")
|
355 |
+
|
356 |
# Download from the 🤗 Hub
|
357 |
model = SentenceTransformer("Sami92/multiling-e5-large-instruct-claim-matching")
|
358 |
# Run inference
|
359 |
+
|
360 |
+
queries = ['Die Pentagon-Mitarbeiter wechseln zum Überstundenmodus Internetnutzer stellten fest, dass es in der Gegend, in der sich die Abteilung befindet, einen starken Anstieg der Bestellungen für Pizzalieferungen gab und gleichzeitig die örtlichen Bars leer waren. Zuletzt geschah dies im April, kurz vor und nach dem iranischen Angriff auf Israel. Dann bemerkte The Sun die hohe Auslastung der Pizzerien von Papa Johns mit Bestellungen vom Pentagon. Unsere Website <URL> Unser Kanal auf Englisch <URL>',]
|
361 |
+
documents = [
|
362 |
'Erinnern Sie sich an meinen Beitrag von vorhin über die massiven Cyberausfälle. Verbinden Sie das alles mit dem, was wir seit „Shot Heard Round the World“ am Samstag gesagt haben. BQQM BQQM BQQM BQQM 1776 1776 BRICS',
|
363 |
'Heute sind offensichtlich ältere Flugzeuge am Himmel die entweder Turbinen Probleme haben oder schon elektrisch Fliegen... Die ganzen Lügen sind sooo offensichtlich das es schon weh tut sie bewusst zu ignorieren bzw nicht zu erkennen... Ihr wollt die Wahrheit <URL>',
|
364 |
]
|
365 |
+
query_embeddings = embed_documents(texts=queries, model=model)
|
366 |
+
doc_embeddings = embed_query(texts=documents, model=model)
|
|
|
367 |
|
368 |
# Get the similarity scores for the embeddings
|
369 |
+
similarities = model.similarity(query_embeddings, doc_embeddings)
|
370 |
+
|
|
|
371 |
```
|
372 |
|
373 |
<!--
|