Sami92 commited on
Commit
0899c42
·
verified ·
1 Parent(s): bc82f73

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +23 -8
README.md CHANGED
@@ -337,22 +337,37 @@ Then you can load this model and run inference.
337
  ```python
338
  from sentence_transformers import SentenceTransformer
339
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
340
  # Download from the 🤗 Hub
341
  model = SentenceTransformer("Sami92/multiling-e5-large-instruct-claim-matching")
342
  # Run inference
343
- sentences = [
344
- 'Instruct: Retrieve semantically similar text.\nQuery: Die Pentagon-Mitarbeiter wechseln zum Überstundenmodus Internetnutzer stellten fest, dass es in der Gegend, in der sich die Abteilung befindet, einen starken Anstieg der Bestellungen für Pizzalieferungen gab und gleichzeitig die örtlichen Bars leer waren. Zuletzt geschah dies im April, kurz vor und nach dem iranischen Angriff auf Israel. Dann bemerkte The Sun die hohe Auslastung der Pizzerien von Papa Johns mit Bestellungen vom Pentagon. Unsere Website <URL> Unser Kanal auf Englisch <URL>',
 
345
  'Erinnern Sie sich an meinen Beitrag von vorhin über die massiven Cyberausfälle. Verbinden Sie das alles mit dem, was wir seit „Shot Heard Round the World“ am Samstag gesagt haben. BQQM BQQM BQQM BQQM 1776 1776 BRICS',
346
  'Heute sind offensichtlich ältere Flugzeuge am Himmel die entweder Turbinen Probleme haben oder schon elektrisch Fliegen... Die ganzen Lügen sind sooo offensichtlich das es schon weh tut sie bewusst zu ignorieren bzw nicht zu erkennen... Ihr wollt die Wahrheit <URL>',
347
  ]
348
- embeddings = model.encode(sentences)
349
- print(embeddings.shape)
350
- # [3, 1024]
351
 
352
  # Get the similarity scores for the embeddings
353
- similarities = model.similarity(embeddings, embeddings)
354
- print(similarities.shape)
355
- # [3, 3]
356
  ```
357
 
358
  <!--
 
337
  ```python
338
  from sentence_transformers import SentenceTransformer
339
 
340
+ def embed_query(texts:list, model):
341
+ return model.encode(sentences=texts,
342
+ prompt="Instruct: Retrieve semantically similar text.\nQuery: ",
343
+ batch_size=32,
344
+ show_progress_bar=True,
345
+ normalize_embeddings=False,
346
+ convert_to_numpy=True,
347
+ device="cuda")
348
+ def embed_documents(texts:list, model):
349
+ return model.encode(sentences=texts,
350
+ batch_size=1024,
351
+ show_progress_bar=True,
352
+ normalize_embeddings=False,
353
+ convert_to_numpy=True,
354
+ device="cuda")
355
+
356
  # Download from the 🤗 Hub
357
  model = SentenceTransformer("Sami92/multiling-e5-large-instruct-claim-matching")
358
  # Run inference
359
+
360
+ queries = ['Die Pentagon-Mitarbeiter wechseln zum Überstundenmodus Internetnutzer stellten fest, dass es in der Gegend, in der sich die Abteilung befindet, einen starken Anstieg der Bestellungen für Pizzalieferungen gab und gleichzeitig die örtlichen Bars leer waren. Zuletzt geschah dies im April, kurz vor und nach dem iranischen Angriff auf Israel. Dann bemerkte The Sun die hohe Auslastung der Pizzerien von Papa Johns mit Bestellungen vom Pentagon. Unsere Website <URL> Unser Kanal auf Englisch <URL>',]
361
+ documents = [
362
  'Erinnern Sie sich an meinen Beitrag von vorhin über die massiven Cyberausfälle. Verbinden Sie das alles mit dem, was wir seit „Shot Heard Round the World“ am Samstag gesagt haben. BQQM BQQM BQQM BQQM 1776 1776 BRICS',
363
  'Heute sind offensichtlich ältere Flugzeuge am Himmel die entweder Turbinen Probleme haben oder schon elektrisch Fliegen... Die ganzen Lügen sind sooo offensichtlich das es schon weh tut sie bewusst zu ignorieren bzw nicht zu erkennen... Ihr wollt die Wahrheit <URL>',
364
  ]
365
+ query_embeddings = embed_documents(texts=queries, model=model)
366
+ doc_embeddings = embed_query(texts=documents, model=model)
 
367
 
368
  # Get the similarity scores for the embeddings
369
+ similarities = model.similarity(query_embeddings, doc_embeddings)
370
+
 
371
  ```
372
 
373
  <!--