You need to agree to share your contact information to access this model

This repository is publicly accessible, but you have to accept the conditions to access its files and content.

Log in or Sign Up to review the conditions and access this model content.

SentenceTransformer based on intfloat/multilingual-e5-base

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base on the rozetka_positive_pairs dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: intfloat/multilingual-e5-base
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 768 dimensions
  • Similarity Function: Dot Product
  • Training Dataset:
    • rozetka_positive_pairs

Model Sources

Full Model Architecture

RZTKSentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("yklymchuk-rztk/multilingual-e5-base-matryoshka2d-mnr-13")
# Run inference
sentences = [
    'query: мужские кроссовки',
    "passage: Чоловічі кросівки New Balance Колір Чорний Матеріал верху Замша Матеріал верху Синтетика Матеріал підкладки Текстиль Матеріал підошви Гума Розмір 45.5 Сезон Весняний Сезон Осінній Кількість вантажних місць 1 Країна реєстрації бренда США Країна-виробник товару В'єтнам Призначення Повсякденні Сегмент Спорт Мембрана Немає Розпродаж Товари зі знижкою Підошва Товста, понад 2 см Наявність товара по містах Київ і область Доставка Доставка в магазини ROZETKA Доставка Готовий до відправлення",
    'passage: Мужские кроссовки New Balance 393 ML393SS1 46.5 (12US) 30 см Синие (739980526742)',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

RZTKInformation Retrieval

  • Dataset: validation--matryoshka_dim-768--
  • Evaluated with sentence_transformers_training.evaluation.information_retrieval_evaluator.RZTKInformationRetrievalEvaluator
Metric Value
dot_accuracy_10 0.4259
dot_precision_10 0.0636
dot_recall_10 0.3352
dot_ndcg_10 0.2212
dot_mrr_10 0.2061
dot_map_60 0.1885

RZTKInformation Retrieval

  • Datasets: bm-full, core-uk-title, core-ru-title, core-uk-options, core-ru-options, options-uk-title, options-ru-title, options-uk-options, options-ru-options, rusisms-uk-title, rusisms-ru-title, rusisms-uk-options, rusisms-ru-options, rusisms_corrected-uk-title, rusisms_corrected-ru-title, rusisms_corrected-uk-options, rusisms_corrected-ru-options, core_typos-uk-title, core_typos-ru-title, core_typos-uk-options, core_typos-ru-options, vespa-uk-title, vespa-ru-title, vespa-uk-options and vespa-ru-options
  • Evaluated with sentence_transformers_training.evaluation.information_retrieval_evaluator.RZTKInformationRetrievalEvaluator
Metric bm-full core-uk-title core-ru-title core-uk-options core-ru-options options-uk-title options-ru-title options-uk-options options-ru-options rusisms-uk-title rusisms-ru-title rusisms-uk-options rusisms-ru-options rusisms_corrected-uk-title rusisms_corrected-ru-title rusisms_corrected-uk-options rusisms_corrected-ru-options core_typos-uk-title core_typos-ru-title core_typos-uk-options core_typos-ru-options vespa-uk-title vespa-ru-title vespa-uk-options vespa-ru-options
dot_accuracy_1 0.6881 0.7979 0.8005 0.7139 0.7152 0.8058 0.8155 0.682 0.6966 0.8692 0.8769 0.7538 0.7846 0.9077 0.9154 0.8308 0.8538 0.7336 0.7349 0.6365 0.6352 0.871 0.8495 0.7527 0.7527
dot_accuracy_3 0.7951 0.9396 0.9357 0.8701 0.874 0.9563 0.9563 0.8617 0.8592 0.9154 0.9231 0.8462 0.8615 0.9769 0.9538 0.8846 0.9154 0.8924 0.8885 0.7979 0.7848 0.8817 0.8817 0.7957 0.8172
dot_accuracy_5 0.8402 0.9685 0.9633 0.9252 0.9213 0.9733 0.9782 0.9199 0.915 0.9385 0.9308 0.8692 0.8923 0.9846 0.9769 0.9308 0.9385 0.9383 0.9318 0.8622 0.8583 0.8817 0.8925 0.828 0.8387
dot_accuracy_10 0.9007 0.9934 0.9921 0.9698 0.9738 0.9903 0.9976 0.9733 0.9612 0.9615 0.9615 0.9308 0.9385 0.9923 1.0 0.9692 0.9923 0.9711 0.9698 0.9318 0.937 0.9247 0.9032 0.8387 0.8387
dot_precision_1 0.6881 0.7979 0.8005 0.7139 0.7152 0.8058 0.8155 0.682 0.6966 0.8692 0.8769 0.7538 0.7846 0.9077 0.9154 0.8308 0.8538 0.7336 0.7349 0.6365 0.6352 0.871 0.8495 0.7527 0.7527
dot_precision_3 0.6765 0.7406 0.7437 0.6597 0.6544 0.7508 0.7508 0.6311 0.6351 0.8103 0.8154 0.7256 0.7436 0.8513 0.8462 0.7846 0.8 0.6772 0.6824 0.5796 0.5761 0.8029 0.7957 0.7168 0.7133
dot_precision_5 0.6574 0.6478 0.6517 0.5848 0.5819 0.5874 0.5869 0.5102 0.5078 0.7677 0.7785 0.6938 0.7092 0.8015 0.8 0.7477 0.7569 0.5966 0.5979 0.5184 0.5173 0.7613 0.7548 0.6903 0.6731
dot_precision_10 0.6168 0.3937 0.3944 0.3787 0.3776 0.3352 0.3364 0.3109 0.3095 0.6692 0.6685 0.6231 0.6277 0.6915 0.6954 0.6685 0.6792 0.371 0.3728 0.3441 0.3459 0.6946 0.686 0.643 0.6215
dot_recall_1 0.0492 0.2515 0.2527 0.216 0.218 0.2502 0.254 0.212 0.217 0.1773 0.1768 0.1452 0.1566 0.1831 0.1842 0.162 0.1652 0.2235 0.2256 0.1899 0.1905 0.1436 0.1408 0.1068 0.102
dot_recall_3 0.1414 0.5937 0.592 0.5151 0.5125 0.6714 0.6707 0.5628 0.5668 0.3654 0.3712 0.335 0.342 0.3942 0.3932 0.3498 0.369 0.5379 0.5403 0.4487 0.4488 0.2696 0.2692 0.2094 0.2061
dot_recall_5 0.2199 0.8012 0.8057 0.7152 0.7149 0.8487 0.8476 0.7359 0.7342 0.5078 0.5151 0.4604 0.4737 0.5402 0.542 0.4884 0.5018 0.7395 0.7408 0.6349 0.6357 0.3464 0.3469 0.2811 0.2744
dot_recall_10 0.3814 0.9422 0.9418 0.8968 0.8961 0.959 0.9618 0.8842 0.8813 0.7342 0.7306 0.693 0.7021 0.7693 0.7814 0.7412 0.7564 0.8864 0.8912 0.8162 0.8196 0.4769 0.46 0.4028 0.3816
dot_ndcg_10 0.6617 0.8744 0.8763 0.805 0.8035 0.8791 0.8814 0.78 0.7816 0.8856 0.8873 0.8087 0.8249 0.9264 0.9303 0.8712 0.8906 0.8103 0.8136 0.7214 0.723 0.8727 0.8596 0.7758 0.7524
dot_mrr_10 0.7508 0.8704 0.8702 0.8027 0.8032 0.8813 0.8869 0.7838 0.7883 0.8987 0.9032 0.8051 0.8334 0.9442 0.9422 0.8702 0.8963 0.8196 0.8157 0.7317 0.73 0.8814 0.8673 0.7812 0.7839
dot_map_100 0.6325 0.837 0.8401 0.7556 0.7535 0.8251 0.8258 0.7174 0.7215 0.8819 0.8852 0.808 0.8219 0.9166 0.9162 0.8645 0.8764 0.7668 0.7702 0.6729 0.6729 0.8669 0.8558 0.7471 0.7265

RZTKInformation Retrieval

  • Datasets: bm-full--matryoshka_dim-768--, bm-full--matryoshka_dim-512--, bm-full--matryoshka_dim-256-- and bm-full--matryoshka_dim-128--
  • Evaluated with sentence_transformers_training.evaluation.information_retrieval_evaluator.RZTKInformationRetrievalEvaluator
Metric bm-full--matryoshka_dim-768-- bm-full--matryoshka_dim-512-- bm-full--matryoshka_dim-256-- bm-full--matryoshka_dim-128--
dot_accuracy_1 0.6881 0.6771 0.6653 0.653
dot_precision_1 0.6881 0.6771 0.6653 0.653
dot_recall_1 0.0492 0.0481 0.0473 0.0457
dot_ndcg_1 0.6881 0.6771 0.6653 0.653
dot_mrr_1 0.6881 0.6771 0.6653 0.653
dot_map_100 0.6325 0.6268 0.616 0.5867

Training Details

Training Dataset

rozetka_positive_pairs

  • Dataset: rozetka_positive_pairs
  • Size: 78,279,102 training samples
  • Columns: query and text
  • Approximate statistics based on the first 1000 samples:
    query text
    type string string
    details
    • min: 6 tokens
    • mean: 12.7 tokens
    • max: 40 tokens
    • min: 7 tokens
    • mean: 56.29 tokens
    • max: 512 tokens
  • Samples:
    query text
    query: campingaz fold n cool classic 10l dark blue passage: Термосумка Campingaz Fold'n Cool Classic 10L Dark Blue (4823082704729)
    query: campingaz fold n cool classic 10l dark blue passage: Термопродукція Campingaz Гарантія 14 днів Вид Термосумки Колір Синій з білим Режим роботи Охолодження Країна реєстрації бренда Франція Країна-виробник товару Китай Тип гарантійного талона Гарантія по чеку Можливість доставки Почтомати Доставка Premium Немає
    query: campingaz fold n cool classic 10l dark blue passage: Термосумка Campingaz Fold'n Cool Classic 10L Dark Blue (4823082704729)
  • Loss: sentence_transformers_training.model.matryoshka2d_loss.RZTKMatryoshka2dLoss with these parameters:
    {
        "loss": "RZTKMultipleNegativesRankingLoss",
        "n_layers_per_step": 1,
        "last_layer_weight": 1.0,
        "prior_layers_weight": 1.0,
        "kl_div_weight": 1.0,
        "kl_temperature": 0.3,
        "matryoshka_dims": [
            768,
            512,
            256,
            128
        ],
        "matryoshka_weights": [
            1,
            1,
            1,
            1
        ],
        "n_dims_per_step": 1
    }
    

Evaluation Dataset

rozetka_positive_pairs

  • Dataset: rozetka_positive_pairs
  • Size: 1,000,000 evaluation samples
  • Columns: query and text
  • Approximate statistics based on the first 1000 samples:
    query text
    type string string
    details
    • min: 7 tokens
    • mean: 9.99 tokens
    • max: 11 tokens
    • min: 10 tokens
    • mean: 68.4 tokens
    • max: 258 tokens
  • Samples:
    query text
    query: топографическая карта passage: Топографічна карта України Garmin
    query: топографическая карта passage: Навігаційні карти для GPS Garmin
    query: топографическая карта passage: Топографическая карта Украины Garmin
  • Loss: sentence_transformers_training.model.matryoshka2d_loss.RZTKMatryoshka2dLoss with these parameters:
    {
        "loss": "RZTKMultipleNegativesRankingLoss",
        "n_layers_per_step": 1,
        "last_layer_weight": 1.0,
        "prior_layers_weight": 1.0,
        "kl_div_weight": 1.0,
        "kl_temperature": 0.3,
        "matryoshka_dims": [
            768,
            512,
            256,
            128
        ],
        "matryoshka_weights": [
            1,
            1,
            1,
            1
        ],
        "n_dims_per_step": 1
    }
    

Training Hyperparameters

Non-Default Hyperparameters

  • eval_strategy: steps
  • per_device_train_batch_size: 88
  • per_device_eval_batch_size: 88
  • learning_rate: 2e-05
  • num_train_epochs: 1.0
  • warmup_ratio: 0.1
  • bf16: True
  • bf16_full_eval: True
  • tf32: True
  • dataloader_num_workers: 4
  • load_best_model_at_end: True
  • optim: adafactor
  • push_to_hub: True
  • hub_model_id: yklymchuk-rztk/multilingual-e5-base-matryoshka2d-mnr-13
  • hub_private_repo: True
  • prompts: {'query': 'query: ', 'text': 'passage: '}
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: steps
  • prediction_loss_only: True
  • per_device_train_batch_size: 88
  • per_device_eval_batch_size: 88
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 2e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 1.0
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.1
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: True
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: True
  • fp16_full_eval: False
  • tf32: True
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: True
  • dataloader_num_workers: 4
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: True
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adafactor
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: True
  • resume_from_checkpoint: None
  • hub_model_id: yklymchuk-rztk/multilingual-e5-base-matryoshka2d-mnr-13
  • hub_strategy: every_save
  • hub_private_repo: True
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • average_tokens_across_devices: False
  • prompts: {'query': 'query: ', 'text': 'passage: '}
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional
  • ddp_static_graph: False
  • ddp_comm_hook: bf16
  • gradient_as_bucket_view: False
  • num_proc: 30

Training Logs

Click to expand
Epoch Step Training Loss Validation Loss validation--matryoshka_dim-768--_dot_ndcg_10 bm-full_dot_ndcg_10 core-uk-title_dot_ndcg_10 core-ru-title_dot_ndcg_10 core-uk-options_dot_ndcg_10 core-ru-options_dot_ndcg_10 options-uk-title_dot_ndcg_10 options-ru-title_dot_ndcg_10 options-uk-options_dot_ndcg_10 options-ru-options_dot_ndcg_10 rusisms-uk-title_dot_ndcg_10 rusisms-ru-title_dot_ndcg_10 rusisms-uk-options_dot_ndcg_10 rusisms-ru-options_dot_ndcg_10 rusisms_corrected-uk-title_dot_ndcg_10 rusisms_corrected-ru-title_dot_ndcg_10 rusisms_corrected-uk-options_dot_ndcg_10 rusisms_corrected-ru-options_dot_ndcg_10 core_typos-uk-title_dot_ndcg_10 core_typos-ru-title_dot_ndcg_10 core_typos-uk-options_dot_ndcg_10 core_typos-ru-options_dot_ndcg_10 vespa-uk-title_dot_ndcg_10 vespa-ru-title_dot_ndcg_10 vespa-uk-options_dot_ndcg_10 vespa-ru-options_dot_ndcg_10 bm-full--matryoshka_dim-768--_dot_ndcg_1 bm-full--matryoshka_dim-512--_dot_ndcg_1 bm-full--matryoshka_dim-256--_dot_ndcg_1 bm-full--matryoshka_dim-128--_dot_ndcg_1
0.0050 1112 4.6714 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0100 2224 4.4426 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0150 3336 3.9735 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0200 4448 3.0901 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0250 5560 2.46 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0300 6672 2.1446 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0350 7784 1.9919 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0400 8896 1.8052 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0450 10008 1.6854 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0500 11120 1.5955 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0550 12232 1.5606 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0600 13344 1.4562 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0650 14456 1.4314 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0700 15568 1.3171 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0750 16680 1.2743 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0800 17792 1.2536 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0850 18904 1.1974 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0900 20016 1.1574 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.0950 21128 1.1586 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1000 22239 - 0.8789 0.2019 - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1000 22240 1.1181 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1050 23352 1.0782 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1100 24464 1.0732 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1150 25576 1.0017 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1200 26688 0.9645 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1250 27800 0.9549 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1300 28912 0.9427 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1350 30024 0.9052 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1400 31136 0.9167 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1450 32248 0.8791 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1500 33360 0.8319 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1550 34472 0.8825 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1600 35584 0.852 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1650 36696 0.837 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1700 37808 0.7889 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1750 38920 0.7979 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1800 40032 0.8037 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1850 41144 0.8034 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1900 42256 0.8189 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.1950 43368 0.7688 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2000 44478 - 0.5867 0.2127 - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2000 44480 0.774 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2050 45592 0.7886 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2100 46704 0.7693 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2150 47816 0.7675 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2200 48928 0.7287 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2250 50040 0.7398 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2300 51152 0.7356 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2350 52264 0.7509 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2400 53376 0.7474 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2450 54488 0.7299 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2500 55600 0.7154 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2550 56712 0.7094 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2600 57824 0.7269 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2650 58936 0.6981 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2700 60048 0.6887 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2750 61160 0.7023 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2800 62272 0.6865 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2850 63384 0.6908 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2900 64496 0.6908 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.2950 65608 0.6866 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3000 66717 - 0.5193 0.2154 - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3000 66720 0.7006 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3050 67832 0.657 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3100 68944 0.7098 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3150 70056 0.6886 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3200 71168 0.6773 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3250 72280 0.6795 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3300 73392 0.6747 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3350 74504 0.6744 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3400 75616 0.6409 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3450 76728 0.6613 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3500 77840 0.6629 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3550 78952 0.6676 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3600 80064 0.6627 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3650 81176 0.6631 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3700 82288 0.6296 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3750 83400 0.6295 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3800 84512 0.6419 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3850 85624 0.6392 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3900 86736 0.6366 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.3950 87848 0.6204 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4000 88956 - 0.4944 0.2193 - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4000 88960 0.6372 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4050 90072 0.6456 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4100 91184 0.6181 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4150 92296 0.6314 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4200 93408 0.6333 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4250 94520 0.6379 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4300 95632 0.6291 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4350 96744 0.6283 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4400 97856 0.638 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4450 98968 0.6475 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4500 100080 0.6173 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4550 101192 0.6149 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4600 102304 0.621 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4650 103416 0.6448 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4700 104528 0.6413 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4750 105640 0.6292 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4800 106752 0.6231 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4850 107864 0.6305 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4900 108976 0.6008 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.4950 110088 0.6237 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5000 111195 - 0.4704 0.2203 - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5000 111200 0.6037 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5050 112312 0.6243 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5100 113424 0.6276 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5150 114536 0.6234 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5200 115648 0.6183 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5250 116760 0.6304 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5300 117872 0.6421 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5350 118984 0.6496 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5400 120096 0.5997 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5450 121208 0.6452 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5500 122320 0.6117 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5550 123432 0.6285 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5600 124544 0.6001 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5650 125656 0.6212 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5700 126768 0.6235 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5750 127880 0.6089 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5800 128992 0.6129 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5850 130104 0.6032 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5900 131216 0.6248 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.5950 132328 0.6051 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6000 133434 - 0.4625 0.2208 - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6000 133440 0.6208 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6050 134552 0.6148 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6100 135664 0.6106 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6150 136776 0.631 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6200 137888 0.5998 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6250 139000 0.6241 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6300 140112 0.6364 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6350 141224 0.6115 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6400 142336 0.6059 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6450 143448 0.5771 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6500 144560 0.6158 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6551 145672 0.6014 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6601 146784 0.633 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6651 147896 0.5963 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6701 149008 0.6121 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6751 150120 0.6093 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6801 151232 0.6169 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6851 152344 0.6075 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6901 153456 0.6359 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.6951 154568 0.6084 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7 155673 - 0.4481 0.22 - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7001 155680 0.6018 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7051 156792 0.6161 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7101 157904 0.6007 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7151 159016 0.599 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7201 160128 0.611 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7251 161240 0.599 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7301 162352 0.6054 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7351 163464 0.6023 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7401 164576 0.6299 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7451 165688 0.6039 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7501 166800 0.61 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7551 167912 0.62 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7601 169024 0.6077 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7651 170136 0.6021 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7701 171248 0.6238 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7751 172360 0.6134 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7801 173472 0.5894 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7851 174584 0.6241 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7901 175696 0.6291 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.7951 176808 0.6078 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8000 177912 - 0.4508 0.2211 - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8001 177920 0.6023 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8051 179032 0.6119 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8101 180144 0.5932 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8151 181256 0.5995 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8201 182368 0.6199 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8251 183480 0.6403 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8301 184592 0.6194 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8351 185704 0.6288 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8401 186816 0.6316 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8451 187928 0.6111 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8501 189040 0.6021 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8551 190152 0.6249 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8601 191264 0.6161 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8651 192376 0.6213 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8701 193488 0.6236 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8751 194600 0.5961 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8801 195712 0.6206 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8851 196824 0.6203 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8901 197936 0.6128 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.8951 199048 0.5952 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9000 200151 - 0.4515 0.2212 - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9001 200160 0.5915 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9051 201272 0.6156 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9101 202384 0.6223 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9151 203496 0.6122 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9201 204608 0.6173 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9251 205720 0.608 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9301 206832 0.6009 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9351 207944 0.5984 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9401 209056 0.5833 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9451 210168 0.6177 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9501 211280 0.617 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9551 212392 0.6173 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9601 213504 0.6161 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9651 214616 0.605 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9701 215728 0.6308 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9751 216840 0.6164 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9801 217952 0.626 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9851 219064 0.6055 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9901 220176 0.5738 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
0.9951 221288 0.6204 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
1.0 222383 - - - 0.6617 0.8744 0.8763 0.8050 0.8035 0.8791 0.8814 0.7800 0.7816 0.8856 0.8873 0.8087 0.8249 0.9264 0.9303 0.8712 0.8906 0.8103 0.8136 0.7214 0.7230 0.8727 0.8596 0.7758 0.7524 0.6881 0.6771 0.6653 0.6530
  • The bold row denotes the saved checkpoint.

Framework Versions

  • Python: 3.11.10
  • Sentence Transformers: 3.3.0
  • Transformers: 4.46.3
  • PyTorch: 2.5.1+cu124
  • Accelerate: 1.1.1
  • Datasets: 3.1.0
  • Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}
Downloads last month
14
Safetensors
Model size
278M params
Tensor type
BF16
·
Inference Providers NEW
This model is not currently available via any of the supported Inference Providers.

Model tree for yklymchuk-rztk/multilingual-e5-base-matryoshka2d-mnr-13

Quantized
(27)
this model

Evaluation results