SentenceTransformer based on intfloat/multilingual-e5-base

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base on the core and typos datasets. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: intfloat/multilingual-e5-base
Maximum Sequence Length: 512 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Dot Product
Training Datasets:
- core
- typos

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

RZTKSentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("yklymchuk-rztk/multiple-datasets-test-v3")
# Run inference
sentences = [
    'query: садовые качели',
    'passage: Садовые качели Фортнокс Гарантия 14 дней Цвет Коричневый Количество грузовых мест 1 Страна регистрации бренда Украина Тип Матрасы/подушки Количество предметов, шт 1 Материал обивки Ткань Страна-производитель товара Украина Тип гарантийного талона Гарантия по чеку Доставка Доставка в магазины ROZETKA',
    'passage: Видеокарта INNO3D PCI-Ex GeForce GTX 1070 Ti iChill HerculeZ X4 8GB GDDR5 (256bit) (1607/8000) (DVI, HDMI, 3 x DisplayPort) (C107T4-1SDN-P5DN)',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Datasets: core-uk-title, core-uk-options, core-ru-title, core-ru-options, typos-uk-title, typos-uk-options, typos-ru-title and typos-ru-options
Evaluated with InformationRetrievalEvaluator

Metric	core-uk-title	core-uk-options	core-ru-title	core-ru-options	typos-uk-title	typos-uk-options	typos-ru-title	typos-ru-options
dot_accuracy@1	0.5637	0.2813	0.6099	0.2649	0.4836	0.2454	0.5267	0.2218
dot_accuracy@3	0.7813	0.4579	0.807	0.4497	0.7012	0.385	0.7248	0.3747
dot_accuracy@5	0.8614	0.5462	0.8686	0.5544	0.7772	0.462	0.7977	0.4671
dot_accuracy@10	0.922	0.6704	0.9302	0.6745	0.8522	0.5852	0.8614	0.577
dot_precision@1	0.5637	0.2813	0.6099	0.2649	0.4836	0.2454	0.5267	0.2218
dot_precision@3	0.5441	0.2656	0.5811	0.2598	0.4606	0.2201	0.5003	0.2118
dot_precision@5	0.5251	0.2538	0.561	0.2556	0.4405	0.2101	0.4774	0.2051
dot_precision@10	0.4309	0.226	0.4492	0.2253	0.3619	0.1878	0.3765	0.18
dot_recall@1	0.0567	0.0277	0.0624	0.0267	0.0488	0.0239	0.0542	0.0221
dot_recall@3	0.1637	0.0788	0.1788	0.0782	0.1389	0.0657	0.1546	0.0638
dot_recall@5	0.262	0.1247	0.2865	0.1275	0.2201	0.1037	0.2436	0.1029
dot_recall@10	0.4216	0.2188	0.447	0.2228	0.3554	0.1827	0.3771	0.1786
dot_ndcg@10	0.4887	0.2491	0.517	0.2476	0.4121	0.2083	0.4378	0.1999
dot_mrr@10	0.6872	0.395	0.7196	0.3849	0.6055	0.3408	0.6382	0.3241
dot_map@100	0.4335	0.2355	0.459	0.2354	0.3564	0.1929	0.3792	0.1855

Information Retrieval

Datasets: core-uk-title--matryoshka_dim-768--, core-uk-options--matryoshka_dim-768--, core-ru-title--matryoshka_dim-768--, core-ru-options--matryoshka_dim-768--, typos-uk-title--matryoshka_dim-768--, typos-uk-options--matryoshka_dim-768--, typos-ru-title--matryoshka_dim-768--, typos-ru-options--matryoshka_dim-768--, core-uk-title--matryoshka_dim-512--, core-uk-options--matryoshka_dim-512--, core-ru-title--matryoshka_dim-512--, core-ru-options--matryoshka_dim-512--, typos-uk-title--matryoshka_dim-512--, typos-uk-options--matryoshka_dim-512--, typos-ru-title--matryoshka_dim-512--, typos-ru-options--matryoshka_dim-512--, core-uk-title--matryoshka_dim-256--, core-uk-options--matryoshka_dim-256--, core-ru-title--matryoshka_dim-256--, core-ru-options--matryoshka_dim-256--, typos-uk-title--matryoshka_dim-256--, typos-uk-options--matryoshka_dim-256--, typos-ru-title--matryoshka_dim-256--, typos-ru-options--matryoshka_dim-256--, core-uk-title--matryoshka_dim-128--, core-uk-options--matryoshka_dim-128--, core-ru-title--matryoshka_dim-128--, core-ru-options--matryoshka_dim-128--, typos-uk-title--matryoshka_dim-128--, typos-uk-options--matryoshka_dim-128--, typos-ru-title--matryoshka_dim-128-- and typos-ru-options--matryoshka_dim-128--
Evaluated with InformationRetrievalEvaluator

Metric	core-uk-title--matryoshka_dim-768--	core-uk-options--matryoshka_dim-768--	core-ru-title--matryoshka_dim-768--	core-ru-options--matryoshka_dim-768--	typos-uk-title--matryoshka_dim-768--	typos-uk-options--matryoshka_dim-768--	typos-ru-title--matryoshka_dim-768--	typos-ru-options--matryoshka_dim-768--	core-uk-title--matryoshka_dim-512--	core-uk-options--matryoshka_dim-512--	core-ru-title--matryoshka_dim-512--	core-ru-options--matryoshka_dim-512--	typos-uk-title--matryoshka_dim-512--	typos-uk-options--matryoshka_dim-512--	typos-ru-title--matryoshka_dim-512--	typos-ru-options--matryoshka_dim-512--	core-uk-title--matryoshka_dim-256--	core-uk-options--matryoshka_dim-256--	core-ru-title--matryoshka_dim-256--	core-ru-options--matryoshka_dim-256--	typos-uk-title--matryoshka_dim-256--	typos-uk-options--matryoshka_dim-256--	typos-ru-title--matryoshka_dim-256--	typos-ru-options--matryoshka_dim-256--	core-uk-title--matryoshka_dim-128--	core-uk-options--matryoshka_dim-128--	core-ru-title--matryoshka_dim-128--	core-ru-options--matryoshka_dim-128--	typos-uk-title--matryoshka_dim-128--	typos-uk-options--matryoshka_dim-128--	typos-ru-title--matryoshka_dim-128--	typos-ru-options--matryoshka_dim-128--
dot_accuracy@1	0.5637	0.2813	0.6099	0.2649	0.4836	0.2454	0.5267	0.2218	0.5483	0.2567	0.5862	0.2587	0.4671	0.2187	0.5144	0.2177	0.5185	0.2156	0.5534	0.2136	0.4209	0.1899	0.4476	0.1674	0.4476	0.1674	0.499	0.1643	0.3357	0.1283	0.3552	0.1242
dot_precision@1	0.5637	0.2813	0.6099	0.2649	0.4836	0.2454	0.5267	0.2218	0.5483	0.2567	0.5862	0.2587	0.4671	0.2187	0.5144	0.2177	0.5185	0.2156	0.5534	0.2136	0.4209	0.1899	0.4476	0.1674	0.4476	0.1674	0.499	0.1643	0.3357	0.1283	0.3552	0.1242
dot_recall@1	0.0567	0.0277	0.0624	0.0267	0.0488	0.0239	0.0542	0.0221	0.0551	0.0252	0.0606	0.0261	0.0469	0.0216	0.0531	0.0214	0.0521	0.0212	0.0568	0.0218	0.0425	0.0189	0.0463	0.0166	0.0453	0.0167	0.0514	0.0168	0.0342	0.0127	0.0372	0.0126
dot_ndcg@1	0.5637	0.2813	0.6099	0.2649	0.4836	0.2454	0.5267	0.2218	0.5483	0.2567	0.5862	0.2587	0.4671	0.2187	0.5144	0.2177	0.5185	0.2156	0.5534	0.2136	0.4209	0.1899	0.4476	0.1674	0.4476	0.1674	0.499	0.1643	0.3357	0.1283	0.3552	0.1242
dot_mrr@1	0.5637	0.2813	0.6099	0.2649	0.4836	0.2454	0.5267	0.2218	0.5483	0.2567	0.5862	0.2587	0.4671	0.2187	0.5144	0.2177	0.5185	0.2156	0.5534	0.2136	0.4209	0.1899	0.4476	0.1674	0.4476	0.1674	0.499	0.1643	0.3357	0.1283	0.3552	0.1242
dot_map@100	0.4335	0.2355	0.459	0.2354	0.3564	0.1929	0.3792	0.1855	0.4141	0.2235	0.4412	0.2277	0.3361	0.1788	0.3615	0.1777	0.3675	0.1842	0.394	0.188	0.2823	0.143	0.3084	0.1425	0.3065	0.1334	0.3274	0.131	0.2163	0.0954	0.2324	0.0913

Sequential

Dataset: full-benchmark
Evaluated with SequentialEvaluator

Metric	Value
avg--matryoshka_dim-768--_dot_accuracy@1	0.3996
avg--matryoshka_dim-768--_dot_precision@1	0.3996
avg--matryoshka_dim-768--_dot_recall@1	0.0403
avg--matryoshka_dim-768--_dot_ndcg@1	0.3996
avg--matryoshka_dim-768--_dot_mrr@1	0.3996
avg--matryoshka_dim-768--_dot_map@100	0.3097
avg--matryoshka_dim-512--_dot_accuracy@1	0.3835
avg--matryoshka_dim-512--_dot_precision@1	0.3835
avg--matryoshka_dim-512--_dot_recall@1	0.0387
avg--matryoshka_dim-512--_dot_ndcg@1	0.3835
avg--matryoshka_dim-512--_dot_mrr@1	0.3835
avg--matryoshka_dim-512--_dot_map@100	0.2951
avg--matryoshka_dim-256--_dot_accuracy@1	0.3409
avg--matryoshka_dim-256--_dot_precision@1	0.3409
avg--matryoshka_dim-256--_dot_recall@1	0.0345
avg--matryoshka_dim-256--_dot_ndcg@1	0.3409
avg--matryoshka_dim-256--_dot_mrr@1	0.3409
avg--matryoshka_dim-256--_dot_map@100	0.2512
avg--matryoshka_dim-128--_dot_accuracy@1	0.2777
avg--matryoshka_dim-128--_dot_precision@1	0.2777
avg--matryoshka_dim-128--_dot_recall@1	0.0284
avg--matryoshka_dim-128--_dot_ndcg@1	0.2777
avg--matryoshka_dim-128--_dot_mrr@1	0.2777
avg--matryoshka_dim-128--_dot_map@100	0.1917

Training Details

Training Datasets

core

Dataset: core
Size: 10,000 training samples
Columns: query and text
Approximate statistics based on the first 1000 samples:
query text
type string string
details
min: 7 tokens
mean: 9.95 tokens
max: 21 tokens

min: 11 tokens
mean: 55.92 tokens
max: 512 tokens

	query	text
type	string	string
details	min: 7 tokens mean: 9.95 tokens max: 21 tokens	min: 11 tokens mean: 55.92 tokens max: 512 tokens

Samples:

query	text
`query: la roche posa`	passage: Сироватка для обличчя La Roche-Posay Клас косметики Дерматокосметика Час застосування Універсально Вік Від 18 Стать Для чоловіків Стать Для жінок Кількість вантажних місць 1 Країна реєстрації бренда Франція Кількість предметів, шт 1 Країна-виробник товару Франція Об'єм 30 мл Формат Флакон Домішки Гліцерин Домішки Ретинол Домішки Ніацинамід Сфера застосування Обличчя Дія Вирівнює тон Тип шкіри Для всіх типів Призначення Проти перших ознак старіння Можливість доставки Почтомати Доставка Готовий до відправлення Доставка Доставка в магазини ROZETKA
`query: la roche posa`	`passage: Пребіотичний зволожувальний крем La Roche-Posay Toleriane Sensitive Зменшення чутливості шкіри 40 мл (3337875578486)`
`query: la roche posa`	passage: Сонцезахисні засоби La Roche-Posay Клас косметики Дерматокосметика Тип засобу Спрей Вид Захисні засоби Ступінь захисту SPF 50 Кількість вантажних місць 1 Країна реєстрації бренда Франція Кількість предметів, шт 1 Серія Anthelios Країна-виробник товару Франція Об'єм 75 мл Сфера застосування Обличчя Тип шкіри Для всіх типів Тип шкіри Нормальна Тип шкіри Жирна Тип шкіри Чутлива Тип гарантійного талона Без гарантійного талона Можливість доставки Почтомати Доставка Доставка в магазини ROZETKA Доставка Готовий до відправлення

Loss: sentence_transformers_training.model.matryoshka2d_loss.RZTKMatryoshka2dLoss with these parameters:

{
    "loss": "RZTKMultipleNegativesRankingLoss",
    "n_layers_per_step": 1,
    "last_layer_weight": 1.0,
    "prior_layers_weight": 1.0,
    "kl_div_weight": 1.0,
    "kl_temperature": 0.3,
    "matryoshka_dims": [
        768,
        512,
        256,
        128
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": 1
}

typos

Dataset: typos
Size: 10,000 training samples
Columns: query and text
Approximate statistics based on the first 1000 samples:
query text
type string string
details
min: 8 tokens
mean: 10.46 tokens
max: 16 tokens

min: 7 tokens
mean: 68.69 tokens
max: 510 tokens

	query	text
type	string	string
details	min: 8 tokens mean: 10.46 tokens max: 16 tokens	min: 7 tokens mean: 68.69 tokens max: 510 tokens

Samples:

query	text
`query: масло ромпшк`	passage: Эфирное масло Ароматика Класс косметики Аптечная Количество грузовых мест 1 Страна регистрации бренда Украина Количество предметов, шт 1 Страна-производитель товара Украина Объем 50 мл Вид Ромашки Возможность доставки Почтоматы Доставка Premium Доставка Доставка в магазины ROZETKA Доставка Готов к отправке
`query: масло ромпшк`	`passage: Олія Ароматика Ромашкова 50 мл (4820031052436)`
`query: масло ромпшк`	passage: Ефірна олія Ароматика Клас косметики Аптечна Кількість вантажних місць 1 Країна реєстрації бренда Україна Кількість предметів, шт 1 Країна-виробник товару Україна Об'єм 50 мл Вид Ромашки Можливість доставки Почтомати Доставка Premium Доставка Доставка в магазини ROZETKA Доставка Готовий до відправлення

Loss: sentence_transformers_training.model.matryoshka2d_loss.RZTKMatryoshka2dLoss with these parameters:

{
    "loss": "RZTKMultipleNegativesRankingLoss",
    "n_layers_per_step": 1,
    "last_layer_weight": 1.0,
    "prior_layers_weight": 1.0,
    "kl_div_weight": 1.0,
    "kl_temperature": 0.3,
    "matryoshka_dims": [
        768,
        512,
        256,
        128
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": 1
}

Evaluation Datasets

core

Dataset: core
Size: 10,000 evaluation samples
Columns: query and text
Approximate statistics based on the first 1000 samples:
query text
type string string
details
min: 6 tokens
mean: 8.53 tokens
max: 12 tokens

min: 12 tokens
mean: 78.28 tokens
max: 332 tokens

	query	text
type	string	string
details	min: 6 tokens mean: 8.53 tokens max: 12 tokens	min: 12 tokens mean: 78.28 tokens max: 332 tokens

Samples:

query	text
`query: корм для собак оптимил`	`passage: Сухой корм для взрослых собак малых пород Optimeal 4 кг (утка)`
`query: корм для собак оптимил`	`passage: Корма для собак Optimeal Вид корма Сухой корм Класс корма Супер премиум Возраст собаки Для взрослых собак на всех стадиях жизни Размер животного Средние Назначение Забота о коже и шерсти Вес 1 шт 1.5 кг Страна-производитель товара Украина Доставка Доставка в магазины ROZETKA`
`query: корм для собак оптимил`	passage: Корм для собак Optimeal Вид корму Сухий корм Клас корму Суперпреміум Вік собаки Для дорослих собак на всіх стадіях життя Розмір тварини Середні Призначення Основне годування Призначення Для вагітних собак Призначення Для активних собак Призначення Турбота про травлення Призначення Турбота про суглоби Вага 1 шт 4 кг Країна реєстрації бренда Україна Країна-виробник товару Україна

Loss: sentence_transformers_training.model.matryoshka2d_loss.RZTKMatryoshka2dLoss with these parameters:

{
    "loss": "RZTKMultipleNegativesRankingLoss",
    "n_layers_per_step": 1,
    "last_layer_weight": 1.0,
    "prior_layers_weight": 1.0,
    "kl_div_weight": 1.0,
    "kl_temperature": 0.3,
    "matryoshka_dims": [
        768,
        512,
        256,
        128
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": 1
}

typos

Dataset: typos
Size: 10,000 evaluation samples
Columns: query and text
Approximate statistics based on the first 1000 samples:
query text
type string string
details
min: 8 tokens
mean: 10.28 tokens
max: 13 tokens

min: 10 tokens
mean: 61.71 tokens
max: 297 tokens

	query	text
type	string	string
details	min: 8 tokens mean: 10.28 tokens max: 13 tokens	min: 10 tokens mean: 61.71 tokens max: 297 tokens

Samples:

query	text
`query: ба7кетка`	`passage: Банкетки Fenster Гарантия 24 месяца Цвет Дуб Сонома Трюфель Страна-производитель товара Украина Особенности С полками Стиль Лофт Назначение Для прихожей Материал корпуса Металл Материал корпуса ЛДСП`
`query: ба7кетка`	passage: Банкетки Metalzavod Гарантія 12 місяців Країна реєстрації бренда Україна Наповнювач Поролон Висота, см 75 Глибина, см 35 Ширина, см 100 Колір Коричнево-сірий Країна-виробник товару Україна Максимальне навантаження, кг 150 Особливості З полицями Матеріал оббивки Велюр Стиль Класичний Призначення Для передпокою Призначення Для офісу Призначення Для вітальні Матеріал корпусу Сталь Ширина спинки, мм 650 Вага, кг 28
`query: ба7кетка`	`passage: Банкетка-Фенстер Прем'єра Міні Чорний`

Loss: sentence_transformers_training.model.matryoshka2d_loss.RZTKMatryoshka2dLoss with these parameters:

{
    "loss": "RZTKMultipleNegativesRankingLoss",
    "n_layers_per_step": 1,
    "last_layer_weight": 1.0,
    "prior_layers_weight": 1.0,
    "kl_div_weight": 1.0,
    "kl_temperature": 0.3,
    "matryoshka_dims": [
        768,
        512,
        256,
        128
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": 1
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 88
per_device_eval_batch_size: 88
learning_rate: 2e-05
num_train_epochs: 1.0
warmup_ratio: 0.1
bf16: True
bf16_full_eval: True
tf32: True
dataloader_num_workers: 12
load_best_model_at_end: True
optim: adafactor
push_to_hub: True
hub_model_id: yklymchuk-rztk/multiple-datasets-test-v3
hub_private_repo: True
prompts: {'query': 'query: ', 'text': 'passage: '}
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 88
per_device_eval_batch_size: 88
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 1.0
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: True
fp16_full_eval: False
tf32: True
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: True
dataloader_num_workers: 12
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adafactor
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: True
resume_from_checkpoint: None
hub_model_id: yklymchuk-rztk/multiple-datasets-test-v3
hub_strategy: every_save
hub_private_repo: True
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: {'query': 'query: ', 'text': 'passage: '}
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional
ddp_static_graph: False
ddp_comm_hook: bf16
gradient_as_bucket_view: False
num_proc: 22

Training Logs

Epoch	Step	core loss	typos loss	core-uk-title_dot_ndcg@10	core-uk-options_dot_ndcg@10	core-ru-title_dot_ndcg@10	core-ru-options_dot_ndcg@10	typos-uk-title_dot_ndcg@10	typos-uk-options_dot_ndcg@10	typos-ru-title_dot_ndcg@10	typos-ru-options_dot_ndcg@10	core-uk-title--matryoshka_dim-768--_dot_ndcg@1	core-uk-options--matryoshka_dim-768--_dot_ndcg@1	core-ru-title--matryoshka_dim-768--_dot_ndcg@1	core-ru-options--matryoshka_dim-768--_dot_ndcg@1	typos-uk-title--matryoshka_dim-768--_dot_ndcg@1	typos-uk-options--matryoshka_dim-768--_dot_ndcg@1	typos-ru-title--matryoshka_dim-768--_dot_ndcg@1	typos-ru-options--matryoshka_dim-768--_dot_ndcg@1	core-uk-title--matryoshka_dim-512--_dot_ndcg@1	core-uk-options--matryoshka_dim-512--_dot_ndcg@1	core-ru-title--matryoshka_dim-512--_dot_ndcg@1	core-ru-options--matryoshka_dim-512--_dot_ndcg@1	typos-uk-title--matryoshka_dim-512--_dot_ndcg@1	typos-uk-options--matryoshka_dim-512--_dot_ndcg@1	typos-ru-title--matryoshka_dim-512--_dot_ndcg@1	typos-ru-options--matryoshka_dim-512--_dot_ndcg@1	core-uk-title--matryoshka_dim-256--_dot_ndcg@1	core-uk-options--matryoshka_dim-256--_dot_ndcg@1	core-ru-title--matryoshka_dim-256--_dot_ndcg@1	core-ru-options--matryoshka_dim-256--_dot_ndcg@1	typos-uk-title--matryoshka_dim-256--_dot_ndcg@1	typos-uk-options--matryoshka_dim-256--_dot_ndcg@1	typos-ru-title--matryoshka_dim-256--_dot_ndcg@1	typos-ru-options--matryoshka_dim-256--_dot_ndcg@1	core-uk-title--matryoshka_dim-128--_dot_ndcg@1	core-uk-options--matryoshka_dim-128--_dot_ndcg@1	core-ru-title--matryoshka_dim-128--_dot_ndcg@1	core-ru-options--matryoshka_dim-128--_dot_ndcg@1	typos-uk-title--matryoshka_dim-128--_dot_ndcg@1	typos-uk-options--matryoshka_dim-128--_dot_ndcg@1	typos-ru-title--matryoshka_dim-128--_dot_ndcg@1	typos-ru-options--matryoshka_dim-128--_dot_ndcg@1
0.1062	12	4.6692	4.5771	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.2124	24	3.4698	4.1446	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.3186	36	3.1009	3.1853	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.4248	48	2.6710	3.6210	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.531	60	2.4917	3.5154	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.5487	62	-	-	0.4887	0.2491	0.5170	0.2476	0.4121	0.2083	0.4378	0.1999	0.5637	0.2813	0.6099	0.2649	0.4836	0.2454	0.5267	0.2218	0.5483	0.2567	0.5862	0.2587	0.4671	0.2187	0.5144	0.2177	0.5185	0.2156	0.5534	0.2136	0.4209	0.1899	0.4476	0.1674	0.4476	0.1674	0.4990	0.1643	0.3357	0.1283	0.3552	0.1242

The bold row denotes the saved checkpoint.

Framework Versions

Python: 3.11.10
Sentence Transformers: 3.3.0
Transformers: 4.46.3
PyTorch: 2.5.1+cu124
Accelerate: 1.1.1
Datasets: 3.1.0
Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

yklymchuk-rztk
/

multiple-datasets-test-v3

You need to agree to share your contact information to access this model

SentenceTransformer based on intfloat/multilingual-e5-base

Model Details

Model Description

Model Sources

Full Model Architecture

Usage

Direct Usage (Sentence Transformers)

Evaluation

Metrics

Information Retrieval

Information Retrieval

Sequential

Training Details

Training Datasets

core

typos

Evaluation Datasets

core

typos

Training Hyperparameters

Non-Default Hyperparameters

All Hyperparameters

Training Logs

Framework Versions

Citation

BibTeX

Sentence Transformers

Model tree for yklymchuk-rztk/multiple-datasets-test-v3

Evaluation results