Hugging Face's logo

nanalysenko
/
panacea_v2.1

Sentence Similarity
sentence-transformers
Safetensors
roberta
feature-extraction
Generated from Trainer
dataset_size:6500
loss:MultipleNegativesRankingLoss
text-embeddings-inference
Inference Endpoints
Model card Files Community
panacea_v2.1 / README.md
nanalysenko's picture
nanalysenko
Upload 12 files
76bb89f verified
preview code
|
raw
history blame contribute delete
15.9 kB
metadata
base_model: ai-forever/ruRoberta-large
datasets: []
language: []
library_name: sentence-transformers
pipeline_tag: sentence-similarity
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:6500
  - loss:MultipleNegativesRankingLoss
widget:
  - source_sentence: Цитологическое исследование пунктата кожи
    sentences:
      - >-
        Цитологическая диагностика поражения кожи, исследование соскобов и
        отпечатков эрозий, ран, свищей
      - >-
        Панель аллергенов деревьев № 2 IgE (клен ясенелистный, тополь, вяз, дуб,
        пекан),
      - >-
        Панель аллергенов деревьев № 1 IgE (клен ясенелистный, береза, вяз, дуб,
        грецкий орех),
  - source_sentence: 12.4.3.06  Аллерген f222 - чай листовой, IgE (ImmunoCAP)
    sentences:
      - >-
        Панель аллергенов трав № 1 IgE (ежа сборная, овсяница луговая, рожь
        многолетняя, тимофеевка, мятлик луговой),
      - >-
        Панель аллергенов животных/перья птиц/ № 72 IgE (перо волнистого
        попугая, перо попугая, перо канарейки),
      - >-
        Панель аллергенов животных/перья птиц/ № 71 IgE (перо гуся, перо курицы,
        перо утки, перо индюка),
  - source_sentence: Общий анализ крови без лейкоцитарной формулы
    sentences:
      - Железо          ,
      - >-
        Панель ингаляционных аллергенов № 1 IgE (ежасборная, тимофеевка,
        японский кедр, амброзия обыкновенная, полыньобыкновенная),
      - >-
        Панель аллергенов трав № 3 IgE (колосок душистый, рожь многолетняя,
        тимофеевка, рожь культивированная, бухарник шерстистый),
  - source_sentence: 12.01.04 Аллергокомпонент f233 - овомукоид яйца nGal d1, IgE (ImmunoCAP)
    sentences:
      - Антистрептолизин-0 Asl-0
      - >-
        Панель аллергенов сорных растений и цветов № 5 IgE (амброзия
        обыкновенная, полынь обыкновенная, золотарник, нивяник, одуванчик
        лекарственный),
      - >-
        Панель профессиональных аллергенов № 1 IgE перхоть лошади, перхоть
        коровы, перо гуся, перо курицы,
  - source_sentence: ДНК вируса папиломы человека ВКР генотип (количественный) соскоб
    sentences:
      - >-
        ДНК Human Papillomavirus высокого канцерогенного риска (16, 18, 31, 33,
        35, 39, 45, 51, 52, 56, 58, 59 типов) с определением типа
      - >-
        Панель ингаляционных аллергенов № 8 IgE (эпителий кошки, клещ-дерматофаг
        перинный, береза, перхоть собаки, полынь обыкновенная, тимофеевка, рожь
        культивированная, плесневый гриб (Cladosporum herbarum)),
      - >-
        Панель ингаляционных аллергенов № 9 IgE (эпителий кошки, перхоть собаки,
        овсяница луговая, плесневый гриб (Alternaria tenuis), подорожник)

SentenceTransformer based on ai-forever/ruRoberta-large

This is a sentence-transformers model finetuned from ai-forever/ruRoberta-large. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: ai-forever/ruRoberta-large
  • Maximum Sequence Length: 514 tokens
  • Output Dimensionality: 1024 tokens
  • Similarity Function: Cosine Similarity

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'max_seq_length': 514, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'ДНК вируса папиломы человека ВКР генотип (количественный) соскоб',
    'ДНК Human Papillomavirus высокого канцерогенного риска (16, 18, 31, 33, 35, 39, 45, 51, 52, 56, 58, 59 типов) с определением типа',
    'Панель ингаляционных аллергенов № 9 IgE (эпителий кошки, перхоть собаки, овсяница луговая, плесневый гриб (Alternaria tenuis), подорожник)',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

  • Size: 6,500 training samples
  • Columns: sentence_0 and sentence_1
  • Approximate statistics based on the first 1000 samples:
    sentence_0 sentence_1
    type string string
    details
    • min: 6 tokens
    • mean: 33.15 tokens
    • max: 73 tokens
    • min: 5 tokens
    • mean: 36.66 tokens
    • max: 75 tokens
  • Samples:
    sentence_0 sentence_1
    12.01.14 Аллергокомпонент f76 - альфа-лактальбумин nBos d 4, IgE (ImmunoCAP) Панель аллергенов деревьев № 5 IgE (oльха, лещина обыкновенная, вяз, ива, тополь),
    нет до 18.12 12.02.2.00 Панель "профессиональных" аллергенов № 1 (IgE): перхоть лошади, перхоть коровы, перо гуся, перо курицы Панель профессиональных аллергенов № 1 IgE перхоть лошади, перхоть коровы, перо гуся, перо курицы,
    12.4.7.21 Аллерген f212 - Грибы (шампиньоны)/Agaricus hortensis, IgE (ImmunoCAP) Панель аллергенов деревьев № 5 IgE (oльха, лещина обыкновенная, вяз, ива, тополь),
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

  • num_train_epochs: 11
  • multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: no
  • prediction_loss_only: True
  • per_device_train_batch_size: 8
  • per_device_eval_batch_size: 8
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • learning_rate: 5e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1
  • num_train_epochs: 11
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.0
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: False
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: round_robin

Training Logs

Epoch Step Training Loss
0.6150 500 1.6066
1.2300 1000 1.5108
1.8450 1500 1.4851
2.4600 2000 1.4971
3.0750 2500 1.5269
3.6900 3000 1.5257
4.3050 3500 1.4807
4.9200 4000 1.4484
5.5351 4500 1.4794
6.1501 5000 1.4514
6.7651 5500 1.4552
7.3801 6000 1.483
7.9951 6500 1.4573
8.6101 7000 1.4676
9.2251 7500 1.4458
9.8401 8000 1.449
10.4551 8500 1.4683

Framework Versions

  • Python: 3.10.12
  • Sentence Transformers: 3.0.1
  • Transformers: 4.41.2
  • PyTorch: 2.3.0+cu121
  • Accelerate: 0.31.0
  • Datasets: 2.20.0
  • Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss 

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}