Este modelo foi treinado com o objetivo de ser utilizado para retreinar o modelo [BERT](https://huggingface.co/anatel/bert-augmented-pt-anatel) para a tarefa de similaridade, mesmo com poucos exemplos rotulados. Adotamos a estratégia [Augmented Bert](https://www.sbert.net/examples/training/data_augmentation/README.html). Treinamos o modelo cross-encoder com a base rotulada.

Config :

 ``` 
    Total de exemplos de treino = 64556
    Total de exemplos de validação = 2100.
    Epochs = 10
    max_length = 512
    train_batch_size = 4
    Tempo de duração ~ 11h
    Métricas = Correlation:	Pearson: 0.9156	Spearman: 0.8699
  ```
{}
transformers pytorch bert text-classification autotrain_compatible endpoints_compatible region:us
TAGS
#transformers #pytorch #bert #text-classification #autotrain_compatible #endpoints_compatible #region-us 

Este modelo foi treinado com o objetivo de ser utilizado para retreinar o modelo BERT para a tarefa de similaridade, mesmo com poucos exemplos rotulados. Adotamos a estratégia Augmented Bert. Treinamos o modelo cross-encoder com a base rotulada.

Config :

 
TAGS
#transformers #pytorch #bert #text-classification #autotrain_compatible #endpoints_compatible #region-us 

passage: TAGS
#transformers #pytorch #bert #text-classification #autotrain_compatible #endpoints_compatible #region-us 
