aristotle_csv2

This model is a fine-tuned version of ai-forever/rugpt3small_based_on_gpt2 on an DmitryYarov/aristotel_hignlitened_extended_csv dataset. It achieves the following results on the evaluation set:

Loss: 3.3083

Model description

Модель дообученная на текстах аристотеля в рамках проекта Лаборатория Цифровой Философии

Intended uses & limitations

Для проведения мысленных экспериментов в рамках курса философии Античности

Training and evaluation data

Аристотель (1976). Собрание сочинений в 4-х томах. Т. 1. Москва: Мысль. Аристотель (1978). Метафизика, о душе. Собрание сочинений в 4-х томах. Т. 2. Москва: Мысль. Аристотель (1981). Категории, о истолковании, первая аналитика, вторая аналитика, книга первая, книга вторая, топика, о софистических опровержениях. Собрание сочинений в 4-х томах. Т. 3. Москва: Мысль. Аристотель (1983). Физика, о небе, о возникновении и уничтожении, метеорологика. Собрание сочинений в 4-х томах. Т. 4. - Аристотель. Никомахова этика, Политика.

Кроме того, было принято решение не исключать из выборки текстов аналитического характера, опубликованных в полном собрании сочинений, но не принадлежащих непосредственно Аристотелю. Включены следующие работы: В. Асмус, «Метафизика Аристотеля».Микеладзе, «Основоположения логики Аристотеля».И. Д. Рожанский, «Естественнонаучные сочинения Аристотеля». 1. Т. Φ.X. Кессиди, «Этические сочинения Аристотеля». А. И. Доватур, «Политика Аристотеля». Целью такого подхода было избежать переобучения модели, а также обеспечить контекстуальную релевантность русского языка. Для подготовки данных был проведён процесс их очистки и нормализации, после чего они были собраны в датасет в формате CSV (Далее по тексту «Датасет» ). Каждое предложение из текстов было представлено как отдельная сущность в датасете, общее количество которых составило 7187.

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
gradient_accumulation_steps: 4
total_train_batch_size: 32
optimizer: Use OptimizerNames.ADAFACTOR and the args are: No additional optimizer arguments
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 500
num_epochs: 30
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss
5.1893	1.0	129	3.9908
3.6923	2.0	258	3.4627
3.4284	3.0	387	3.3217
3.146	4.0	516	3.2514
2.86	5.0	645	3.2055
2.6066	6.0	774	3.2279
2.3943	7.0	903	3.2737
2.1619	8.0	1032	3.3083

Framework versions

Transformers 4.48.3
Pytorch 2.5.1+cu124
Datasets 3.3.0
Tokenizers 0.21.0

DmitryYarov
/

Aristo2025