Spaces:
Sleeping
Sleeping
| { | |
| "best_metric": 0.2971116304397583, | |
| "best_model_checkpoint": "./svin/checkpoint-600", | |
| "epoch": 5.0, | |
| "eval_steps": 500, | |
| "global_step": 600, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.08, | |
| "grad_norm": 1.4835056066513062, | |
| "learning_rate": 1.9666666666666666e-05, | |
| "loss": 2.4036, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.17, | |
| "grad_norm": 1.6403590440750122, | |
| "learning_rate": 1.9333333333333333e-05, | |
| "loss": 2.126, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.25, | |
| "grad_norm": 1.8593930006027222, | |
| "learning_rate": 1.9e-05, | |
| "loss": 1.7892, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.33, | |
| "grad_norm": 1.6115764379501343, | |
| "learning_rate": 1.866666666666667e-05, | |
| "loss": 1.5352, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.42, | |
| "grad_norm": 1.3383398056030273, | |
| "learning_rate": 1.8333333333333333e-05, | |
| "loss": 1.3303, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.5, | |
| "grad_norm": 1.3053131103515625, | |
| "learning_rate": 1.8e-05, | |
| "loss": 1.1755, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.58, | |
| "grad_norm": 1.4148197174072266, | |
| "learning_rate": 1.7666666666666668e-05, | |
| "loss": 1.0469, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 0.67, | |
| "grad_norm": 1.3164098262786865, | |
| "learning_rate": 1.7333333333333336e-05, | |
| "loss": 0.9351, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.75, | |
| "grad_norm": 1.351128339767456, | |
| "learning_rate": 1.7e-05, | |
| "loss": 0.8411, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 0.83, | |
| "grad_norm": 1.1163653135299683, | |
| "learning_rate": 1.6666666666666667e-05, | |
| "loss": 0.82, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.92, | |
| "grad_norm": 1.2481478452682495, | |
| "learning_rate": 1.6333333333333335e-05, | |
| "loss": 0.7225, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "grad_norm": 1.494071364402771, | |
| "learning_rate": 1.6000000000000003e-05, | |
| "loss": 0.6972, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "eval_accuracy": 0.8978622327790974, | |
| "eval_loss": 0.6513156294822693, | |
| "eval_runtime": 31.845, | |
| "eval_samples_per_second": 92.542, | |
| "eval_steps_per_second": 0.691, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 1.08, | |
| "grad_norm": 1.2568280696868896, | |
| "learning_rate": 1.5666666666666667e-05, | |
| "loss": 0.6147, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 1.17, | |
| "grad_norm": 1.1234235763549805, | |
| "learning_rate": 1.5333333333333334e-05, | |
| "loss": 0.5977, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 1.25, | |
| "grad_norm": 1.614490270614624, | |
| "learning_rate": 1.5000000000000002e-05, | |
| "loss": 0.6324, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 1.33, | |
| "grad_norm": 1.1563916206359863, | |
| "learning_rate": 1.4666666666666666e-05, | |
| "loss": 0.5423, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 1.42, | |
| "grad_norm": 1.1219310760498047, | |
| "learning_rate": 1.4333333333333334e-05, | |
| "loss": 0.5335, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 1.5, | |
| "grad_norm": 1.0543292760849, | |
| "learning_rate": 1.4e-05, | |
| "loss": 0.5169, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 1.58, | |
| "grad_norm": 1.5661933422088623, | |
| "learning_rate": 1.3666666666666667e-05, | |
| "loss": 0.5247, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 1.67, | |
| "grad_norm": 1.4204506874084473, | |
| "learning_rate": 1.3333333333333333e-05, | |
| "loss": 0.4767, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 1.75, | |
| "grad_norm": 1.054136872291565, | |
| "learning_rate": 1.3000000000000001e-05, | |
| "loss": 0.4874, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 1.83, | |
| "grad_norm": 1.1543879508972168, | |
| "learning_rate": 1.2666666666666667e-05, | |
| "loss": 0.4546, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 1.92, | |
| "grad_norm": 1.2403457164764404, | |
| "learning_rate": 1.2333333333333334e-05, | |
| "loss": 0.4272, | |
| "step": 230 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "grad_norm": 1.166118860244751, | |
| "learning_rate": 1.2e-05, | |
| "loss": 0.4305, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "eval_accuracy": 0.9477434679334917, | |
| "eval_loss": 0.41236403584480286, | |
| "eval_runtime": 31.083, | |
| "eval_samples_per_second": 94.811, | |
| "eval_steps_per_second": 0.708, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 2.08, | |
| "grad_norm": 1.3920248746871948, | |
| "learning_rate": 1.1666666666666668e-05, | |
| "loss": 0.3951, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 2.17, | |
| "grad_norm": 1.9847582578659058, | |
| "learning_rate": 1.1333333333333334e-05, | |
| "loss": 0.4493, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 2.25, | |
| "grad_norm": 0.9650905132293701, | |
| "learning_rate": 1.1000000000000001e-05, | |
| "loss": 0.3995, | |
| "step": 270 | |
| }, | |
| { | |
| "epoch": 2.33, | |
| "grad_norm": 1.1868102550506592, | |
| "learning_rate": 1.0666666666666667e-05, | |
| "loss": 0.401, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 2.42, | |
| "grad_norm": 0.9317110776901245, | |
| "learning_rate": 1.0333333333333335e-05, | |
| "loss": 0.3785, | |
| "step": 290 | |
| }, | |
| { | |
| "epoch": 2.5, | |
| "grad_norm": 1.3572497367858887, | |
| "learning_rate": 1e-05, | |
| "loss": 0.3785, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 2.58, | |
| "grad_norm": 0.971365749835968, | |
| "learning_rate": 9.666666666666667e-06, | |
| "loss": 0.3789, | |
| "step": 310 | |
| }, | |
| { | |
| "epoch": 2.67, | |
| "grad_norm": 1.131386399269104, | |
| "learning_rate": 9.333333333333334e-06, | |
| "loss": 0.3636, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 2.75, | |
| "grad_norm": 1.010298728942871, | |
| "learning_rate": 9e-06, | |
| "loss": 0.3787, | |
| "step": 330 | |
| }, | |
| { | |
| "epoch": 2.83, | |
| "grad_norm": 1.622625470161438, | |
| "learning_rate": 8.666666666666668e-06, | |
| "loss": 0.3829, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 2.92, | |
| "grad_norm": 1.2643784284591675, | |
| "learning_rate": 8.333333333333334e-06, | |
| "loss": 0.3581, | |
| "step": 350 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "grad_norm": 1.2496050596237183, | |
| "learning_rate": 8.000000000000001e-06, | |
| "loss": 0.3596, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "eval_accuracy": 0.9538513742789277, | |
| "eval_loss": 0.345228910446167, | |
| "eval_runtime": 30.154, | |
| "eval_samples_per_second": 97.732, | |
| "eval_steps_per_second": 0.73, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 3.08, | |
| "grad_norm": 1.3197300434112549, | |
| "learning_rate": 7.666666666666667e-06, | |
| "loss": 0.3436, | |
| "step": 370 | |
| }, | |
| { | |
| "epoch": 3.17, | |
| "grad_norm": 1.0845314264297485, | |
| "learning_rate": 7.333333333333333e-06, | |
| "loss": 0.3334, | |
| "step": 380 | |
| }, | |
| { | |
| "epoch": 3.25, | |
| "grad_norm": 1.349538803100586, | |
| "learning_rate": 7e-06, | |
| "loss": 0.3274, | |
| "step": 390 | |
| }, | |
| { | |
| "epoch": 3.33, | |
| "grad_norm": 1.1228528022766113, | |
| "learning_rate": 6.666666666666667e-06, | |
| "loss": 0.3381, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 3.42, | |
| "grad_norm": 0.8805223703384399, | |
| "learning_rate": 6.333333333333333e-06, | |
| "loss": 0.3157, | |
| "step": 410 | |
| }, | |
| { | |
| "epoch": 3.5, | |
| "grad_norm": 1.097921371459961, | |
| "learning_rate": 6e-06, | |
| "loss": 0.2886, | |
| "step": 420 | |
| }, | |
| { | |
| "epoch": 3.58, | |
| "grad_norm": 1.1974855661392212, | |
| "learning_rate": 5.666666666666667e-06, | |
| "loss": 0.3184, | |
| "step": 430 | |
| }, | |
| { | |
| "epoch": 3.67, | |
| "grad_norm": 0.9140454530715942, | |
| "learning_rate": 5.333333333333334e-06, | |
| "loss": 0.3114, | |
| "step": 440 | |
| }, | |
| { | |
| "epoch": 3.75, | |
| "grad_norm": 0.7140288949012756, | |
| "learning_rate": 5e-06, | |
| "loss": 0.2978, | |
| "step": 450 | |
| }, | |
| { | |
| "epoch": 3.83, | |
| "grad_norm": 0.7845974564552307, | |
| "learning_rate": 4.666666666666667e-06, | |
| "loss": 0.3082, | |
| "step": 460 | |
| }, | |
| { | |
| "epoch": 3.92, | |
| "grad_norm": 1.4480149745941162, | |
| "learning_rate": 4.333333333333334e-06, | |
| "loss": 0.3349, | |
| "step": 470 | |
| }, | |
| { | |
| "epoch": 4.0, | |
| "grad_norm": 0.9842857718467712, | |
| "learning_rate": 4.000000000000001e-06, | |
| "loss": 0.299, | |
| "step": 480 | |
| }, | |
| { | |
| "epoch": 4.0, | |
| "eval_accuracy": 0.9582626399728538, | |
| "eval_loss": 0.3117567300796509, | |
| "eval_runtime": 30.981, | |
| "eval_samples_per_second": 95.123, | |
| "eval_steps_per_second": 0.71, | |
| "step": 480 | |
| }, | |
| { | |
| "epoch": 4.08, | |
| "grad_norm": 1.228848934173584, | |
| "learning_rate": 3.6666666666666666e-06, | |
| "loss": 0.3423, | |
| "step": 490 | |
| }, | |
| { | |
| "epoch": 4.17, | |
| "grad_norm": 0.9397204518318176, | |
| "learning_rate": 3.3333333333333333e-06, | |
| "loss": 0.3014, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 4.25, | |
| "grad_norm": 1.3466633558273315, | |
| "learning_rate": 3e-06, | |
| "loss": 0.29, | |
| "step": 510 | |
| }, | |
| { | |
| "epoch": 4.33, | |
| "grad_norm": 1.0849584341049194, | |
| "learning_rate": 2.666666666666667e-06, | |
| "loss": 0.3092, | |
| "step": 520 | |
| }, | |
| { | |
| "epoch": 4.42, | |
| "grad_norm": 0.85384202003479, | |
| "learning_rate": 2.3333333333333336e-06, | |
| "loss": 0.2996, | |
| "step": 530 | |
| }, | |
| { | |
| "epoch": 4.5, | |
| "grad_norm": 1.3900597095489502, | |
| "learning_rate": 2.0000000000000003e-06, | |
| "loss": 0.2788, | |
| "step": 540 | |
| }, | |
| { | |
| "epoch": 4.58, | |
| "grad_norm": 1.5993285179138184, | |
| "learning_rate": 1.6666666666666667e-06, | |
| "loss": 0.3014, | |
| "step": 550 | |
| }, | |
| { | |
| "epoch": 4.67, | |
| "grad_norm": 1.0854403972625732, | |
| "learning_rate": 1.3333333333333334e-06, | |
| "loss": 0.2894, | |
| "step": 560 | |
| }, | |
| { | |
| "epoch": 4.75, | |
| "grad_norm": 1.186776041984558, | |
| "learning_rate": 1.0000000000000002e-06, | |
| "loss": 0.2906, | |
| "step": 570 | |
| }, | |
| { | |
| "epoch": 4.83, | |
| "grad_norm": 1.3972039222717285, | |
| "learning_rate": 6.666666666666667e-07, | |
| "loss": 0.2906, | |
| "step": 580 | |
| }, | |
| { | |
| "epoch": 4.92, | |
| "grad_norm": 1.1296278238296509, | |
| "learning_rate": 3.3333333333333335e-07, | |
| "loss": 0.2923, | |
| "step": 590 | |
| }, | |
| { | |
| "epoch": 5.0, | |
| "grad_norm": 1.1308748722076416, | |
| "learning_rate": 0.0, | |
| "loss": 0.2729, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 5.0, | |
| "eval_accuracy": 0.9596199524940617, | |
| "eval_loss": 0.2971116304397583, | |
| "eval_runtime": 30.8812, | |
| "eval_samples_per_second": 95.43, | |
| "eval_steps_per_second": 0.712, | |
| "step": 600 | |
| } | |
| ], | |
| "logging_steps": 10, | |
| "max_steps": 600, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 5, | |
| "save_steps": 500, | |
| "total_flos": 6.470773575863869e+18, | |
| "train_batch_size": 140, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |