| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 0.4, | |
| "eval_steps": 500, | |
| "global_step": 6000, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.006666666666666667, | |
| "grad_norm": 0.29276716709136963, | |
| "learning_rate": 1.9956444444444447e-05, | |
| "loss": 0.3846, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.013333333333333334, | |
| "grad_norm": 0.18107488751411438, | |
| "learning_rate": 1.9912000000000002e-05, | |
| "loss": 0.1086, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.02, | |
| "grad_norm": 0.7404983043670654, | |
| "learning_rate": 1.9867555555555557e-05, | |
| "loss": 0.1091, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.02666666666666667, | |
| "grad_norm": 0.6314632296562195, | |
| "learning_rate": 1.9823111111111112e-05, | |
| "loss": 0.0863, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 0.03333333333333333, | |
| "grad_norm": 0.29823988676071167, | |
| "learning_rate": 1.9778666666666667e-05, | |
| "loss": 0.0887, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 0.04, | |
| "grad_norm": 0.30884480476379395, | |
| "learning_rate": 1.9734222222222223e-05, | |
| "loss": 0.0926, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 0.04666666666666667, | |
| "grad_norm": 0.14888174831867218, | |
| "learning_rate": 1.9689777777777778e-05, | |
| "loss": 0.0859, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 0.05333333333333334, | |
| "grad_norm": 0.23004640638828278, | |
| "learning_rate": 1.9645333333333333e-05, | |
| "loss": 0.0851, | |
| "step": 800 | |
| }, | |
| { | |
| "epoch": 0.06, | |
| "grad_norm": 0.38090068101882935, | |
| "learning_rate": 1.9600888888888892e-05, | |
| "loss": 0.0824, | |
| "step": 900 | |
| }, | |
| { | |
| "epoch": 0.06666666666666667, | |
| "grad_norm": 0.12699204683303833, | |
| "learning_rate": 1.9556444444444447e-05, | |
| "loss": 0.0851, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 0.07333333333333333, | |
| "grad_norm": 0.3818432092666626, | |
| "learning_rate": 1.9512000000000002e-05, | |
| "loss": 0.0816, | |
| "step": 1100 | |
| }, | |
| { | |
| "epoch": 0.08, | |
| "grad_norm": 0.24892888963222504, | |
| "learning_rate": 1.9467555555555557e-05, | |
| "loss": 0.0812, | |
| "step": 1200 | |
| }, | |
| { | |
| "epoch": 0.08666666666666667, | |
| "grad_norm": 0.2256750911474228, | |
| "learning_rate": 1.9423111111111113e-05, | |
| "loss": 0.0772, | |
| "step": 1300 | |
| }, | |
| { | |
| "epoch": 0.09333333333333334, | |
| "grad_norm": 0.1860508769750595, | |
| "learning_rate": 1.9378666666666668e-05, | |
| "loss": 0.0781, | |
| "step": 1400 | |
| }, | |
| { | |
| "epoch": 0.1, | |
| "grad_norm": 0.3207520544528961, | |
| "learning_rate": 1.9334222222222223e-05, | |
| "loss": 0.0761, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 0.10666666666666667, | |
| "grad_norm": 0.12180228531360626, | |
| "learning_rate": 1.928977777777778e-05, | |
| "loss": 0.0777, | |
| "step": 1600 | |
| }, | |
| { | |
| "epoch": 0.11333333333333333, | |
| "grad_norm": 0.3697006106376648, | |
| "learning_rate": 1.9245333333333337e-05, | |
| "loss": 0.0828, | |
| "step": 1700 | |
| }, | |
| { | |
| "epoch": 0.12, | |
| "grad_norm": 0.08333831280469894, | |
| "learning_rate": 1.9200888888888892e-05, | |
| "loss": 0.0755, | |
| "step": 1800 | |
| }, | |
| { | |
| "epoch": 0.12666666666666668, | |
| "grad_norm": 0.191595196723938, | |
| "learning_rate": 1.9156444444444447e-05, | |
| "loss": 0.0788, | |
| "step": 1900 | |
| }, | |
| { | |
| "epoch": 0.13333333333333333, | |
| "grad_norm": 0.13422241806983948, | |
| "learning_rate": 1.9112000000000003e-05, | |
| "loss": 0.0756, | |
| "step": 2000 | |
| }, | |
| { | |
| "epoch": 0.14, | |
| "grad_norm": 0.3241085708141327, | |
| "learning_rate": 1.9067555555555558e-05, | |
| "loss": 0.0787, | |
| "step": 2100 | |
| }, | |
| { | |
| "epoch": 0.14666666666666667, | |
| "grad_norm": 0.27297067642211914, | |
| "learning_rate": 1.9023111111111113e-05, | |
| "loss": 0.0788, | |
| "step": 2200 | |
| }, | |
| { | |
| "epoch": 0.15333333333333332, | |
| "grad_norm": 0.08663206547498703, | |
| "learning_rate": 1.897866666666667e-05, | |
| "loss": 0.0775, | |
| "step": 2300 | |
| }, | |
| { | |
| "epoch": 0.16, | |
| "grad_norm": 0.29489508271217346, | |
| "learning_rate": 1.8934222222222224e-05, | |
| "loss": 0.0693, | |
| "step": 2400 | |
| }, | |
| { | |
| "epoch": 0.16666666666666666, | |
| "grad_norm": 0.27022987604141235, | |
| "learning_rate": 1.888977777777778e-05, | |
| "loss": 0.0737, | |
| "step": 2500 | |
| }, | |
| { | |
| "epoch": 0.17333333333333334, | |
| "grad_norm": 0.09161335974931717, | |
| "learning_rate": 1.8845333333333334e-05, | |
| "loss": 0.0714, | |
| "step": 2600 | |
| }, | |
| { | |
| "epoch": 0.18, | |
| "grad_norm": 0.22928522527217865, | |
| "learning_rate": 1.880088888888889e-05, | |
| "loss": 0.0753, | |
| "step": 2700 | |
| }, | |
| { | |
| "epoch": 0.18666666666666668, | |
| "grad_norm": 0.17746783792972565, | |
| "learning_rate": 1.8756444444444445e-05, | |
| "loss": 0.0727, | |
| "step": 2800 | |
| }, | |
| { | |
| "epoch": 0.19333333333333333, | |
| "grad_norm": 0.14290937781333923, | |
| "learning_rate": 1.8712e-05, | |
| "loss": 0.0684, | |
| "step": 2900 | |
| }, | |
| { | |
| "epoch": 0.2, | |
| "grad_norm": 0.15487806499004364, | |
| "learning_rate": 1.8667555555555555e-05, | |
| "loss": 0.073, | |
| "step": 3000 | |
| }, | |
| { | |
| "epoch": 0.20666666666666667, | |
| "grad_norm": 0.28241923451423645, | |
| "learning_rate": 1.862311111111111e-05, | |
| "loss": 0.0682, | |
| "step": 3100 | |
| }, | |
| { | |
| "epoch": 0.21333333333333335, | |
| "grad_norm": 0.2821277976036072, | |
| "learning_rate": 1.857866666666667e-05, | |
| "loss": 0.0813, | |
| "step": 3200 | |
| }, | |
| { | |
| "epoch": 0.22, | |
| "grad_norm": 0.2306368201971054, | |
| "learning_rate": 1.8534222222222224e-05, | |
| "loss": 0.0741, | |
| "step": 3300 | |
| }, | |
| { | |
| "epoch": 0.22666666666666666, | |
| "grad_norm": 0.29834499955177307, | |
| "learning_rate": 1.848977777777778e-05, | |
| "loss": 0.0801, | |
| "step": 3400 | |
| }, | |
| { | |
| "epoch": 0.23333333333333334, | |
| "grad_norm": 1.8099658489227295, | |
| "learning_rate": 1.8445333333333334e-05, | |
| "loss": 0.0726, | |
| "step": 3500 | |
| }, | |
| { | |
| "epoch": 0.24, | |
| "grad_norm": 0.27142712473869324, | |
| "learning_rate": 1.840088888888889e-05, | |
| "loss": 0.0763, | |
| "step": 3600 | |
| }, | |
| { | |
| "epoch": 0.24666666666666667, | |
| "grad_norm": 0.3764208257198334, | |
| "learning_rate": 1.8356444444444445e-05, | |
| "loss": 0.0816, | |
| "step": 3700 | |
| }, | |
| { | |
| "epoch": 0.25333333333333335, | |
| "grad_norm": 0.2864600718021393, | |
| "learning_rate": 1.8312e-05, | |
| "loss": 0.0707, | |
| "step": 3800 | |
| }, | |
| { | |
| "epoch": 0.26, | |
| "grad_norm": 0.2760820686817169, | |
| "learning_rate": 1.8267555555555555e-05, | |
| "loss": 0.0759, | |
| "step": 3900 | |
| }, | |
| { | |
| "epoch": 0.26666666666666666, | |
| "grad_norm": 0.14416909217834473, | |
| "learning_rate": 1.8223111111111114e-05, | |
| "loss": 0.0621, | |
| "step": 4000 | |
| }, | |
| { | |
| "epoch": 0.2733333333333333, | |
| "grad_norm": 0.2718330919742584, | |
| "learning_rate": 1.817866666666667e-05, | |
| "loss": 0.0736, | |
| "step": 4100 | |
| }, | |
| { | |
| "epoch": 0.28, | |
| "grad_norm": 0.25370103120803833, | |
| "learning_rate": 1.8134222222222224e-05, | |
| "loss": 0.0758, | |
| "step": 4200 | |
| }, | |
| { | |
| "epoch": 0.2866666666666667, | |
| "grad_norm": 0.1705348938703537, | |
| "learning_rate": 1.808977777777778e-05, | |
| "loss": 0.0723, | |
| "step": 4300 | |
| }, | |
| { | |
| "epoch": 0.29333333333333333, | |
| "grad_norm": 0.152600958943367, | |
| "learning_rate": 1.8045333333333335e-05, | |
| "loss": 0.0671, | |
| "step": 4400 | |
| }, | |
| { | |
| "epoch": 0.3, | |
| "grad_norm": 0.24814434349536896, | |
| "learning_rate": 1.800088888888889e-05, | |
| "loss": 0.0752, | |
| "step": 4500 | |
| }, | |
| { | |
| "epoch": 0.30666666666666664, | |
| "grad_norm": 0.22465260326862335, | |
| "learning_rate": 1.7956444444444445e-05, | |
| "loss": 0.068, | |
| "step": 4600 | |
| }, | |
| { | |
| "epoch": 0.31333333333333335, | |
| "grad_norm": 0.0787540078163147, | |
| "learning_rate": 1.7912e-05, | |
| "loss": 0.077, | |
| "step": 4700 | |
| }, | |
| { | |
| "epoch": 0.32, | |
| "grad_norm": 0.2305675595998764, | |
| "learning_rate": 1.786755555555556e-05, | |
| "loss": 0.0727, | |
| "step": 4800 | |
| }, | |
| { | |
| "epoch": 0.32666666666666666, | |
| "grad_norm": 0.5901878476142883, | |
| "learning_rate": 1.7823111111111114e-05, | |
| "loss": 0.0717, | |
| "step": 4900 | |
| }, | |
| { | |
| "epoch": 0.3333333333333333, | |
| "grad_norm": 0.25235211849212646, | |
| "learning_rate": 1.777866666666667e-05, | |
| "loss": 0.0669, | |
| "step": 5000 | |
| }, | |
| { | |
| "epoch": 0.34, | |
| "grad_norm": 0.16804884374141693, | |
| "learning_rate": 1.7734222222222225e-05, | |
| "loss": 0.0664, | |
| "step": 5100 | |
| }, | |
| { | |
| "epoch": 0.3466666666666667, | |
| "grad_norm": 0.17912818491458893, | |
| "learning_rate": 1.768977777777778e-05, | |
| "loss": 0.0695, | |
| "step": 5200 | |
| }, | |
| { | |
| "epoch": 0.35333333333333333, | |
| "grad_norm": 0.18144488334655762, | |
| "learning_rate": 1.764577777777778e-05, | |
| "loss": 0.0721, | |
| "step": 5300 | |
| }, | |
| { | |
| "epoch": 0.36, | |
| "grad_norm": 0.22347889840602875, | |
| "learning_rate": 1.7601333333333334e-05, | |
| "loss": 0.0723, | |
| "step": 5400 | |
| }, | |
| { | |
| "epoch": 0.36666666666666664, | |
| "grad_norm": 0.16477668285369873, | |
| "learning_rate": 1.755688888888889e-05, | |
| "loss": 0.0708, | |
| "step": 5500 | |
| }, | |
| { | |
| "epoch": 0.37333333333333335, | |
| "grad_norm": 0.2491353303194046, | |
| "learning_rate": 1.7512444444444444e-05, | |
| "loss": 0.0727, | |
| "step": 5600 | |
| }, | |
| { | |
| "epoch": 0.38, | |
| "grad_norm": 0.20241300761699677, | |
| "learning_rate": 1.7468e-05, | |
| "loss": 0.0682, | |
| "step": 5700 | |
| }, | |
| { | |
| "epoch": 0.38666666666666666, | |
| "grad_norm": 0.20645934343338013, | |
| "learning_rate": 1.7423555555555558e-05, | |
| "loss": 0.0711, | |
| "step": 5800 | |
| }, | |
| { | |
| "epoch": 0.3933333333333333, | |
| "grad_norm": 0.280748575925827, | |
| "learning_rate": 1.7379111111111113e-05, | |
| "loss": 0.0682, | |
| "step": 5900 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 0.1867647022008896, | |
| "learning_rate": 1.733466666666667e-05, | |
| "loss": 0.0701, | |
| "step": 6000 | |
| } | |
| ], | |
| "logging_steps": 100, | |
| "max_steps": 45000, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 3, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": false | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 1.461498937344e+16, | |
| "train_batch_size": 4, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |