| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 3.0, | |
| "eval_steps": 500, | |
| "global_step": 45000, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.006666666666666667, | |
| "grad_norm": 0.29276716709136963, | |
| "learning_rate": 1.9956444444444447e-05, | |
| "loss": 0.3846, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.013333333333333334, | |
| "grad_norm": 0.18107488751411438, | |
| "learning_rate": 1.9912000000000002e-05, | |
| "loss": 0.1086, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.02, | |
| "grad_norm": 0.7404983043670654, | |
| "learning_rate": 1.9867555555555557e-05, | |
| "loss": 0.1091, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.02666666666666667, | |
| "grad_norm": 0.6314632296562195, | |
| "learning_rate": 1.9823111111111112e-05, | |
| "loss": 0.0863, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 0.03333333333333333, | |
| "grad_norm": 0.29823988676071167, | |
| "learning_rate": 1.9778666666666667e-05, | |
| "loss": 0.0887, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 0.04, | |
| "grad_norm": 0.30884480476379395, | |
| "learning_rate": 1.9734222222222223e-05, | |
| "loss": 0.0926, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 0.04666666666666667, | |
| "grad_norm": 0.14888174831867218, | |
| "learning_rate": 1.9689777777777778e-05, | |
| "loss": 0.0859, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 0.05333333333333334, | |
| "grad_norm": 0.23004640638828278, | |
| "learning_rate": 1.9645333333333333e-05, | |
| "loss": 0.0851, | |
| "step": 800 | |
| }, | |
| { | |
| "epoch": 0.06, | |
| "grad_norm": 0.38090068101882935, | |
| "learning_rate": 1.9600888888888892e-05, | |
| "loss": 0.0824, | |
| "step": 900 | |
| }, | |
| { | |
| "epoch": 0.06666666666666667, | |
| "grad_norm": 0.12699204683303833, | |
| "learning_rate": 1.9556444444444447e-05, | |
| "loss": 0.0851, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 0.07333333333333333, | |
| "grad_norm": 0.3818432092666626, | |
| "learning_rate": 1.9512000000000002e-05, | |
| "loss": 0.0816, | |
| "step": 1100 | |
| }, | |
| { | |
| "epoch": 0.08, | |
| "grad_norm": 0.24892888963222504, | |
| "learning_rate": 1.9467555555555557e-05, | |
| "loss": 0.0812, | |
| "step": 1200 | |
| }, | |
| { | |
| "epoch": 0.08666666666666667, | |
| "grad_norm": 0.2256750911474228, | |
| "learning_rate": 1.9423111111111113e-05, | |
| "loss": 0.0772, | |
| "step": 1300 | |
| }, | |
| { | |
| "epoch": 0.09333333333333334, | |
| "grad_norm": 0.1860508769750595, | |
| "learning_rate": 1.9378666666666668e-05, | |
| "loss": 0.0781, | |
| "step": 1400 | |
| }, | |
| { | |
| "epoch": 0.1, | |
| "grad_norm": 0.3207520544528961, | |
| "learning_rate": 1.9334222222222223e-05, | |
| "loss": 0.0761, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 0.10666666666666667, | |
| "grad_norm": 0.12180228531360626, | |
| "learning_rate": 1.928977777777778e-05, | |
| "loss": 0.0777, | |
| "step": 1600 | |
| }, | |
| { | |
| "epoch": 0.11333333333333333, | |
| "grad_norm": 0.3697006106376648, | |
| "learning_rate": 1.9245333333333337e-05, | |
| "loss": 0.0828, | |
| "step": 1700 | |
| }, | |
| { | |
| "epoch": 0.12, | |
| "grad_norm": 0.08333831280469894, | |
| "learning_rate": 1.9200888888888892e-05, | |
| "loss": 0.0755, | |
| "step": 1800 | |
| }, | |
| { | |
| "epoch": 0.12666666666666668, | |
| "grad_norm": 0.191595196723938, | |
| "learning_rate": 1.9156444444444447e-05, | |
| "loss": 0.0788, | |
| "step": 1900 | |
| }, | |
| { | |
| "epoch": 0.13333333333333333, | |
| "grad_norm": 0.13422241806983948, | |
| "learning_rate": 1.9112000000000003e-05, | |
| "loss": 0.0756, | |
| "step": 2000 | |
| }, | |
| { | |
| "epoch": 0.14, | |
| "grad_norm": 0.3241085708141327, | |
| "learning_rate": 1.9067555555555558e-05, | |
| "loss": 0.0787, | |
| "step": 2100 | |
| }, | |
| { | |
| "epoch": 0.14666666666666667, | |
| "grad_norm": 0.27297067642211914, | |
| "learning_rate": 1.9023111111111113e-05, | |
| "loss": 0.0788, | |
| "step": 2200 | |
| }, | |
| { | |
| "epoch": 0.15333333333333332, | |
| "grad_norm": 0.08663206547498703, | |
| "learning_rate": 1.897866666666667e-05, | |
| "loss": 0.0775, | |
| "step": 2300 | |
| }, | |
| { | |
| "epoch": 0.16, | |
| "grad_norm": 0.29489508271217346, | |
| "learning_rate": 1.8934222222222224e-05, | |
| "loss": 0.0693, | |
| "step": 2400 | |
| }, | |
| { | |
| "epoch": 0.16666666666666666, | |
| "grad_norm": 0.27022987604141235, | |
| "learning_rate": 1.888977777777778e-05, | |
| "loss": 0.0737, | |
| "step": 2500 | |
| }, | |
| { | |
| "epoch": 0.17333333333333334, | |
| "grad_norm": 0.09161335974931717, | |
| "learning_rate": 1.8845333333333334e-05, | |
| "loss": 0.0714, | |
| "step": 2600 | |
| }, | |
| { | |
| "epoch": 0.18, | |
| "grad_norm": 0.22928522527217865, | |
| "learning_rate": 1.880088888888889e-05, | |
| "loss": 0.0753, | |
| "step": 2700 | |
| }, | |
| { | |
| "epoch": 0.18666666666666668, | |
| "grad_norm": 0.17746783792972565, | |
| "learning_rate": 1.8756444444444445e-05, | |
| "loss": 0.0727, | |
| "step": 2800 | |
| }, | |
| { | |
| "epoch": 0.19333333333333333, | |
| "grad_norm": 0.14290937781333923, | |
| "learning_rate": 1.8712e-05, | |
| "loss": 0.0684, | |
| "step": 2900 | |
| }, | |
| { | |
| "epoch": 0.2, | |
| "grad_norm": 0.15487806499004364, | |
| "learning_rate": 1.8667555555555555e-05, | |
| "loss": 0.073, | |
| "step": 3000 | |
| }, | |
| { | |
| "epoch": 0.20666666666666667, | |
| "grad_norm": 0.28241923451423645, | |
| "learning_rate": 1.862311111111111e-05, | |
| "loss": 0.0682, | |
| "step": 3100 | |
| }, | |
| { | |
| "epoch": 0.21333333333333335, | |
| "grad_norm": 0.2821277976036072, | |
| "learning_rate": 1.857866666666667e-05, | |
| "loss": 0.0813, | |
| "step": 3200 | |
| }, | |
| { | |
| "epoch": 0.22, | |
| "grad_norm": 0.2306368201971054, | |
| "learning_rate": 1.8534222222222224e-05, | |
| "loss": 0.0741, | |
| "step": 3300 | |
| }, | |
| { | |
| "epoch": 0.22666666666666666, | |
| "grad_norm": 0.29834499955177307, | |
| "learning_rate": 1.848977777777778e-05, | |
| "loss": 0.0801, | |
| "step": 3400 | |
| }, | |
| { | |
| "epoch": 0.23333333333333334, | |
| "grad_norm": 1.8099658489227295, | |
| "learning_rate": 1.8445333333333334e-05, | |
| "loss": 0.0726, | |
| "step": 3500 | |
| }, | |
| { | |
| "epoch": 0.24, | |
| "grad_norm": 0.27142712473869324, | |
| "learning_rate": 1.840088888888889e-05, | |
| "loss": 0.0763, | |
| "step": 3600 | |
| }, | |
| { | |
| "epoch": 0.24666666666666667, | |
| "grad_norm": 0.3764208257198334, | |
| "learning_rate": 1.8356444444444445e-05, | |
| "loss": 0.0816, | |
| "step": 3700 | |
| }, | |
| { | |
| "epoch": 0.25333333333333335, | |
| "grad_norm": 0.2864600718021393, | |
| "learning_rate": 1.8312e-05, | |
| "loss": 0.0707, | |
| "step": 3800 | |
| }, | |
| { | |
| "epoch": 0.26, | |
| "grad_norm": 0.2760820686817169, | |
| "learning_rate": 1.8267555555555555e-05, | |
| "loss": 0.0759, | |
| "step": 3900 | |
| }, | |
| { | |
| "epoch": 0.26666666666666666, | |
| "grad_norm": 0.14416909217834473, | |
| "learning_rate": 1.8223111111111114e-05, | |
| "loss": 0.0621, | |
| "step": 4000 | |
| }, | |
| { | |
| "epoch": 0.2733333333333333, | |
| "grad_norm": 0.2718330919742584, | |
| "learning_rate": 1.817866666666667e-05, | |
| "loss": 0.0736, | |
| "step": 4100 | |
| }, | |
| { | |
| "epoch": 0.28, | |
| "grad_norm": 0.25370103120803833, | |
| "learning_rate": 1.8134222222222224e-05, | |
| "loss": 0.0758, | |
| "step": 4200 | |
| }, | |
| { | |
| "epoch": 0.2866666666666667, | |
| "grad_norm": 0.1705348938703537, | |
| "learning_rate": 1.808977777777778e-05, | |
| "loss": 0.0723, | |
| "step": 4300 | |
| }, | |
| { | |
| "epoch": 0.29333333333333333, | |
| "grad_norm": 0.152600958943367, | |
| "learning_rate": 1.8045333333333335e-05, | |
| "loss": 0.0671, | |
| "step": 4400 | |
| }, | |
| { | |
| "epoch": 0.3, | |
| "grad_norm": 0.24814434349536896, | |
| "learning_rate": 1.800088888888889e-05, | |
| "loss": 0.0752, | |
| "step": 4500 | |
| }, | |
| { | |
| "epoch": 0.30666666666666664, | |
| "grad_norm": 0.22465260326862335, | |
| "learning_rate": 1.7956444444444445e-05, | |
| "loss": 0.068, | |
| "step": 4600 | |
| }, | |
| { | |
| "epoch": 0.31333333333333335, | |
| "grad_norm": 0.0787540078163147, | |
| "learning_rate": 1.7912e-05, | |
| "loss": 0.077, | |
| "step": 4700 | |
| }, | |
| { | |
| "epoch": 0.32, | |
| "grad_norm": 0.2305675595998764, | |
| "learning_rate": 1.786755555555556e-05, | |
| "loss": 0.0727, | |
| "step": 4800 | |
| }, | |
| { | |
| "epoch": 0.32666666666666666, | |
| "grad_norm": 0.5901878476142883, | |
| "learning_rate": 1.7823111111111114e-05, | |
| "loss": 0.0717, | |
| "step": 4900 | |
| }, | |
| { | |
| "epoch": 0.3333333333333333, | |
| "grad_norm": 0.25235211849212646, | |
| "learning_rate": 1.777866666666667e-05, | |
| "loss": 0.0669, | |
| "step": 5000 | |
| }, | |
| { | |
| "epoch": 0.34, | |
| "grad_norm": 0.16804884374141693, | |
| "learning_rate": 1.7734222222222225e-05, | |
| "loss": 0.0664, | |
| "step": 5100 | |
| }, | |
| { | |
| "epoch": 0.3466666666666667, | |
| "grad_norm": 0.17912818491458893, | |
| "learning_rate": 1.768977777777778e-05, | |
| "loss": 0.0695, | |
| "step": 5200 | |
| }, | |
| { | |
| "epoch": 0.35333333333333333, | |
| "grad_norm": 0.18144488334655762, | |
| "learning_rate": 1.764577777777778e-05, | |
| "loss": 0.0721, | |
| "step": 5300 | |
| }, | |
| { | |
| "epoch": 0.36, | |
| "grad_norm": 0.22347889840602875, | |
| "learning_rate": 1.7601333333333334e-05, | |
| "loss": 0.0723, | |
| "step": 5400 | |
| }, | |
| { | |
| "epoch": 0.36666666666666664, | |
| "grad_norm": 0.16477668285369873, | |
| "learning_rate": 1.755688888888889e-05, | |
| "loss": 0.0708, | |
| "step": 5500 | |
| }, | |
| { | |
| "epoch": 0.37333333333333335, | |
| "grad_norm": 0.2491353303194046, | |
| "learning_rate": 1.7512444444444444e-05, | |
| "loss": 0.0727, | |
| "step": 5600 | |
| }, | |
| { | |
| "epoch": 0.38, | |
| "grad_norm": 0.20241300761699677, | |
| "learning_rate": 1.7468e-05, | |
| "loss": 0.0682, | |
| "step": 5700 | |
| }, | |
| { | |
| "epoch": 0.38666666666666666, | |
| "grad_norm": 0.20645934343338013, | |
| "learning_rate": 1.7423555555555558e-05, | |
| "loss": 0.0711, | |
| "step": 5800 | |
| }, | |
| { | |
| "epoch": 0.3933333333333333, | |
| "grad_norm": 0.280748575925827, | |
| "learning_rate": 1.7379111111111113e-05, | |
| "loss": 0.0682, | |
| "step": 5900 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 0.1867647022008896, | |
| "learning_rate": 1.733466666666667e-05, | |
| "loss": 0.0701, | |
| "step": 6000 | |
| }, | |
| { | |
| "epoch": 0.4066666666666667, | |
| "grad_norm": 0.5076069235801697, | |
| "learning_rate": 1.7290222222222224e-05, | |
| "loss": 0.0706, | |
| "step": 6100 | |
| }, | |
| { | |
| "epoch": 0.41333333333333333, | |
| "grad_norm": 0.22595347464084625, | |
| "learning_rate": 1.724577777777778e-05, | |
| "loss": 0.0743, | |
| "step": 6200 | |
| }, | |
| { | |
| "epoch": 0.42, | |
| "grad_norm": 0.21158984303474426, | |
| "learning_rate": 1.7201333333333334e-05, | |
| "loss": 0.0798, | |
| "step": 6300 | |
| }, | |
| { | |
| "epoch": 0.4266666666666667, | |
| "grad_norm": 0.225486621260643, | |
| "learning_rate": 1.715688888888889e-05, | |
| "loss": 0.0637, | |
| "step": 6400 | |
| }, | |
| { | |
| "epoch": 0.43333333333333335, | |
| "grad_norm": 0.21651168167591095, | |
| "learning_rate": 1.7112444444444445e-05, | |
| "loss": 0.0652, | |
| "step": 6500 | |
| }, | |
| { | |
| "epoch": 0.44, | |
| "grad_norm": 0.45798158645629883, | |
| "learning_rate": 1.7068000000000003e-05, | |
| "loss": 0.0778, | |
| "step": 6600 | |
| }, | |
| { | |
| "epoch": 0.44666666666666666, | |
| "grad_norm": 0.24436144530773163, | |
| "learning_rate": 1.702355555555556e-05, | |
| "loss": 0.0725, | |
| "step": 6700 | |
| }, | |
| { | |
| "epoch": 0.4533333333333333, | |
| "grad_norm": 0.2054828256368637, | |
| "learning_rate": 1.6979111111111114e-05, | |
| "loss": 0.0676, | |
| "step": 6800 | |
| }, | |
| { | |
| "epoch": 0.46, | |
| "grad_norm": 0.12867185473442078, | |
| "learning_rate": 1.693466666666667e-05, | |
| "loss": 0.0689, | |
| "step": 6900 | |
| }, | |
| { | |
| "epoch": 0.4666666666666667, | |
| "grad_norm": 0.17768052220344543, | |
| "learning_rate": 1.6890222222222224e-05, | |
| "loss": 0.067, | |
| "step": 7000 | |
| }, | |
| { | |
| "epoch": 0.47333333333333333, | |
| "grad_norm": 0.21629302203655243, | |
| "learning_rate": 1.684577777777778e-05, | |
| "loss": 0.0684, | |
| "step": 7100 | |
| }, | |
| { | |
| "epoch": 0.48, | |
| "grad_norm": 0.45061948895454407, | |
| "learning_rate": 1.6801333333333335e-05, | |
| "loss": 0.0713, | |
| "step": 7200 | |
| }, | |
| { | |
| "epoch": 0.4866666666666667, | |
| "grad_norm": 0.19869284331798553, | |
| "learning_rate": 1.675688888888889e-05, | |
| "loss": 0.0608, | |
| "step": 7300 | |
| }, | |
| { | |
| "epoch": 0.49333333333333335, | |
| "grad_norm": 0.23369118571281433, | |
| "learning_rate": 1.6712444444444445e-05, | |
| "loss": 0.0675, | |
| "step": 7400 | |
| }, | |
| { | |
| "epoch": 0.5, | |
| "grad_norm": 0.16967739164829254, | |
| "learning_rate": 1.6668e-05, | |
| "loss": 0.0604, | |
| "step": 7500 | |
| }, | |
| { | |
| "epoch": 0.5066666666666667, | |
| "grad_norm": 0.35880565643310547, | |
| "learning_rate": 1.6623555555555556e-05, | |
| "loss": 0.0685, | |
| "step": 7600 | |
| }, | |
| { | |
| "epoch": 0.5133333333333333, | |
| "grad_norm": 0.12522092461585999, | |
| "learning_rate": 1.6579111111111114e-05, | |
| "loss": 0.0806, | |
| "step": 7700 | |
| }, | |
| { | |
| "epoch": 0.52, | |
| "grad_norm": 0.1332361251115799, | |
| "learning_rate": 1.653466666666667e-05, | |
| "loss": 0.0699, | |
| "step": 7800 | |
| }, | |
| { | |
| "epoch": 0.5266666666666666, | |
| "grad_norm": 0.2704123854637146, | |
| "learning_rate": 1.6490222222222225e-05, | |
| "loss": 0.0685, | |
| "step": 7900 | |
| }, | |
| { | |
| "epoch": 0.5333333333333333, | |
| "grad_norm": 0.1266499161720276, | |
| "learning_rate": 1.644577777777778e-05, | |
| "loss": 0.0699, | |
| "step": 8000 | |
| }, | |
| { | |
| "epoch": 0.54, | |
| "grad_norm": 0.03966674581170082, | |
| "learning_rate": 1.6401333333333335e-05, | |
| "loss": 0.0634, | |
| "step": 8100 | |
| }, | |
| { | |
| "epoch": 0.5466666666666666, | |
| "grad_norm": 0.25476112961769104, | |
| "learning_rate": 1.635688888888889e-05, | |
| "loss": 0.0725, | |
| "step": 8200 | |
| }, | |
| { | |
| "epoch": 0.5533333333333333, | |
| "grad_norm": 0.25321516394615173, | |
| "learning_rate": 1.6312444444444446e-05, | |
| "loss": 0.0683, | |
| "step": 8300 | |
| }, | |
| { | |
| "epoch": 0.56, | |
| "grad_norm": 0.25231412053108215, | |
| "learning_rate": 1.6268e-05, | |
| "loss": 0.0735, | |
| "step": 8400 | |
| }, | |
| { | |
| "epoch": 0.5666666666666667, | |
| "grad_norm": 0.08408234268426895, | |
| "learning_rate": 1.6223555555555556e-05, | |
| "loss": 0.0677, | |
| "step": 8500 | |
| }, | |
| { | |
| "epoch": 0.5733333333333334, | |
| "grad_norm": 0.11715523153543472, | |
| "learning_rate": 1.617911111111111e-05, | |
| "loss": 0.0657, | |
| "step": 8600 | |
| }, | |
| { | |
| "epoch": 0.58, | |
| "grad_norm": 0.2229638546705246, | |
| "learning_rate": 1.6134666666666666e-05, | |
| "loss": 0.0672, | |
| "step": 8700 | |
| }, | |
| { | |
| "epoch": 0.5866666666666667, | |
| "grad_norm": 0.18995241820812225, | |
| "learning_rate": 1.609022222222222e-05, | |
| "loss": 0.0742, | |
| "step": 8800 | |
| }, | |
| { | |
| "epoch": 0.5933333333333334, | |
| "grad_norm": 0.23822380602359772, | |
| "learning_rate": 1.604577777777778e-05, | |
| "loss": 0.0771, | |
| "step": 8900 | |
| }, | |
| { | |
| "epoch": 0.6, | |
| "grad_norm": 0.21793758869171143, | |
| "learning_rate": 1.6001333333333336e-05, | |
| "loss": 0.0635, | |
| "step": 9000 | |
| }, | |
| { | |
| "epoch": 0.6066666666666667, | |
| "grad_norm": 0.2200908064842224, | |
| "learning_rate": 1.595688888888889e-05, | |
| "loss": 0.0672, | |
| "step": 9100 | |
| }, | |
| { | |
| "epoch": 0.6133333333333333, | |
| "grad_norm": 0.12727037072181702, | |
| "learning_rate": 1.5912444444444446e-05, | |
| "loss": 0.0689, | |
| "step": 9200 | |
| }, | |
| { | |
| "epoch": 0.62, | |
| "grad_norm": 2.2468693256378174, | |
| "learning_rate": 1.5868e-05, | |
| "loss": 0.0642, | |
| "step": 9300 | |
| }, | |
| { | |
| "epoch": 0.6266666666666667, | |
| "grad_norm": 0.22551049292087555, | |
| "learning_rate": 1.5823555555555556e-05, | |
| "loss": 0.0721, | |
| "step": 9400 | |
| }, | |
| { | |
| "epoch": 0.6333333333333333, | |
| "grad_norm": 0.13281604647636414, | |
| "learning_rate": 1.577911111111111e-05, | |
| "loss": 0.0635, | |
| "step": 9500 | |
| }, | |
| { | |
| "epoch": 0.64, | |
| "grad_norm": 0.1181679293513298, | |
| "learning_rate": 1.5734666666666667e-05, | |
| "loss": 0.0656, | |
| "step": 9600 | |
| }, | |
| { | |
| "epoch": 0.6466666666666666, | |
| "grad_norm": 0.16007280349731445, | |
| "learning_rate": 1.5690222222222226e-05, | |
| "loss": 0.0678, | |
| "step": 9700 | |
| }, | |
| { | |
| "epoch": 0.6533333333333333, | |
| "grad_norm": 0.34087005257606506, | |
| "learning_rate": 1.564577777777778e-05, | |
| "loss": 0.0637, | |
| "step": 9800 | |
| }, | |
| { | |
| "epoch": 0.66, | |
| "grad_norm": 0.27932071685791016, | |
| "learning_rate": 1.5601333333333336e-05, | |
| "loss": 0.0715, | |
| "step": 9900 | |
| }, | |
| { | |
| "epoch": 0.6666666666666666, | |
| "grad_norm": 0.21511399745941162, | |
| "learning_rate": 1.555688888888889e-05, | |
| "loss": 0.0694, | |
| "step": 10000 | |
| }, | |
| { | |
| "epoch": 0.6733333333333333, | |
| "grad_norm": 0.16695012152194977, | |
| "learning_rate": 1.5512444444444446e-05, | |
| "loss": 0.0722, | |
| "step": 10100 | |
| }, | |
| { | |
| "epoch": 0.68, | |
| "grad_norm": 0.07470796257257462, | |
| "learning_rate": 1.5468e-05, | |
| "loss": 0.0699, | |
| "step": 10200 | |
| }, | |
| { | |
| "epoch": 0.6866666666666666, | |
| "grad_norm": 0.12706786394119263, | |
| "learning_rate": 1.5423555555555557e-05, | |
| "loss": 0.068, | |
| "step": 10300 | |
| }, | |
| { | |
| "epoch": 0.6933333333333334, | |
| "grad_norm": 0.14934158325195312, | |
| "learning_rate": 1.5379111111111112e-05, | |
| "loss": 0.0643, | |
| "step": 10400 | |
| }, | |
| { | |
| "epoch": 0.7, | |
| "grad_norm": 0.34316006302833557, | |
| "learning_rate": 1.5334666666666667e-05, | |
| "loss": 0.0683, | |
| "step": 10500 | |
| }, | |
| { | |
| "epoch": 0.7066666666666667, | |
| "grad_norm": 0.22483541071414948, | |
| "learning_rate": 1.5290222222222223e-05, | |
| "loss": 0.0664, | |
| "step": 10600 | |
| }, | |
| { | |
| "epoch": 0.7133333333333334, | |
| "grad_norm": 0.16683422029018402, | |
| "learning_rate": 1.524577777777778e-05, | |
| "loss": 0.0665, | |
| "step": 10700 | |
| }, | |
| { | |
| "epoch": 0.72, | |
| "grad_norm": 0.2538510262966156, | |
| "learning_rate": 1.5201333333333335e-05, | |
| "loss": 0.0688, | |
| "step": 10800 | |
| }, | |
| { | |
| "epoch": 0.7266666666666667, | |
| "grad_norm": 0.11596673727035522, | |
| "learning_rate": 1.515688888888889e-05, | |
| "loss": 0.0724, | |
| "step": 10900 | |
| }, | |
| { | |
| "epoch": 0.7333333333333333, | |
| "grad_norm": 0.28537997603416443, | |
| "learning_rate": 1.5112444444444445e-05, | |
| "loss": 0.068, | |
| "step": 11000 | |
| }, | |
| { | |
| "epoch": 0.74, | |
| "grad_norm": 0.19551828503608704, | |
| "learning_rate": 1.5068e-05, | |
| "loss": 0.0693, | |
| "step": 11100 | |
| }, | |
| { | |
| "epoch": 0.7466666666666667, | |
| "grad_norm": 0.1611281782388687, | |
| "learning_rate": 1.5023555555555557e-05, | |
| "loss": 0.0677, | |
| "step": 11200 | |
| }, | |
| { | |
| "epoch": 0.7533333333333333, | |
| "grad_norm": 0.18722090125083923, | |
| "learning_rate": 1.4979111111111113e-05, | |
| "loss": 0.0711, | |
| "step": 11300 | |
| }, | |
| { | |
| "epoch": 0.76, | |
| "grad_norm": 0.1402270644903183, | |
| "learning_rate": 1.4934666666666668e-05, | |
| "loss": 0.0649, | |
| "step": 11400 | |
| }, | |
| { | |
| "epoch": 0.7666666666666667, | |
| "grad_norm": 0.09549852460622787, | |
| "learning_rate": 1.4890222222222223e-05, | |
| "loss": 0.0624, | |
| "step": 11500 | |
| }, | |
| { | |
| "epoch": 0.7733333333333333, | |
| "grad_norm": 0.2603534758090973, | |
| "learning_rate": 1.4845777777777778e-05, | |
| "loss": 0.0637, | |
| "step": 11600 | |
| }, | |
| { | |
| "epoch": 0.78, | |
| "grad_norm": 0.2619217038154602, | |
| "learning_rate": 1.4801333333333333e-05, | |
| "loss": 0.0593, | |
| "step": 11700 | |
| }, | |
| { | |
| "epoch": 0.7866666666666666, | |
| "grad_norm": 0.06773953139781952, | |
| "learning_rate": 1.4756888888888889e-05, | |
| "loss": 0.0689, | |
| "step": 11800 | |
| }, | |
| { | |
| "epoch": 0.7933333333333333, | |
| "grad_norm": 0.09101361781358719, | |
| "learning_rate": 1.4712444444444444e-05, | |
| "loss": 0.0595, | |
| "step": 11900 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 0.30984750390052795, | |
| "learning_rate": 1.4668000000000003e-05, | |
| "loss": 0.0601, | |
| "step": 12000 | |
| }, | |
| { | |
| "epoch": 0.8066666666666666, | |
| "grad_norm": 0.12947213649749756, | |
| "learning_rate": 1.4623555555555558e-05, | |
| "loss": 0.07, | |
| "step": 12100 | |
| }, | |
| { | |
| "epoch": 0.8133333333333334, | |
| "grad_norm": 0.12053196877241135, | |
| "learning_rate": 1.4579111111111113e-05, | |
| "loss": 0.0675, | |
| "step": 12200 | |
| }, | |
| { | |
| "epoch": 0.82, | |
| "grad_norm": 0.15298992395401, | |
| "learning_rate": 1.4534666666666668e-05, | |
| "loss": 0.0663, | |
| "step": 12300 | |
| }, | |
| { | |
| "epoch": 0.8266666666666667, | |
| "grad_norm": 0.11816833913326263, | |
| "learning_rate": 1.4490222222222223e-05, | |
| "loss": 0.0681, | |
| "step": 12400 | |
| }, | |
| { | |
| "epoch": 0.8333333333333334, | |
| "grad_norm": 0.22705060243606567, | |
| "learning_rate": 1.4445777777777779e-05, | |
| "loss": 0.0666, | |
| "step": 12500 | |
| }, | |
| { | |
| "epoch": 0.84, | |
| "grad_norm": 0.12742094695568085, | |
| "learning_rate": 1.4401333333333334e-05, | |
| "loss": 0.0641, | |
| "step": 12600 | |
| }, | |
| { | |
| "epoch": 0.8466666666666667, | |
| "grad_norm": 0.12476657330989838, | |
| "learning_rate": 1.4356888888888889e-05, | |
| "loss": 0.0708, | |
| "step": 12700 | |
| }, | |
| { | |
| "epoch": 0.8533333333333334, | |
| "grad_norm": 0.18345853686332703, | |
| "learning_rate": 1.4312444444444446e-05, | |
| "loss": 0.0666, | |
| "step": 12800 | |
| }, | |
| { | |
| "epoch": 0.86, | |
| "grad_norm": 0.24870257079601288, | |
| "learning_rate": 1.4268000000000001e-05, | |
| "loss": 0.0643, | |
| "step": 12900 | |
| }, | |
| { | |
| "epoch": 0.8666666666666667, | |
| "grad_norm": 0.41013413667678833, | |
| "learning_rate": 1.4223555555555557e-05, | |
| "loss": 0.0723, | |
| "step": 13000 | |
| }, | |
| { | |
| "epoch": 0.8733333333333333, | |
| "grad_norm": 0.2538166642189026, | |
| "learning_rate": 1.4179111111111112e-05, | |
| "loss": 0.065, | |
| "step": 13100 | |
| }, | |
| { | |
| "epoch": 0.88, | |
| "grad_norm": 0.3290730118751526, | |
| "learning_rate": 1.4134666666666667e-05, | |
| "loss": 0.0712, | |
| "step": 13200 | |
| }, | |
| { | |
| "epoch": 0.8866666666666667, | |
| "grad_norm": 0.1109674721956253, | |
| "learning_rate": 1.4090222222222222e-05, | |
| "loss": 0.0658, | |
| "step": 13300 | |
| }, | |
| { | |
| "epoch": 0.8933333333333333, | |
| "grad_norm": 0.30605512857437134, | |
| "learning_rate": 1.4045777777777777e-05, | |
| "loss": 0.0696, | |
| "step": 13400 | |
| }, | |
| { | |
| "epoch": 0.9, | |
| "grad_norm": 0.32679420709609985, | |
| "learning_rate": 1.4001333333333333e-05, | |
| "loss": 0.0669, | |
| "step": 13500 | |
| }, | |
| { | |
| "epoch": 0.9066666666666666, | |
| "grad_norm": 0.26795893907546997, | |
| "learning_rate": 1.3956888888888891e-05, | |
| "loss": 0.0698, | |
| "step": 13600 | |
| }, | |
| { | |
| "epoch": 0.9133333333333333, | |
| "grad_norm": 0.20815995335578918, | |
| "learning_rate": 1.3912444444444447e-05, | |
| "loss": 0.0655, | |
| "step": 13700 | |
| }, | |
| { | |
| "epoch": 0.92, | |
| "grad_norm": 0.1046639233827591, | |
| "learning_rate": 1.3868444444444447e-05, | |
| "loss": 0.0685, | |
| "step": 13800 | |
| }, | |
| { | |
| "epoch": 0.9266666666666666, | |
| "grad_norm": 0.26044830679893494, | |
| "learning_rate": 1.3824000000000002e-05, | |
| "loss": 0.0717, | |
| "step": 13900 | |
| }, | |
| { | |
| "epoch": 0.9333333333333333, | |
| "grad_norm": 0.14924395084381104, | |
| "learning_rate": 1.3779555555555557e-05, | |
| "loss": 0.0666, | |
| "step": 14000 | |
| }, | |
| { | |
| "epoch": 0.94, | |
| "grad_norm": 0.12045079469680786, | |
| "learning_rate": 1.3735111111111112e-05, | |
| "loss": 0.0712, | |
| "step": 14100 | |
| }, | |
| { | |
| "epoch": 0.9466666666666667, | |
| "grad_norm": 0.1625666618347168, | |
| "learning_rate": 1.3690666666666667e-05, | |
| "loss": 0.0633, | |
| "step": 14200 | |
| }, | |
| { | |
| "epoch": 0.9533333333333334, | |
| "grad_norm": 0.17143802344799042, | |
| "learning_rate": 1.3646222222222223e-05, | |
| "loss": 0.0627, | |
| "step": 14300 | |
| }, | |
| { | |
| "epoch": 0.96, | |
| "grad_norm": 0.19708478450775146, | |
| "learning_rate": 1.3601777777777778e-05, | |
| "loss": 0.067, | |
| "step": 14400 | |
| }, | |
| { | |
| "epoch": 0.9666666666666667, | |
| "grad_norm": 0.1801692545413971, | |
| "learning_rate": 1.3557333333333333e-05, | |
| "loss": 0.0643, | |
| "step": 14500 | |
| }, | |
| { | |
| "epoch": 0.9733333333333334, | |
| "grad_norm": 0.18082498013973236, | |
| "learning_rate": 1.351288888888889e-05, | |
| "loss": 0.0646, | |
| "step": 14600 | |
| }, | |
| { | |
| "epoch": 0.98, | |
| "grad_norm": 0.14383332431316376, | |
| "learning_rate": 1.3468444444444447e-05, | |
| "loss": 0.066, | |
| "step": 14700 | |
| }, | |
| { | |
| "epoch": 0.9866666666666667, | |
| "grad_norm": 0.20313547551631927, | |
| "learning_rate": 1.3424000000000002e-05, | |
| "loss": 0.0631, | |
| "step": 14800 | |
| }, | |
| { | |
| "epoch": 0.9933333333333333, | |
| "grad_norm": 0.14930222928524017, | |
| "learning_rate": 1.3379555555555557e-05, | |
| "loss": 0.0593, | |
| "step": 14900 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "grad_norm": 0.30177292227745056, | |
| "learning_rate": 1.3335111111111113e-05, | |
| "loss": 0.0651, | |
| "step": 15000 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "eval_loss": 0.08444427698850632, | |
| "eval_runtime": 120.3607, | |
| "eval_samples_per_second": 16.617, | |
| "eval_steps_per_second": 4.154, | |
| "step": 15000 | |
| }, | |
| { | |
| "epoch": 1.0066666666666666, | |
| "grad_norm": 0.23236271739006042, | |
| "learning_rate": 1.3290666666666668e-05, | |
| "loss": 0.0578, | |
| "step": 15100 | |
| }, | |
| { | |
| "epoch": 1.0133333333333334, | |
| "grad_norm": 0.3065841794013977, | |
| "learning_rate": 1.3246222222222223e-05, | |
| "loss": 0.0586, | |
| "step": 15200 | |
| }, | |
| { | |
| "epoch": 1.02, | |
| "grad_norm": 0.10468995571136475, | |
| "learning_rate": 1.3201777777777778e-05, | |
| "loss": 0.0562, | |
| "step": 15300 | |
| }, | |
| { | |
| "epoch": 1.0266666666666666, | |
| "grad_norm": 0.12645235657691956, | |
| "learning_rate": 1.3157333333333335e-05, | |
| "loss": 0.0595, | |
| "step": 15400 | |
| }, | |
| { | |
| "epoch": 1.0333333333333334, | |
| "grad_norm": 0.22408919036388397, | |
| "learning_rate": 1.311288888888889e-05, | |
| "loss": 0.0703, | |
| "step": 15500 | |
| }, | |
| { | |
| "epoch": 1.04, | |
| "grad_norm": 0.2654290497303009, | |
| "learning_rate": 1.3068444444444446e-05, | |
| "loss": 0.0593, | |
| "step": 15600 | |
| }, | |
| { | |
| "epoch": 1.0466666666666666, | |
| "grad_norm": 0.2421567589044571, | |
| "learning_rate": 1.3024000000000001e-05, | |
| "loss": 0.0556, | |
| "step": 15700 | |
| }, | |
| { | |
| "epoch": 1.0533333333333332, | |
| "grad_norm": 0.1856231540441513, | |
| "learning_rate": 1.2979555555555556e-05, | |
| "loss": 0.0619, | |
| "step": 15800 | |
| }, | |
| { | |
| "epoch": 1.06, | |
| "grad_norm": 0.11161370575428009, | |
| "learning_rate": 1.2935111111111111e-05, | |
| "loss": 0.0597, | |
| "step": 15900 | |
| }, | |
| { | |
| "epoch": 1.0666666666666667, | |
| "grad_norm": 0.31690728664398193, | |
| "learning_rate": 1.2890666666666667e-05, | |
| "loss": 0.061, | |
| "step": 16000 | |
| }, | |
| { | |
| "epoch": 1.0733333333333333, | |
| "grad_norm": 0.16027814149856567, | |
| "learning_rate": 1.2846222222222224e-05, | |
| "loss": 0.0559, | |
| "step": 16100 | |
| }, | |
| { | |
| "epoch": 1.08, | |
| "grad_norm": 0.21083027124404907, | |
| "learning_rate": 1.2801777777777779e-05, | |
| "loss": 0.0576, | |
| "step": 16200 | |
| }, | |
| { | |
| "epoch": 1.0866666666666667, | |
| "grad_norm": 0.13497234880924225, | |
| "learning_rate": 1.2757333333333334e-05, | |
| "loss": 0.0599, | |
| "step": 16300 | |
| }, | |
| { | |
| "epoch": 1.0933333333333333, | |
| "grad_norm": 0.28260791301727295, | |
| "learning_rate": 1.2712888888888891e-05, | |
| "loss": 0.0585, | |
| "step": 16400 | |
| }, | |
| { | |
| "epoch": 1.1, | |
| "grad_norm": 0.1817014068365097, | |
| "learning_rate": 1.2668444444444446e-05, | |
| "loss": 0.0544, | |
| "step": 16500 | |
| }, | |
| { | |
| "epoch": 1.1066666666666667, | |
| "grad_norm": 0.17457172274589539, | |
| "learning_rate": 1.2624444444444446e-05, | |
| "loss": 0.0587, | |
| "step": 16600 | |
| }, | |
| { | |
| "epoch": 1.1133333333333333, | |
| "grad_norm": 0.1655428558588028, | |
| "learning_rate": 1.2580000000000002e-05, | |
| "loss": 0.0553, | |
| "step": 16700 | |
| }, | |
| { | |
| "epoch": 1.12, | |
| "grad_norm": 0.23929822444915771, | |
| "learning_rate": 1.2535555555555557e-05, | |
| "loss": 0.0595, | |
| "step": 16800 | |
| }, | |
| { | |
| "epoch": 1.1266666666666667, | |
| "grad_norm": 0.1591082215309143, | |
| "learning_rate": 1.2491111111111112e-05, | |
| "loss": 0.0589, | |
| "step": 16900 | |
| }, | |
| { | |
| "epoch": 1.1333333333333333, | |
| "grad_norm": 0.14291773736476898, | |
| "learning_rate": 1.2446666666666667e-05, | |
| "loss": 0.058, | |
| "step": 17000 | |
| }, | |
| { | |
| "epoch": 1.1400000000000001, | |
| "grad_norm": 0.26193323731422424, | |
| "learning_rate": 1.2402222222222222e-05, | |
| "loss": 0.0606, | |
| "step": 17100 | |
| }, | |
| { | |
| "epoch": 1.1466666666666667, | |
| "grad_norm": 0.18597596883773804, | |
| "learning_rate": 1.235777777777778e-05, | |
| "loss": 0.0565, | |
| "step": 17200 | |
| }, | |
| { | |
| "epoch": 1.1533333333333333, | |
| "grad_norm": 0.27906695008277893, | |
| "learning_rate": 1.2313333333333335e-05, | |
| "loss": 0.0616, | |
| "step": 17300 | |
| }, | |
| { | |
| "epoch": 1.16, | |
| "grad_norm": 0.20379580557346344, | |
| "learning_rate": 1.226888888888889e-05, | |
| "loss": 0.0572, | |
| "step": 17400 | |
| }, | |
| { | |
| "epoch": 1.1666666666666667, | |
| "grad_norm": 0.2315666228532791, | |
| "learning_rate": 1.2224444444444445e-05, | |
| "loss": 0.0571, | |
| "step": 17500 | |
| }, | |
| { | |
| "epoch": 1.1733333333333333, | |
| "grad_norm": 0.16585813462734222, | |
| "learning_rate": 1.218e-05, | |
| "loss": 0.0646, | |
| "step": 17600 | |
| }, | |
| { | |
| "epoch": 1.18, | |
| "grad_norm": 0.204860657453537, | |
| "learning_rate": 1.2135555555555556e-05, | |
| "loss": 0.0632, | |
| "step": 17700 | |
| }, | |
| { | |
| "epoch": 1.1866666666666668, | |
| "grad_norm": 0.25248029828071594, | |
| "learning_rate": 1.209111111111111e-05, | |
| "loss": 0.0603, | |
| "step": 17800 | |
| }, | |
| { | |
| "epoch": 1.1933333333333334, | |
| "grad_norm": 0.1613234281539917, | |
| "learning_rate": 1.204666666666667e-05, | |
| "loss": 0.0611, | |
| "step": 17900 | |
| }, | |
| { | |
| "epoch": 1.2, | |
| "grad_norm": 0.29864856600761414, | |
| "learning_rate": 1.2002222222222225e-05, | |
| "loss": 0.0591, | |
| "step": 18000 | |
| }, | |
| { | |
| "epoch": 1.2066666666666666, | |
| "grad_norm": 0.1682252287864685, | |
| "learning_rate": 1.195777777777778e-05, | |
| "loss": 0.0613, | |
| "step": 18100 | |
| }, | |
| { | |
| "epoch": 1.2133333333333334, | |
| "grad_norm": 0.11706658452749252, | |
| "learning_rate": 1.1913333333333335e-05, | |
| "loss": 0.0676, | |
| "step": 18200 | |
| }, | |
| { | |
| "epoch": 1.22, | |
| "grad_norm": 0.22997494041919708, | |
| "learning_rate": 1.186888888888889e-05, | |
| "loss": 0.0576, | |
| "step": 18300 | |
| }, | |
| { | |
| "epoch": 1.2266666666666666, | |
| "grad_norm": 0.2240549921989441, | |
| "learning_rate": 1.1824444444444445e-05, | |
| "loss": 0.0532, | |
| "step": 18400 | |
| }, | |
| { | |
| "epoch": 1.2333333333333334, | |
| "grad_norm": 0.10644257068634033, | |
| "learning_rate": 1.178e-05, | |
| "loss": 0.0657, | |
| "step": 18500 | |
| }, | |
| { | |
| "epoch": 1.24, | |
| "grad_norm": 0.21437957882881165, | |
| "learning_rate": 1.1735555555555556e-05, | |
| "loss": 0.0631, | |
| "step": 18600 | |
| }, | |
| { | |
| "epoch": 1.2466666666666666, | |
| "grad_norm": 0.09303513169288635, | |
| "learning_rate": 1.1691555555555556e-05, | |
| "loss": 0.0594, | |
| "step": 18700 | |
| }, | |
| { | |
| "epoch": 1.2533333333333334, | |
| "grad_norm": 0.13789591193199158, | |
| "learning_rate": 1.1647111111111111e-05, | |
| "loss": 0.0644, | |
| "step": 18800 | |
| }, | |
| { | |
| "epoch": 1.26, | |
| "grad_norm": 0.19540788233280182, | |
| "learning_rate": 1.1602666666666666e-05, | |
| "loss": 0.0564, | |
| "step": 18900 | |
| }, | |
| { | |
| "epoch": 1.2666666666666666, | |
| "grad_norm": 0.18746204674243927, | |
| "learning_rate": 1.1558222222222223e-05, | |
| "loss": 0.0581, | |
| "step": 19000 | |
| }, | |
| { | |
| "epoch": 1.2733333333333334, | |
| "grad_norm": 0.13157618045806885, | |
| "learning_rate": 1.1513777777777779e-05, | |
| "loss": 0.0544, | |
| "step": 19100 | |
| }, | |
| { | |
| "epoch": 1.28, | |
| "grad_norm": 0.3684869110584259, | |
| "learning_rate": 1.1469333333333334e-05, | |
| "loss": 0.0633, | |
| "step": 19200 | |
| }, | |
| { | |
| "epoch": 1.2866666666666666, | |
| "grad_norm": 0.12658458948135376, | |
| "learning_rate": 1.1424888888888889e-05, | |
| "loss": 0.0561, | |
| "step": 19300 | |
| }, | |
| { | |
| "epoch": 1.2933333333333334, | |
| "grad_norm": 0.24430914223194122, | |
| "learning_rate": 1.1380444444444444e-05, | |
| "loss": 0.0532, | |
| "step": 19400 | |
| }, | |
| { | |
| "epoch": 1.3, | |
| "grad_norm": 0.29242023825645447, | |
| "learning_rate": 1.1336e-05, | |
| "loss": 0.0578, | |
| "step": 19500 | |
| }, | |
| { | |
| "epoch": 1.3066666666666666, | |
| "grad_norm": 0.16407087445259094, | |
| "learning_rate": 1.1291555555555555e-05, | |
| "loss": 0.0569, | |
| "step": 19600 | |
| }, | |
| { | |
| "epoch": 1.3133333333333335, | |
| "grad_norm": 0.1125895082950592, | |
| "learning_rate": 1.1247111111111113e-05, | |
| "loss": 0.0535, | |
| "step": 19700 | |
| }, | |
| { | |
| "epoch": 1.32, | |
| "grad_norm": 0.24300092458724976, | |
| "learning_rate": 1.1202666666666669e-05, | |
| "loss": 0.0555, | |
| "step": 19800 | |
| }, | |
| { | |
| "epoch": 1.3266666666666667, | |
| "grad_norm": 0.16412054002285004, | |
| "learning_rate": 1.1158222222222224e-05, | |
| "loss": 0.0569, | |
| "step": 19900 | |
| }, | |
| { | |
| "epoch": 1.3333333333333333, | |
| "grad_norm": 0.2398436963558197, | |
| "learning_rate": 1.1113777777777779e-05, | |
| "loss": 0.0672, | |
| "step": 20000 | |
| }, | |
| { | |
| "epoch": 1.34, | |
| "grad_norm": 0.19268549978733063, | |
| "learning_rate": 1.1069333333333334e-05, | |
| "loss": 0.0577, | |
| "step": 20100 | |
| }, | |
| { | |
| "epoch": 1.3466666666666667, | |
| "grad_norm": 0.24096272885799408, | |
| "learning_rate": 1.102488888888889e-05, | |
| "loss": 0.0597, | |
| "step": 20200 | |
| }, | |
| { | |
| "epoch": 1.3533333333333333, | |
| "grad_norm": 0.3714766204357147, | |
| "learning_rate": 1.0980444444444445e-05, | |
| "loss": 0.0602, | |
| "step": 20300 | |
| }, | |
| { | |
| "epoch": 1.3599999999999999, | |
| "grad_norm": 0.15587754547595978, | |
| "learning_rate": 1.0936e-05, | |
| "loss": 0.056, | |
| "step": 20400 | |
| }, | |
| { | |
| "epoch": 1.3666666666666667, | |
| "grad_norm": 0.21720756590366364, | |
| "learning_rate": 1.0891555555555557e-05, | |
| "loss": 0.0609, | |
| "step": 20500 | |
| }, | |
| { | |
| "epoch": 1.3733333333333333, | |
| "grad_norm": 0.21939997375011444, | |
| "learning_rate": 1.0847111111111112e-05, | |
| "loss": 0.0612, | |
| "step": 20600 | |
| }, | |
| { | |
| "epoch": 1.38, | |
| "grad_norm": 0.23522862792015076, | |
| "learning_rate": 1.0802666666666667e-05, | |
| "loss": 0.0555, | |
| "step": 20700 | |
| }, | |
| { | |
| "epoch": 1.3866666666666667, | |
| "grad_norm": 0.1318577080965042, | |
| "learning_rate": 1.0758222222222223e-05, | |
| "loss": 0.0608, | |
| "step": 20800 | |
| }, | |
| { | |
| "epoch": 1.3933333333333333, | |
| "grad_norm": 0.11281125992536545, | |
| "learning_rate": 1.0714222222222224e-05, | |
| "loss": 0.0579, | |
| "step": 20900 | |
| }, | |
| { | |
| "epoch": 1.4, | |
| "grad_norm": 0.15145792067050934, | |
| "learning_rate": 1.066977777777778e-05, | |
| "loss": 0.0567, | |
| "step": 21000 | |
| }, | |
| { | |
| "epoch": 1.4066666666666667, | |
| "grad_norm": 0.4028960168361664, | |
| "learning_rate": 1.0625333333333335e-05, | |
| "loss": 0.0558, | |
| "step": 21100 | |
| }, | |
| { | |
| "epoch": 1.4133333333333333, | |
| "grad_norm": 0.30364444851875305, | |
| "learning_rate": 1.058088888888889e-05, | |
| "loss": 0.0588, | |
| "step": 21200 | |
| }, | |
| { | |
| "epoch": 1.42, | |
| "grad_norm": 0.34276890754699707, | |
| "learning_rate": 1.0536444444444445e-05, | |
| "loss": 0.0537, | |
| "step": 21300 | |
| }, | |
| { | |
| "epoch": 1.4266666666666667, | |
| "grad_norm": 0.1914118230342865, | |
| "learning_rate": 1.0492e-05, | |
| "loss": 0.058, | |
| "step": 21400 | |
| }, | |
| { | |
| "epoch": 1.4333333333333333, | |
| "grad_norm": 0.3174405097961426, | |
| "learning_rate": 1.0447555555555557e-05, | |
| "loss": 0.0576, | |
| "step": 21500 | |
| }, | |
| { | |
| "epoch": 1.44, | |
| "grad_norm": 0.1996719092130661, | |
| "learning_rate": 1.0403111111111113e-05, | |
| "loss": 0.0569, | |
| "step": 21600 | |
| }, | |
| { | |
| "epoch": 1.4466666666666668, | |
| "grad_norm": 0.2424512505531311, | |
| "learning_rate": 1.0358666666666668e-05, | |
| "loss": 0.0592, | |
| "step": 21700 | |
| }, | |
| { | |
| "epoch": 1.4533333333333334, | |
| "grad_norm": 0.139984592795372, | |
| "learning_rate": 1.0314222222222223e-05, | |
| "loss": 0.0541, | |
| "step": 21800 | |
| }, | |
| { | |
| "epoch": 1.46, | |
| "grad_norm": 0.21083594858646393, | |
| "learning_rate": 1.0269777777777778e-05, | |
| "loss": 0.0509, | |
| "step": 21900 | |
| }, | |
| { | |
| "epoch": 1.4666666666666668, | |
| "grad_norm": 0.2649674713611603, | |
| "learning_rate": 1.0225333333333334e-05, | |
| "loss": 0.0624, | |
| "step": 22000 | |
| }, | |
| { | |
| "epoch": 1.4733333333333334, | |
| "grad_norm": 0.2268645465373993, | |
| "learning_rate": 1.0180888888888889e-05, | |
| "loss": 0.0504, | |
| "step": 22100 | |
| }, | |
| { | |
| "epoch": 1.48, | |
| "grad_norm": 0.1687782257795334, | |
| "learning_rate": 1.0136444444444444e-05, | |
| "loss": 0.05, | |
| "step": 22200 | |
| }, | |
| { | |
| "epoch": 1.4866666666666668, | |
| "grad_norm": 0.3606027364730835, | |
| "learning_rate": 1.0092000000000001e-05, | |
| "loss": 0.0558, | |
| "step": 22300 | |
| }, | |
| { | |
| "epoch": 1.4933333333333334, | |
| "grad_norm": 0.18675172328948975, | |
| "learning_rate": 1.0047555555555558e-05, | |
| "loss": 0.058, | |
| "step": 22400 | |
| }, | |
| { | |
| "epoch": 1.5, | |
| "grad_norm": 0.29337164759635925, | |
| "learning_rate": 1.0003111111111113e-05, | |
| "loss": 0.0564, | |
| "step": 22500 | |
| }, | |
| { | |
| "epoch": 1.5066666666666668, | |
| "grad_norm": 0.24926000833511353, | |
| "learning_rate": 9.958666666666668e-06, | |
| "loss": 0.0562, | |
| "step": 22600 | |
| }, | |
| { | |
| "epoch": 1.5133333333333332, | |
| "grad_norm": 0.19163891673088074, | |
| "learning_rate": 9.914222222222224e-06, | |
| "loss": 0.0574, | |
| "step": 22700 | |
| }, | |
| { | |
| "epoch": 1.52, | |
| "grad_norm": 0.12077998369932175, | |
| "learning_rate": 9.869777777777779e-06, | |
| "loss": 0.0615, | |
| "step": 22800 | |
| }, | |
| { | |
| "epoch": 1.5266666666666666, | |
| "grad_norm": 0.23265130817890167, | |
| "learning_rate": 9.825333333333334e-06, | |
| "loss": 0.0624, | |
| "step": 22900 | |
| }, | |
| { | |
| "epoch": 1.5333333333333332, | |
| "grad_norm": 0.20572605729103088, | |
| "learning_rate": 9.78088888888889e-06, | |
| "loss": 0.0545, | |
| "step": 23000 | |
| }, | |
| { | |
| "epoch": 1.54, | |
| "grad_norm": 0.11006025224924088, | |
| "learning_rate": 9.736444444444444e-06, | |
| "loss": 0.0612, | |
| "step": 23100 | |
| }, | |
| { | |
| "epoch": 1.5466666666666666, | |
| "grad_norm": 0.14539223909378052, | |
| "learning_rate": 9.692e-06, | |
| "loss": 0.0582, | |
| "step": 23200 | |
| }, | |
| { | |
| "epoch": 1.5533333333333332, | |
| "grad_norm": 0.23037117719650269, | |
| "learning_rate": 9.647555555555557e-06, | |
| "loss": 0.0599, | |
| "step": 23300 | |
| }, | |
| { | |
| "epoch": 1.56, | |
| "grad_norm": 0.2668769657611847, | |
| "learning_rate": 9.603111111111112e-06, | |
| "loss": 0.0545, | |
| "step": 23400 | |
| }, | |
| { | |
| "epoch": 1.5666666666666667, | |
| "grad_norm": 0.3005671501159668, | |
| "learning_rate": 9.558666666666667e-06, | |
| "loss": 0.0621, | |
| "step": 23500 | |
| }, | |
| { | |
| "epoch": 1.5733333333333333, | |
| "grad_norm": 0.2637277841567993, | |
| "learning_rate": 9.514666666666667e-06, | |
| "loss": 0.0505, | |
| "step": 23600 | |
| }, | |
| { | |
| "epoch": 1.58, | |
| "grad_norm": 0.17785485088825226, | |
| "learning_rate": 9.470222222222222e-06, | |
| "loss": 0.0587, | |
| "step": 23700 | |
| }, | |
| { | |
| "epoch": 1.5866666666666667, | |
| "grad_norm": 0.11615557968616486, | |
| "learning_rate": 9.425777777777778e-06, | |
| "loss": 0.0545, | |
| "step": 23800 | |
| }, | |
| { | |
| "epoch": 1.5933333333333333, | |
| "grad_norm": 0.2337283492088318, | |
| "learning_rate": 9.381333333333335e-06, | |
| "loss": 0.0574, | |
| "step": 23900 | |
| }, | |
| { | |
| "epoch": 1.6, | |
| "grad_norm": 0.21848595142364502, | |
| "learning_rate": 9.33688888888889e-06, | |
| "loss": 0.0581, | |
| "step": 24000 | |
| }, | |
| { | |
| "epoch": 1.6066666666666667, | |
| "grad_norm": 0.19345501065254211, | |
| "learning_rate": 9.292444444444445e-06, | |
| "loss": 0.0587, | |
| "step": 24100 | |
| }, | |
| { | |
| "epoch": 1.6133333333333333, | |
| "grad_norm": 0.11753817647695541, | |
| "learning_rate": 9.248e-06, | |
| "loss": 0.0553, | |
| "step": 24200 | |
| }, | |
| { | |
| "epoch": 1.62, | |
| "grad_norm": 0.3054827153682709, | |
| "learning_rate": 9.203555555555557e-06, | |
| "loss": 0.0552, | |
| "step": 24300 | |
| }, | |
| { | |
| "epoch": 1.6266666666666667, | |
| "grad_norm": 0.2914266884326935, | |
| "learning_rate": 9.159111111111112e-06, | |
| "loss": 0.0534, | |
| "step": 24400 | |
| }, | |
| { | |
| "epoch": 1.6333333333333333, | |
| "grad_norm": 0.21610131859779358, | |
| "learning_rate": 9.114666666666668e-06, | |
| "loss": 0.0613, | |
| "step": 24500 | |
| }, | |
| { | |
| "epoch": 1.6400000000000001, | |
| "grad_norm": 0.25385352969169617, | |
| "learning_rate": 9.070222222222223e-06, | |
| "loss": 0.0599, | |
| "step": 24600 | |
| }, | |
| { | |
| "epoch": 1.6466666666666665, | |
| "grad_norm": 0.1330012083053589, | |
| "learning_rate": 9.025777777777778e-06, | |
| "loss": 0.0601, | |
| "step": 24700 | |
| }, | |
| { | |
| "epoch": 1.6533333333333333, | |
| "grad_norm": 0.40342622995376587, | |
| "learning_rate": 8.981333333333333e-06, | |
| "loss": 0.0599, | |
| "step": 24800 | |
| }, | |
| { | |
| "epoch": 1.6600000000000001, | |
| "grad_norm": 0.21778804063796997, | |
| "learning_rate": 8.93688888888889e-06, | |
| "loss": 0.0537, | |
| "step": 24900 | |
| }, | |
| { | |
| "epoch": 1.6666666666666665, | |
| "grad_norm": 0.17448577284812927, | |
| "learning_rate": 8.892444444444445e-06, | |
| "loss": 0.0566, | |
| "step": 25000 | |
| }, | |
| { | |
| "epoch": 1.6733333333333333, | |
| "grad_norm": 0.14110605418682098, | |
| "learning_rate": 8.848e-06, | |
| "loss": 0.0554, | |
| "step": 25100 | |
| }, | |
| { | |
| "epoch": 1.6800000000000002, | |
| "grad_norm": 0.17642982304096222, | |
| "learning_rate": 8.803555555555556e-06, | |
| "loss": 0.0581, | |
| "step": 25200 | |
| }, | |
| { | |
| "epoch": 1.6866666666666665, | |
| "grad_norm": 0.19941475987434387, | |
| "learning_rate": 8.759111111111111e-06, | |
| "loss": 0.0598, | |
| "step": 25300 | |
| }, | |
| { | |
| "epoch": 1.6933333333333334, | |
| "grad_norm": 0.15960603952407837, | |
| "learning_rate": 8.714666666666666e-06, | |
| "loss": 0.0531, | |
| "step": 25400 | |
| }, | |
| { | |
| "epoch": 1.7, | |
| "grad_norm": 0.17013077437877655, | |
| "learning_rate": 8.670222222222223e-06, | |
| "loss": 0.0596, | |
| "step": 25500 | |
| }, | |
| { | |
| "epoch": 1.7066666666666666, | |
| "grad_norm": 0.20626091957092285, | |
| "learning_rate": 8.625777777777779e-06, | |
| "loss": 0.0523, | |
| "step": 25600 | |
| }, | |
| { | |
| "epoch": 1.7133333333333334, | |
| "grad_norm": 0.1952398121356964, | |
| "learning_rate": 8.581333333333334e-06, | |
| "loss": 0.0508, | |
| "step": 25700 | |
| }, | |
| { | |
| "epoch": 1.72, | |
| "grad_norm": 0.15694676339626312, | |
| "learning_rate": 8.53688888888889e-06, | |
| "loss": 0.052, | |
| "step": 25800 | |
| }, | |
| { | |
| "epoch": 1.7266666666666666, | |
| "grad_norm": 0.07521438598632812, | |
| "learning_rate": 8.492444444444446e-06, | |
| "loss": 0.0597, | |
| "step": 25900 | |
| }, | |
| { | |
| "epoch": 1.7333333333333334, | |
| "grad_norm": 0.07147266715765, | |
| "learning_rate": 8.448000000000001e-06, | |
| "loss": 0.0555, | |
| "step": 26000 | |
| }, | |
| { | |
| "epoch": 1.74, | |
| "grad_norm": 0.25770798325538635, | |
| "learning_rate": 8.403555555555556e-06, | |
| "loss": 0.0513, | |
| "step": 26100 | |
| }, | |
| { | |
| "epoch": 1.7466666666666666, | |
| "grad_norm": 0.2838607430458069, | |
| "learning_rate": 8.359111111111112e-06, | |
| "loss": 0.0605, | |
| "step": 26200 | |
| }, | |
| { | |
| "epoch": 1.7533333333333334, | |
| "grad_norm": 0.12263695150613785, | |
| "learning_rate": 8.314666666666667e-06, | |
| "loss": 0.0574, | |
| "step": 26300 | |
| }, | |
| { | |
| "epoch": 1.76, | |
| "grad_norm": 0.17367112636566162, | |
| "learning_rate": 8.270666666666667e-06, | |
| "loss": 0.0581, | |
| "step": 26400 | |
| }, | |
| { | |
| "epoch": 1.7666666666666666, | |
| "grad_norm": 0.26262718439102173, | |
| "learning_rate": 8.226222222222224e-06, | |
| "loss": 0.0541, | |
| "step": 26500 | |
| }, | |
| { | |
| "epoch": 1.7733333333333334, | |
| "grad_norm": 0.3220883309841156, | |
| "learning_rate": 8.181777777777779e-06, | |
| "loss": 0.0543, | |
| "step": 26600 | |
| }, | |
| { | |
| "epoch": 1.78, | |
| "grad_norm": 0.18442386388778687, | |
| "learning_rate": 8.137333333333334e-06, | |
| "loss": 0.0633, | |
| "step": 26700 | |
| }, | |
| { | |
| "epoch": 1.7866666666666666, | |
| "grad_norm": 0.25864550471305847, | |
| "learning_rate": 8.09288888888889e-06, | |
| "loss": 0.0572, | |
| "step": 26800 | |
| }, | |
| { | |
| "epoch": 1.7933333333333334, | |
| "grad_norm": 0.23834674060344696, | |
| "learning_rate": 8.048444444444445e-06, | |
| "loss": 0.0537, | |
| "step": 26900 | |
| }, | |
| { | |
| "epoch": 1.8, | |
| "grad_norm": 0.1399671733379364, | |
| "learning_rate": 8.004e-06, | |
| "loss": 0.0572, | |
| "step": 27000 | |
| }, | |
| { | |
| "epoch": 1.8066666666666666, | |
| "grad_norm": 0.10920804738998413, | |
| "learning_rate": 7.959555555555555e-06, | |
| "loss": 0.0538, | |
| "step": 27100 | |
| }, | |
| { | |
| "epoch": 1.8133333333333335, | |
| "grad_norm": 0.10139674693346024, | |
| "learning_rate": 7.915111111111112e-06, | |
| "loss": 0.0536, | |
| "step": 27200 | |
| }, | |
| { | |
| "epoch": 1.8199999999999998, | |
| "grad_norm": 0.17728354036808014, | |
| "learning_rate": 7.870666666666667e-06, | |
| "loss": 0.0582, | |
| "step": 27300 | |
| }, | |
| { | |
| "epoch": 1.8266666666666667, | |
| "grad_norm": 0.19340912997722626, | |
| "learning_rate": 7.826222222222223e-06, | |
| "loss": 0.0594, | |
| "step": 27400 | |
| }, | |
| { | |
| "epoch": 1.8333333333333335, | |
| "grad_norm": 0.2556203603744507, | |
| "learning_rate": 7.781777777777778e-06, | |
| "loss": 0.0593, | |
| "step": 27500 | |
| }, | |
| { | |
| "epoch": 1.8399999999999999, | |
| "grad_norm": 0.24254228174686432, | |
| "learning_rate": 7.737333333333335e-06, | |
| "loss": 0.057, | |
| "step": 27600 | |
| }, | |
| { | |
| "epoch": 1.8466666666666667, | |
| "grad_norm": 0.0748680830001831, | |
| "learning_rate": 7.69288888888889e-06, | |
| "loss": 0.0574, | |
| "step": 27700 | |
| }, | |
| { | |
| "epoch": 1.8533333333333335, | |
| "grad_norm": 0.2756935656070709, | |
| "learning_rate": 7.648444444444445e-06, | |
| "loss": 0.0592, | |
| "step": 27800 | |
| }, | |
| { | |
| "epoch": 1.8599999999999999, | |
| "grad_norm": 0.26682248711586, | |
| "learning_rate": 7.604e-06, | |
| "loss": 0.0607, | |
| "step": 27900 | |
| }, | |
| { | |
| "epoch": 1.8666666666666667, | |
| "grad_norm": 0.2434193342924118, | |
| "learning_rate": 7.5595555555555565e-06, | |
| "loss": 0.056, | |
| "step": 28000 | |
| }, | |
| { | |
| "epoch": 1.8733333333333333, | |
| "grad_norm": 0.38631588220596313, | |
| "learning_rate": 7.515111111111112e-06, | |
| "loss": 0.0554, | |
| "step": 28100 | |
| }, | |
| { | |
| "epoch": 1.88, | |
| "grad_norm": 0.3035646677017212, | |
| "learning_rate": 7.470666666666667e-06, | |
| "loss": 0.0554, | |
| "step": 28200 | |
| }, | |
| { | |
| "epoch": 1.8866666666666667, | |
| "grad_norm": 0.2283605933189392, | |
| "learning_rate": 7.426222222222222e-06, | |
| "loss": 0.0584, | |
| "step": 28300 | |
| }, | |
| { | |
| "epoch": 1.8933333333333333, | |
| "grad_norm": 0.10160692036151886, | |
| "learning_rate": 7.381777777777779e-06, | |
| "loss": 0.0538, | |
| "step": 28400 | |
| }, | |
| { | |
| "epoch": 1.9, | |
| "grad_norm": 0.704264223575592, | |
| "learning_rate": 7.337777777777778e-06, | |
| "loss": 0.0541, | |
| "step": 28500 | |
| }, | |
| { | |
| "epoch": 1.9066666666666667, | |
| "grad_norm": 0.15182781219482422, | |
| "learning_rate": 7.2933333333333335e-06, | |
| "loss": 0.0566, | |
| "step": 28600 | |
| }, | |
| { | |
| "epoch": 1.9133333333333333, | |
| "grad_norm": 0.18824052810668945, | |
| "learning_rate": 7.24888888888889e-06, | |
| "loss": 0.0566, | |
| "step": 28700 | |
| }, | |
| { | |
| "epoch": 1.92, | |
| "grad_norm": 0.2716074585914612, | |
| "learning_rate": 7.204444444444445e-06, | |
| "loss": 0.0571, | |
| "step": 28800 | |
| }, | |
| { | |
| "epoch": 1.9266666666666667, | |
| "grad_norm": 0.18709616363048553, | |
| "learning_rate": 7.16e-06, | |
| "loss": 0.0569, | |
| "step": 28900 | |
| }, | |
| { | |
| "epoch": 1.9333333333333333, | |
| "grad_norm": 0.1409674882888794, | |
| "learning_rate": 7.115555555555557e-06, | |
| "loss": 0.0603, | |
| "step": 29000 | |
| }, | |
| { | |
| "epoch": 1.94, | |
| "grad_norm": 0.18953697383403778, | |
| "learning_rate": 7.071111111111112e-06, | |
| "loss": 0.0554, | |
| "step": 29100 | |
| }, | |
| { | |
| "epoch": 1.9466666666666668, | |
| "grad_norm": 0.14956802129745483, | |
| "learning_rate": 7.0266666666666674e-06, | |
| "loss": 0.0555, | |
| "step": 29200 | |
| }, | |
| { | |
| "epoch": 1.9533333333333334, | |
| "grad_norm": 0.2314777970314026, | |
| "learning_rate": 6.982222222222223e-06, | |
| "loss": 0.0576, | |
| "step": 29300 | |
| }, | |
| { | |
| "epoch": 1.96, | |
| "grad_norm": 0.1524542272090912, | |
| "learning_rate": 6.937777777777779e-06, | |
| "loss": 0.0545, | |
| "step": 29400 | |
| }, | |
| { | |
| "epoch": 1.9666666666666668, | |
| "grad_norm": 0.12564967572689056, | |
| "learning_rate": 6.893333333333334e-06, | |
| "loss": 0.0545, | |
| "step": 29500 | |
| }, | |
| { | |
| "epoch": 1.9733333333333334, | |
| "grad_norm": 0.3285749852657318, | |
| "learning_rate": 6.849333333333333e-06, | |
| "loss": 0.0566, | |
| "step": 29600 | |
| }, | |
| { | |
| "epoch": 1.98, | |
| "grad_norm": 0.2452673316001892, | |
| "learning_rate": 6.80488888888889e-06, | |
| "loss": 0.0501, | |
| "step": 29700 | |
| }, | |
| { | |
| "epoch": 1.9866666666666668, | |
| "grad_norm": 0.06861041486263275, | |
| "learning_rate": 6.760444444444445e-06, | |
| "loss": 0.0554, | |
| "step": 29800 | |
| }, | |
| { | |
| "epoch": 1.9933333333333332, | |
| "grad_norm": 0.2544171214103699, | |
| "learning_rate": 6.716000000000001e-06, | |
| "loss": 0.058, | |
| "step": 29900 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "grad_norm": 0.22868148982524872, | |
| "learning_rate": 6.671555555555556e-06, | |
| "loss": 0.0569, | |
| "step": 30000 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "eval_loss": 0.08315848559141159, | |
| "eval_runtime": 120.1805, | |
| "eval_samples_per_second": 16.642, | |
| "eval_steps_per_second": 4.16, | |
| "step": 30000 | |
| }, | |
| { | |
| "epoch": 2.006666666666667, | |
| "grad_norm": 0.2182902991771698, | |
| "learning_rate": 6.627111111111112e-06, | |
| "loss": 0.0532, | |
| "step": 30100 | |
| }, | |
| { | |
| "epoch": 2.013333333333333, | |
| "grad_norm": 0.2302951216697693, | |
| "learning_rate": 6.582666666666667e-06, | |
| "loss": 0.0551, | |
| "step": 30200 | |
| }, | |
| { | |
| "epoch": 2.02, | |
| "grad_norm": 0.25131645798683167, | |
| "learning_rate": 6.538222222222222e-06, | |
| "loss": 0.0531, | |
| "step": 30300 | |
| }, | |
| { | |
| "epoch": 2.026666666666667, | |
| "grad_norm": 0.2000693827867508, | |
| "learning_rate": 6.493777777777779e-06, | |
| "loss": 0.055, | |
| "step": 30400 | |
| }, | |
| { | |
| "epoch": 2.033333333333333, | |
| "grad_norm": 0.2072344422340393, | |
| "learning_rate": 6.4493333333333345e-06, | |
| "loss": 0.0544, | |
| "step": 30500 | |
| }, | |
| { | |
| "epoch": 2.04, | |
| "grad_norm": 0.12454479187726974, | |
| "learning_rate": 6.40488888888889e-06, | |
| "loss": 0.0566, | |
| "step": 30600 | |
| }, | |
| { | |
| "epoch": 2.046666666666667, | |
| "grad_norm": 0.18834765255451202, | |
| "learning_rate": 6.360444444444445e-06, | |
| "loss": 0.0523, | |
| "step": 30700 | |
| }, | |
| { | |
| "epoch": 2.0533333333333332, | |
| "grad_norm": 0.14881722629070282, | |
| "learning_rate": 6.316000000000001e-06, | |
| "loss": 0.0505, | |
| "step": 30800 | |
| }, | |
| { | |
| "epoch": 2.06, | |
| "grad_norm": 0.12314546853303909, | |
| "learning_rate": 6.271555555555556e-06, | |
| "loss": 0.0505, | |
| "step": 30900 | |
| }, | |
| { | |
| "epoch": 2.066666666666667, | |
| "grad_norm": 0.18147911131381989, | |
| "learning_rate": 6.2271111111111115e-06, | |
| "loss": 0.046, | |
| "step": 31000 | |
| }, | |
| { | |
| "epoch": 2.0733333333333333, | |
| "grad_norm": 0.2015141099691391, | |
| "learning_rate": 6.182666666666667e-06, | |
| "loss": 0.0552, | |
| "step": 31100 | |
| }, | |
| { | |
| "epoch": 2.08, | |
| "grad_norm": 0.13618551194667816, | |
| "learning_rate": 6.138222222222223e-06, | |
| "loss": 0.0504, | |
| "step": 31200 | |
| }, | |
| { | |
| "epoch": 2.086666666666667, | |
| "grad_norm": 0.11296480149030685, | |
| "learning_rate": 6.093777777777779e-06, | |
| "loss": 0.0527, | |
| "step": 31300 | |
| }, | |
| { | |
| "epoch": 2.0933333333333333, | |
| "grad_norm": 0.16036346554756165, | |
| "learning_rate": 6.049333333333334e-06, | |
| "loss": 0.0513, | |
| "step": 31400 | |
| }, | |
| { | |
| "epoch": 2.1, | |
| "grad_norm": 0.17830543220043182, | |
| "learning_rate": 6.004888888888889e-06, | |
| "loss": 0.053, | |
| "step": 31500 | |
| }, | |
| { | |
| "epoch": 2.1066666666666665, | |
| "grad_norm": 0.18772698938846588, | |
| "learning_rate": 5.960444444444445e-06, | |
| "loss": 0.0483, | |
| "step": 31600 | |
| }, | |
| { | |
| "epoch": 2.1133333333333333, | |
| "grad_norm": 0.18564331531524658, | |
| "learning_rate": 5.916000000000001e-06, | |
| "loss": 0.0493, | |
| "step": 31700 | |
| }, | |
| { | |
| "epoch": 2.12, | |
| "grad_norm": 0.14556245505809784, | |
| "learning_rate": 5.871555555555556e-06, | |
| "loss": 0.049, | |
| "step": 31800 | |
| }, | |
| { | |
| "epoch": 2.1266666666666665, | |
| "grad_norm": 0.14260981976985931, | |
| "learning_rate": 5.827111111111111e-06, | |
| "loss": 0.0509, | |
| "step": 31900 | |
| }, | |
| { | |
| "epoch": 2.1333333333333333, | |
| "grad_norm": 0.08872347325086594, | |
| "learning_rate": 5.782666666666667e-06, | |
| "loss": 0.0466, | |
| "step": 32000 | |
| }, | |
| { | |
| "epoch": 2.14, | |
| "grad_norm": 0.2384709119796753, | |
| "learning_rate": 5.738222222222223e-06, | |
| "loss": 0.0567, | |
| "step": 32100 | |
| }, | |
| { | |
| "epoch": 2.1466666666666665, | |
| "grad_norm": 0.21881048381328583, | |
| "learning_rate": 5.6937777777777785e-06, | |
| "loss": 0.0577, | |
| "step": 32200 | |
| }, | |
| { | |
| "epoch": 2.1533333333333333, | |
| "grad_norm": 0.1541258692741394, | |
| "learning_rate": 5.649333333333334e-06, | |
| "loss": 0.0508, | |
| "step": 32300 | |
| }, | |
| { | |
| "epoch": 2.16, | |
| "grad_norm": 0.23964588344097137, | |
| "learning_rate": 5.605333333333334e-06, | |
| "loss": 0.0627, | |
| "step": 32400 | |
| }, | |
| { | |
| "epoch": 2.1666666666666665, | |
| "grad_norm": 0.27338939905166626, | |
| "learning_rate": 5.560888888888889e-06, | |
| "loss": 0.0522, | |
| "step": 32500 | |
| }, | |
| { | |
| "epoch": 2.1733333333333333, | |
| "grad_norm": 0.21274752914905548, | |
| "learning_rate": 5.516444444444445e-06, | |
| "loss": 0.0523, | |
| "step": 32600 | |
| }, | |
| { | |
| "epoch": 2.18, | |
| "grad_norm": 0.3107999563217163, | |
| "learning_rate": 5.472e-06, | |
| "loss": 0.0526, | |
| "step": 32700 | |
| }, | |
| { | |
| "epoch": 2.1866666666666665, | |
| "grad_norm": 0.19043102860450745, | |
| "learning_rate": 5.4275555555555555e-06, | |
| "loss": 0.0522, | |
| "step": 32800 | |
| }, | |
| { | |
| "epoch": 2.1933333333333334, | |
| "grad_norm": 0.17905379831790924, | |
| "learning_rate": 5.383111111111112e-06, | |
| "loss": 0.052, | |
| "step": 32900 | |
| }, | |
| { | |
| "epoch": 2.2, | |
| "grad_norm": 0.3581301271915436, | |
| "learning_rate": 5.338666666666668e-06, | |
| "loss": 0.0522, | |
| "step": 33000 | |
| }, | |
| { | |
| "epoch": 2.2066666666666666, | |
| "grad_norm": 0.1424885094165802, | |
| "learning_rate": 5.294222222222223e-06, | |
| "loss": 0.0542, | |
| "step": 33100 | |
| }, | |
| { | |
| "epoch": 2.2133333333333334, | |
| "grad_norm": 0.29376089572906494, | |
| "learning_rate": 5.249777777777778e-06, | |
| "loss": 0.0466, | |
| "step": 33200 | |
| }, | |
| { | |
| "epoch": 2.22, | |
| "grad_norm": 0.21891391277313232, | |
| "learning_rate": 5.205333333333333e-06, | |
| "loss": 0.051, | |
| "step": 33300 | |
| }, | |
| { | |
| "epoch": 2.2266666666666666, | |
| "grad_norm": 0.09811867028474808, | |
| "learning_rate": 5.1608888888888894e-06, | |
| "loss": 0.053, | |
| "step": 33400 | |
| }, | |
| { | |
| "epoch": 2.2333333333333334, | |
| "grad_norm": 0.17383785545825958, | |
| "learning_rate": 5.116444444444445e-06, | |
| "loss": 0.0486, | |
| "step": 33500 | |
| }, | |
| { | |
| "epoch": 2.24, | |
| "grad_norm": 0.20023219287395477, | |
| "learning_rate": 5.072e-06, | |
| "loss": 0.0509, | |
| "step": 33600 | |
| }, | |
| { | |
| "epoch": 2.2466666666666666, | |
| "grad_norm": 0.24713067710399628, | |
| "learning_rate": 5.027555555555555e-06, | |
| "loss": 0.0487, | |
| "step": 33700 | |
| }, | |
| { | |
| "epoch": 2.2533333333333334, | |
| "grad_norm": 0.2585085928440094, | |
| "learning_rate": 4.983111111111111e-06, | |
| "loss": 0.0464, | |
| "step": 33800 | |
| }, | |
| { | |
| "epoch": 2.26, | |
| "grad_norm": 0.10687225311994553, | |
| "learning_rate": 4.938666666666667e-06, | |
| "loss": 0.0558, | |
| "step": 33900 | |
| }, | |
| { | |
| "epoch": 2.2666666666666666, | |
| "grad_norm": 0.2748579680919647, | |
| "learning_rate": 4.8942222222222225e-06, | |
| "loss": 0.0533, | |
| "step": 34000 | |
| }, | |
| { | |
| "epoch": 2.2733333333333334, | |
| "grad_norm": 0.2103540301322937, | |
| "learning_rate": 4.8497777777777786e-06, | |
| "loss": 0.0544, | |
| "step": 34100 | |
| }, | |
| { | |
| "epoch": 2.2800000000000002, | |
| "grad_norm": 0.3394009470939636, | |
| "learning_rate": 4.805333333333334e-06, | |
| "loss": 0.0512, | |
| "step": 34200 | |
| }, | |
| { | |
| "epoch": 2.2866666666666666, | |
| "grad_norm": 0.18866145610809326, | |
| "learning_rate": 4.760888888888889e-06, | |
| "loss": 0.0505, | |
| "step": 34300 | |
| }, | |
| { | |
| "epoch": 2.2933333333333334, | |
| "grad_norm": 0.21299579739570618, | |
| "learning_rate": 4.716888888888889e-06, | |
| "loss": 0.0466, | |
| "step": 34400 | |
| }, | |
| { | |
| "epoch": 2.3, | |
| "grad_norm": 0.12839581072330475, | |
| "learning_rate": 4.672444444444445e-06, | |
| "loss": 0.0484, | |
| "step": 34500 | |
| }, | |
| { | |
| "epoch": 2.3066666666666666, | |
| "grad_norm": 0.112776979804039, | |
| "learning_rate": 4.628e-06, | |
| "loss": 0.0534, | |
| "step": 34600 | |
| }, | |
| { | |
| "epoch": 2.3133333333333335, | |
| "grad_norm": 0.3088347315788269, | |
| "learning_rate": 4.5835555555555565e-06, | |
| "loss": 0.0565, | |
| "step": 34700 | |
| }, | |
| { | |
| "epoch": 2.32, | |
| "grad_norm": 0.18766255676746368, | |
| "learning_rate": 4.539111111111112e-06, | |
| "loss": 0.0548, | |
| "step": 34800 | |
| }, | |
| { | |
| "epoch": 2.3266666666666667, | |
| "grad_norm": 0.24050170183181763, | |
| "learning_rate": 4.494666666666667e-06, | |
| "loss": 0.0602, | |
| "step": 34900 | |
| }, | |
| { | |
| "epoch": 2.3333333333333335, | |
| "grad_norm": 0.15460790693759918, | |
| "learning_rate": 4.450222222222222e-06, | |
| "loss": 0.0558, | |
| "step": 35000 | |
| }, | |
| { | |
| "epoch": 2.34, | |
| "grad_norm": 0.23494431376457214, | |
| "learning_rate": 4.405777777777778e-06, | |
| "loss": 0.0521, | |
| "step": 35100 | |
| }, | |
| { | |
| "epoch": 2.3466666666666667, | |
| "grad_norm": 0.19245880842208862, | |
| "learning_rate": 4.3613333333333335e-06, | |
| "loss": 0.0516, | |
| "step": 35200 | |
| }, | |
| { | |
| "epoch": 2.3533333333333335, | |
| "grad_norm": 0.30625805258750916, | |
| "learning_rate": 4.3173333333333336e-06, | |
| "loss": 0.0519, | |
| "step": 35300 | |
| }, | |
| { | |
| "epoch": 2.36, | |
| "grad_norm": 0.30782145261764526, | |
| "learning_rate": 4.272888888888889e-06, | |
| "loss": 0.0495, | |
| "step": 35400 | |
| }, | |
| { | |
| "epoch": 2.3666666666666667, | |
| "grad_norm": 0.25636398792266846, | |
| "learning_rate": 4.228444444444445e-06, | |
| "loss": 0.0529, | |
| "step": 35500 | |
| }, | |
| { | |
| "epoch": 2.3733333333333335, | |
| "grad_norm": 0.1506161242723465, | |
| "learning_rate": 4.184e-06, | |
| "loss": 0.0508, | |
| "step": 35600 | |
| }, | |
| { | |
| "epoch": 2.38, | |
| "grad_norm": 0.16037747263908386, | |
| "learning_rate": 4.139555555555556e-06, | |
| "loss": 0.0517, | |
| "step": 35700 | |
| }, | |
| { | |
| "epoch": 2.3866666666666667, | |
| "grad_norm": 0.2298995554447174, | |
| "learning_rate": 4.095111111111111e-06, | |
| "loss": 0.0516, | |
| "step": 35800 | |
| }, | |
| { | |
| "epoch": 2.3933333333333335, | |
| "grad_norm": 0.18646371364593506, | |
| "learning_rate": 4.0506666666666675e-06, | |
| "loss": 0.0552, | |
| "step": 35900 | |
| }, | |
| { | |
| "epoch": 2.4, | |
| "grad_norm": 0.1472606658935547, | |
| "learning_rate": 4.006222222222223e-06, | |
| "loss": 0.0523, | |
| "step": 36000 | |
| }, | |
| { | |
| "epoch": 2.4066666666666667, | |
| "grad_norm": 0.1548595130443573, | |
| "learning_rate": 3.961777777777778e-06, | |
| "loss": 0.0498, | |
| "step": 36100 | |
| }, | |
| { | |
| "epoch": 2.413333333333333, | |
| "grad_norm": 0.13865716755390167, | |
| "learning_rate": 3.917333333333333e-06, | |
| "loss": 0.0522, | |
| "step": 36200 | |
| }, | |
| { | |
| "epoch": 2.42, | |
| "grad_norm": 0.20406047999858856, | |
| "learning_rate": 3.872888888888889e-06, | |
| "loss": 0.0481, | |
| "step": 36300 | |
| }, | |
| { | |
| "epoch": 2.4266666666666667, | |
| "grad_norm": 0.20818284153938293, | |
| "learning_rate": 3.8284444444444445e-06, | |
| "loss": 0.0524, | |
| "step": 36400 | |
| }, | |
| { | |
| "epoch": 2.4333333333333336, | |
| "grad_norm": 0.37012940645217896, | |
| "learning_rate": 3.7840000000000005e-06, | |
| "loss": 0.0445, | |
| "step": 36500 | |
| }, | |
| { | |
| "epoch": 2.44, | |
| "grad_norm": 0.07145357877016068, | |
| "learning_rate": 3.7395555555555558e-06, | |
| "loss": 0.0478, | |
| "step": 36600 | |
| }, | |
| { | |
| "epoch": 2.4466666666666668, | |
| "grad_norm": 0.12996427714824677, | |
| "learning_rate": 3.6951111111111114e-06, | |
| "loss": 0.0501, | |
| "step": 36700 | |
| }, | |
| { | |
| "epoch": 2.453333333333333, | |
| "grad_norm": 0.13270486891269684, | |
| "learning_rate": 3.6506666666666666e-06, | |
| "loss": 0.0542, | |
| "step": 36800 | |
| }, | |
| { | |
| "epoch": 2.46, | |
| "grad_norm": 0.18757346272468567, | |
| "learning_rate": 3.6062222222222227e-06, | |
| "loss": 0.0522, | |
| "step": 36900 | |
| }, | |
| { | |
| "epoch": 2.466666666666667, | |
| "grad_norm": 0.2180936336517334, | |
| "learning_rate": 3.561777777777778e-06, | |
| "loss": 0.0522, | |
| "step": 37000 | |
| }, | |
| { | |
| "epoch": 2.473333333333333, | |
| "grad_norm": 0.2838660180568695, | |
| "learning_rate": 3.5173333333333336e-06, | |
| "loss": 0.0485, | |
| "step": 37100 | |
| }, | |
| { | |
| "epoch": 2.48, | |
| "grad_norm": 0.26960739493370056, | |
| "learning_rate": 3.472888888888889e-06, | |
| "loss": 0.0516, | |
| "step": 37200 | |
| }, | |
| { | |
| "epoch": 2.486666666666667, | |
| "grad_norm": 0.19472958147525787, | |
| "learning_rate": 3.428444444444445e-06, | |
| "loss": 0.0551, | |
| "step": 37300 | |
| }, | |
| { | |
| "epoch": 2.493333333333333, | |
| "grad_norm": 0.22085241973400116, | |
| "learning_rate": 3.384e-06, | |
| "loss": 0.0555, | |
| "step": 37400 | |
| }, | |
| { | |
| "epoch": 2.5, | |
| "grad_norm": 0.32543325424194336, | |
| "learning_rate": 3.3395555555555558e-06, | |
| "loss": 0.0517, | |
| "step": 37500 | |
| }, | |
| { | |
| "epoch": 2.506666666666667, | |
| "grad_norm": 0.11736246943473816, | |
| "learning_rate": 3.295111111111111e-06, | |
| "loss": 0.0521, | |
| "step": 37600 | |
| }, | |
| { | |
| "epoch": 2.513333333333333, | |
| "grad_norm": 0.33586665987968445, | |
| "learning_rate": 3.250666666666667e-06, | |
| "loss": 0.0549, | |
| "step": 37700 | |
| }, | |
| { | |
| "epoch": 2.52, | |
| "grad_norm": 0.15800270438194275, | |
| "learning_rate": 3.2062222222222223e-06, | |
| "loss": 0.056, | |
| "step": 37800 | |
| }, | |
| { | |
| "epoch": 2.5266666666666664, | |
| "grad_norm": 0.14952941238880157, | |
| "learning_rate": 3.161777777777778e-06, | |
| "loss": 0.055, | |
| "step": 37900 | |
| }, | |
| { | |
| "epoch": 2.533333333333333, | |
| "grad_norm": 0.08778905123472214, | |
| "learning_rate": 3.117333333333333e-06, | |
| "loss": 0.0477, | |
| "step": 38000 | |
| }, | |
| { | |
| "epoch": 2.54, | |
| "grad_norm": 0.23089808225631714, | |
| "learning_rate": 3.0728888888888893e-06, | |
| "loss": 0.0544, | |
| "step": 38100 | |
| }, | |
| { | |
| "epoch": 2.546666666666667, | |
| "grad_norm": 0.2545056939125061, | |
| "learning_rate": 3.028444444444445e-06, | |
| "loss": 0.049, | |
| "step": 38200 | |
| }, | |
| { | |
| "epoch": 2.5533333333333332, | |
| "grad_norm": 0.2878418564796448, | |
| "learning_rate": 2.984e-06, | |
| "loss": 0.0506, | |
| "step": 38300 | |
| }, | |
| { | |
| "epoch": 2.56, | |
| "grad_norm": 0.2358868569135666, | |
| "learning_rate": 2.9395555555555562e-06, | |
| "loss": 0.0539, | |
| "step": 38400 | |
| }, | |
| { | |
| "epoch": 2.5666666666666664, | |
| "grad_norm": 0.20847082138061523, | |
| "learning_rate": 2.8951111111111114e-06, | |
| "loss": 0.0549, | |
| "step": 38500 | |
| }, | |
| { | |
| "epoch": 2.5733333333333333, | |
| "grad_norm": 0.16107220947742462, | |
| "learning_rate": 2.850666666666667e-06, | |
| "loss": 0.0549, | |
| "step": 38600 | |
| }, | |
| { | |
| "epoch": 2.58, | |
| "grad_norm": 0.14319832623004913, | |
| "learning_rate": 2.8062222222222223e-06, | |
| "loss": 0.0508, | |
| "step": 38700 | |
| }, | |
| { | |
| "epoch": 2.586666666666667, | |
| "grad_norm": 0.13144062459468842, | |
| "learning_rate": 2.7617777777777784e-06, | |
| "loss": 0.0491, | |
| "step": 38800 | |
| }, | |
| { | |
| "epoch": 2.5933333333333333, | |
| "grad_norm": 0.202744722366333, | |
| "learning_rate": 2.7173333333333336e-06, | |
| "loss": 0.0531, | |
| "step": 38900 | |
| }, | |
| { | |
| "epoch": 2.6, | |
| "grad_norm": 0.1617712527513504, | |
| "learning_rate": 2.6728888888888893e-06, | |
| "loss": 0.0516, | |
| "step": 39000 | |
| }, | |
| { | |
| "epoch": 2.6066666666666665, | |
| "grad_norm": 0.11047784239053726, | |
| "learning_rate": 2.6284444444444445e-06, | |
| "loss": 0.0494, | |
| "step": 39100 | |
| }, | |
| { | |
| "epoch": 2.6133333333333333, | |
| "grad_norm": 0.27986884117126465, | |
| "learning_rate": 2.5840000000000006e-06, | |
| "loss": 0.0523, | |
| "step": 39200 | |
| }, | |
| { | |
| "epoch": 2.62, | |
| "grad_norm": 0.17573469877243042, | |
| "learning_rate": 2.539555555555556e-06, | |
| "loss": 0.0549, | |
| "step": 39300 | |
| }, | |
| { | |
| "epoch": 2.626666666666667, | |
| "grad_norm": 0.26180362701416016, | |
| "learning_rate": 2.495111111111111e-06, | |
| "loss": 0.0543, | |
| "step": 39400 | |
| }, | |
| { | |
| "epoch": 2.6333333333333333, | |
| "grad_norm": 0.22933009266853333, | |
| "learning_rate": 2.4506666666666667e-06, | |
| "loss": 0.053, | |
| "step": 39500 | |
| }, | |
| { | |
| "epoch": 2.64, | |
| "grad_norm": 0.10127383470535278, | |
| "learning_rate": 2.4062222222222223e-06, | |
| "loss": 0.0494, | |
| "step": 39600 | |
| }, | |
| { | |
| "epoch": 2.6466666666666665, | |
| "grad_norm": 0.1442176252603531, | |
| "learning_rate": 2.3622222222222224e-06, | |
| "loss": 0.0489, | |
| "step": 39700 | |
| }, | |
| { | |
| "epoch": 2.6533333333333333, | |
| "grad_norm": 0.2334638386964798, | |
| "learning_rate": 2.317777777777778e-06, | |
| "loss": 0.0493, | |
| "step": 39800 | |
| }, | |
| { | |
| "epoch": 2.66, | |
| "grad_norm": 0.2831490635871887, | |
| "learning_rate": 2.2733333333333333e-06, | |
| "loss": 0.0515, | |
| "step": 39900 | |
| }, | |
| { | |
| "epoch": 2.6666666666666665, | |
| "grad_norm": 0.35798129439353943, | |
| "learning_rate": 2.228888888888889e-06, | |
| "loss": 0.0502, | |
| "step": 40000 | |
| }, | |
| { | |
| "epoch": 2.6733333333333333, | |
| "grad_norm": 0.3002031147480011, | |
| "learning_rate": 2.1844444444444446e-06, | |
| "loss": 0.0525, | |
| "step": 40100 | |
| }, | |
| { | |
| "epoch": 2.68, | |
| "grad_norm": 0.20131170749664307, | |
| "learning_rate": 2.1400000000000003e-06, | |
| "loss": 0.0489, | |
| "step": 40200 | |
| }, | |
| { | |
| "epoch": 2.6866666666666665, | |
| "grad_norm": 0.134327694773674, | |
| "learning_rate": 2.0955555555555555e-06, | |
| "loss": 0.0526, | |
| "step": 40300 | |
| }, | |
| { | |
| "epoch": 2.6933333333333334, | |
| "grad_norm": 0.208841010928154, | |
| "learning_rate": 2.051111111111111e-06, | |
| "loss": 0.0554, | |
| "step": 40400 | |
| }, | |
| { | |
| "epoch": 2.7, | |
| "grad_norm": 0.1784680038690567, | |
| "learning_rate": 2.006666666666667e-06, | |
| "loss": 0.0529, | |
| "step": 40500 | |
| }, | |
| { | |
| "epoch": 2.7066666666666666, | |
| "grad_norm": 0.24057607352733612, | |
| "learning_rate": 1.9622222222222224e-06, | |
| "loss": 0.0537, | |
| "step": 40600 | |
| }, | |
| { | |
| "epoch": 2.7133333333333334, | |
| "grad_norm": 0.22103776037693024, | |
| "learning_rate": 1.9182222222222225e-06, | |
| "loss": 0.0499, | |
| "step": 40700 | |
| }, | |
| { | |
| "epoch": 2.7199999999999998, | |
| "grad_norm": 0.23199285566806793, | |
| "learning_rate": 1.873777777777778e-06, | |
| "loss": 0.0574, | |
| "step": 40800 | |
| }, | |
| { | |
| "epoch": 2.7266666666666666, | |
| "grad_norm": 0.3680346608161926, | |
| "learning_rate": 1.8293333333333336e-06, | |
| "loss": 0.0455, | |
| "step": 40900 | |
| }, | |
| { | |
| "epoch": 2.7333333333333334, | |
| "grad_norm": 0.11471223831176758, | |
| "learning_rate": 1.784888888888889e-06, | |
| "loss": 0.046, | |
| "step": 41000 | |
| }, | |
| { | |
| "epoch": 2.74, | |
| "grad_norm": 0.176757350564003, | |
| "learning_rate": 1.7404444444444445e-06, | |
| "loss": 0.0512, | |
| "step": 41100 | |
| }, | |
| { | |
| "epoch": 2.7466666666666666, | |
| "grad_norm": 0.28724828362464905, | |
| "learning_rate": 1.6960000000000002e-06, | |
| "loss": 0.0514, | |
| "step": 41200 | |
| }, | |
| { | |
| "epoch": 2.7533333333333334, | |
| "grad_norm": 0.654242753982544, | |
| "learning_rate": 1.6515555555555556e-06, | |
| "loss": 0.0497, | |
| "step": 41300 | |
| }, | |
| { | |
| "epoch": 2.76, | |
| "grad_norm": 0.2873416543006897, | |
| "learning_rate": 1.6071111111111112e-06, | |
| "loss": 0.0492, | |
| "step": 41400 | |
| }, | |
| { | |
| "epoch": 2.7666666666666666, | |
| "grad_norm": 0.28858011960983276, | |
| "learning_rate": 1.5626666666666667e-06, | |
| "loss": 0.0485, | |
| "step": 41500 | |
| }, | |
| { | |
| "epoch": 2.7733333333333334, | |
| "grad_norm": 0.2192191630601883, | |
| "learning_rate": 1.5182222222222223e-06, | |
| "loss": 0.0514, | |
| "step": 41600 | |
| }, | |
| { | |
| "epoch": 2.7800000000000002, | |
| "grad_norm": 0.17543815076351166, | |
| "learning_rate": 1.4737777777777778e-06, | |
| "loss": 0.0473, | |
| "step": 41700 | |
| }, | |
| { | |
| "epoch": 2.7866666666666666, | |
| "grad_norm": 0.25185197591781616, | |
| "learning_rate": 1.4293333333333334e-06, | |
| "loss": 0.0508, | |
| "step": 41800 | |
| }, | |
| { | |
| "epoch": 2.7933333333333334, | |
| "grad_norm": 0.22377026081085205, | |
| "learning_rate": 1.3848888888888889e-06, | |
| "loss": 0.0617, | |
| "step": 41900 | |
| }, | |
| { | |
| "epoch": 2.8, | |
| "grad_norm": 0.1886560320854187, | |
| "learning_rate": 1.3404444444444445e-06, | |
| "loss": 0.0504, | |
| "step": 42000 | |
| }, | |
| { | |
| "epoch": 2.8066666666666666, | |
| "grad_norm": 0.984207272529602, | |
| "learning_rate": 1.296e-06, | |
| "loss": 0.0487, | |
| "step": 42100 | |
| }, | |
| { | |
| "epoch": 2.8133333333333335, | |
| "grad_norm": 0.0887194350361824, | |
| "learning_rate": 1.2515555555555556e-06, | |
| "loss": 0.0543, | |
| "step": 42200 | |
| }, | |
| { | |
| "epoch": 2.82, | |
| "grad_norm": 0.17428313195705414, | |
| "learning_rate": 1.2071111111111113e-06, | |
| "loss": 0.0543, | |
| "step": 42300 | |
| }, | |
| { | |
| "epoch": 2.8266666666666667, | |
| "grad_norm": 0.05723314359784126, | |
| "learning_rate": 1.1626666666666667e-06, | |
| "loss": 0.0496, | |
| "step": 42400 | |
| }, | |
| { | |
| "epoch": 2.8333333333333335, | |
| "grad_norm": 0.13802002370357513, | |
| "learning_rate": 1.1182222222222224e-06, | |
| "loss": 0.0549, | |
| "step": 42500 | |
| }, | |
| { | |
| "epoch": 2.84, | |
| "grad_norm": 0.13869111239910126, | |
| "learning_rate": 1.0737777777777778e-06, | |
| "loss": 0.0543, | |
| "step": 42600 | |
| }, | |
| { | |
| "epoch": 2.8466666666666667, | |
| "grad_norm": 0.12573951482772827, | |
| "learning_rate": 1.0293333333333334e-06, | |
| "loss": 0.0499, | |
| "step": 42700 | |
| }, | |
| { | |
| "epoch": 2.8533333333333335, | |
| "grad_norm": 0.23486433923244476, | |
| "learning_rate": 9.848888888888889e-07, | |
| "loss": 0.0533, | |
| "step": 42800 | |
| }, | |
| { | |
| "epoch": 2.86, | |
| "grad_norm": 0.20186831057071686, | |
| "learning_rate": 9.404444444444445e-07, | |
| "loss": 0.0452, | |
| "step": 42900 | |
| }, | |
| { | |
| "epoch": 2.8666666666666667, | |
| "grad_norm": 0.047486595809459686, | |
| "learning_rate": 8.960000000000001e-07, | |
| "loss": 0.0534, | |
| "step": 43000 | |
| }, | |
| { | |
| "epoch": 2.873333333333333, | |
| "grad_norm": 0.22133620083332062, | |
| "learning_rate": 8.515555555555556e-07, | |
| "loss": 0.0489, | |
| "step": 43100 | |
| }, | |
| { | |
| "epoch": 2.88, | |
| "grad_norm": 0.23495450615882874, | |
| "learning_rate": 8.071111111111112e-07, | |
| "loss": 0.0524, | |
| "step": 43200 | |
| }, | |
| { | |
| "epoch": 2.8866666666666667, | |
| "grad_norm": 0.22712914645671844, | |
| "learning_rate": 7.626666666666667e-07, | |
| "loss": 0.0471, | |
| "step": 43300 | |
| }, | |
| { | |
| "epoch": 2.8933333333333335, | |
| "grad_norm": 0.3228939175605774, | |
| "learning_rate": 7.182222222222223e-07, | |
| "loss": 0.0495, | |
| "step": 43400 | |
| }, | |
| { | |
| "epoch": 2.9, | |
| "grad_norm": 0.20631560683250427, | |
| "learning_rate": 6.737777777777778e-07, | |
| "loss": 0.0521, | |
| "step": 43500 | |
| }, | |
| { | |
| "epoch": 2.9066666666666667, | |
| "grad_norm": 0.2009938806295395, | |
| "learning_rate": 6.293333333333334e-07, | |
| "loss": 0.0576, | |
| "step": 43600 | |
| }, | |
| { | |
| "epoch": 2.913333333333333, | |
| "grad_norm": 0.1709711253643036, | |
| "learning_rate": 5.848888888888889e-07, | |
| "loss": 0.0551, | |
| "step": 43700 | |
| }, | |
| { | |
| "epoch": 2.92, | |
| "grad_norm": 0.21005882322788239, | |
| "learning_rate": 5.404444444444444e-07, | |
| "loss": 0.0525, | |
| "step": 43800 | |
| }, | |
| { | |
| "epoch": 2.9266666666666667, | |
| "grad_norm": 0.24121809005737305, | |
| "learning_rate": 4.96e-07, | |
| "loss": 0.0559, | |
| "step": 43900 | |
| }, | |
| { | |
| "epoch": 2.9333333333333336, | |
| "grad_norm": 0.31166791915893555, | |
| "learning_rate": 4.5155555555555554e-07, | |
| "loss": 0.051, | |
| "step": 44000 | |
| }, | |
| { | |
| "epoch": 2.94, | |
| "grad_norm": 0.1060103327035904, | |
| "learning_rate": 4.071111111111112e-07, | |
| "loss": 0.0461, | |
| "step": 44100 | |
| }, | |
| { | |
| "epoch": 2.9466666666666668, | |
| "grad_norm": 0.43563324213027954, | |
| "learning_rate": 3.6266666666666674e-07, | |
| "loss": 0.0553, | |
| "step": 44200 | |
| }, | |
| { | |
| "epoch": 2.953333333333333, | |
| "grad_norm": 0.11668545007705688, | |
| "learning_rate": 3.182222222222223e-07, | |
| "loss": 0.0514, | |
| "step": 44300 | |
| }, | |
| { | |
| "epoch": 2.96, | |
| "grad_norm": 0.20122574269771576, | |
| "learning_rate": 2.7377777777777783e-07, | |
| "loss": 0.0582, | |
| "step": 44400 | |
| }, | |
| { | |
| "epoch": 2.966666666666667, | |
| "grad_norm": 0.2473125159740448, | |
| "learning_rate": 2.2933333333333335e-07, | |
| "loss": 0.0569, | |
| "step": 44500 | |
| }, | |
| { | |
| "epoch": 2.9733333333333336, | |
| "grad_norm": 0.1887609213590622, | |
| "learning_rate": 1.848888888888889e-07, | |
| "loss": 0.0479, | |
| "step": 44600 | |
| }, | |
| { | |
| "epoch": 2.98, | |
| "grad_norm": 0.19531774520874023, | |
| "learning_rate": 1.4044444444444447e-07, | |
| "loss": 0.0453, | |
| "step": 44700 | |
| }, | |
| { | |
| "epoch": 2.986666666666667, | |
| "grad_norm": 0.3343108594417572, | |
| "learning_rate": 9.6e-08, | |
| "loss": 0.0503, | |
| "step": 44800 | |
| }, | |
| { | |
| "epoch": 2.993333333333333, | |
| "grad_norm": 0.2250046730041504, | |
| "learning_rate": 5.155555555555556e-08, | |
| "loss": 0.053, | |
| "step": 44900 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "grad_norm": 0.10516126453876495, | |
| "learning_rate": 7.111111111111112e-09, | |
| "loss": 0.0502, | |
| "step": 45000 | |
| } | |
| ], | |
| "logging_steps": 100, | |
| "max_steps": 45000, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 3, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 1.096124203008e+17, | |
| "train_batch_size": 4, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |