{ "best_metric": null, "best_model_checkpoint": null, "epoch": 1.8333333333333335, "eval_steps": 500, "global_step": 27500, "is_hyper_param_search": false, "is_local_process_zero": true, "is_world_process_zero": true, "log_history": [ { "epoch": 0.006666666666666667, "grad_norm": 0.29276716709136963, "learning_rate": 1.9956444444444447e-05, "loss": 0.3846, "step": 100 }, { "epoch": 0.013333333333333334, "grad_norm": 0.18107488751411438, "learning_rate": 1.9912000000000002e-05, "loss": 0.1086, "step": 200 }, { "epoch": 0.02, "grad_norm": 0.7404983043670654, "learning_rate": 1.9867555555555557e-05, "loss": 0.1091, "step": 300 }, { "epoch": 0.02666666666666667, "grad_norm": 0.6314632296562195, "learning_rate": 1.9823111111111112e-05, "loss": 0.0863, "step": 400 }, { "epoch": 0.03333333333333333, "grad_norm": 0.29823988676071167, "learning_rate": 1.9778666666666667e-05, "loss": 0.0887, "step": 500 }, { "epoch": 0.04, "grad_norm": 0.30884480476379395, "learning_rate": 1.9734222222222223e-05, "loss": 0.0926, "step": 600 }, { "epoch": 0.04666666666666667, "grad_norm": 0.14888174831867218, "learning_rate": 1.9689777777777778e-05, "loss": 0.0859, "step": 700 }, { "epoch": 0.05333333333333334, "grad_norm": 0.23004640638828278, "learning_rate": 1.9645333333333333e-05, "loss": 0.0851, "step": 800 }, { "epoch": 0.06, "grad_norm": 0.38090068101882935, "learning_rate": 1.9600888888888892e-05, "loss": 0.0824, "step": 900 }, { "epoch": 0.06666666666666667, "grad_norm": 0.12699204683303833, "learning_rate": 1.9556444444444447e-05, "loss": 0.0851, "step": 1000 }, { "epoch": 0.07333333333333333, "grad_norm": 0.3818432092666626, "learning_rate": 1.9512000000000002e-05, "loss": 0.0816, "step": 1100 }, { "epoch": 0.08, "grad_norm": 0.24892888963222504, "learning_rate": 1.9467555555555557e-05, "loss": 0.0812, "step": 1200 }, { "epoch": 0.08666666666666667, "grad_norm": 0.2256750911474228, "learning_rate": 1.9423111111111113e-05, "loss": 0.0772, "step": 1300 }, { "epoch": 0.09333333333333334, "grad_norm": 0.1860508769750595, "learning_rate": 1.9378666666666668e-05, "loss": 0.0781, "step": 1400 }, { "epoch": 0.1, "grad_norm": 0.3207520544528961, "learning_rate": 1.9334222222222223e-05, "loss": 0.0761, "step": 1500 }, { "epoch": 0.10666666666666667, "grad_norm": 0.12180228531360626, "learning_rate": 1.928977777777778e-05, "loss": 0.0777, "step": 1600 }, { "epoch": 0.11333333333333333, "grad_norm": 0.3697006106376648, "learning_rate": 1.9245333333333337e-05, "loss": 0.0828, "step": 1700 }, { "epoch": 0.12, "grad_norm": 0.08333831280469894, "learning_rate": 1.9200888888888892e-05, "loss": 0.0755, "step": 1800 }, { "epoch": 0.12666666666666668, "grad_norm": 0.191595196723938, "learning_rate": 1.9156444444444447e-05, "loss": 0.0788, "step": 1900 }, { "epoch": 0.13333333333333333, "grad_norm": 0.13422241806983948, "learning_rate": 1.9112000000000003e-05, "loss": 0.0756, "step": 2000 }, { "epoch": 0.14, "grad_norm": 0.3241085708141327, "learning_rate": 1.9067555555555558e-05, "loss": 0.0787, "step": 2100 }, { "epoch": 0.14666666666666667, "grad_norm": 0.27297067642211914, "learning_rate": 1.9023111111111113e-05, "loss": 0.0788, "step": 2200 }, { "epoch": 0.15333333333333332, "grad_norm": 0.08663206547498703, "learning_rate": 1.897866666666667e-05, "loss": 0.0775, "step": 2300 }, { "epoch": 0.16, "grad_norm": 0.29489508271217346, "learning_rate": 1.8934222222222224e-05, "loss": 0.0693, "step": 2400 }, { "epoch": 0.16666666666666666, "grad_norm": 0.27022987604141235, "learning_rate": 1.888977777777778e-05, "loss": 0.0737, "step": 2500 }, { "epoch": 0.17333333333333334, "grad_norm": 0.09161335974931717, "learning_rate": 1.8845333333333334e-05, "loss": 0.0714, "step": 2600 }, { "epoch": 0.18, "grad_norm": 0.22928522527217865, "learning_rate": 1.880088888888889e-05, "loss": 0.0753, "step": 2700 }, { "epoch": 0.18666666666666668, "grad_norm": 0.17746783792972565, "learning_rate": 1.8756444444444445e-05, "loss": 0.0727, "step": 2800 }, { "epoch": 0.19333333333333333, "grad_norm": 0.14290937781333923, "learning_rate": 1.8712e-05, "loss": 0.0684, "step": 2900 }, { "epoch": 0.2, "grad_norm": 0.15487806499004364, "learning_rate": 1.8667555555555555e-05, "loss": 0.073, "step": 3000 }, { "epoch": 0.20666666666666667, "grad_norm": 0.28241923451423645, "learning_rate": 1.862311111111111e-05, "loss": 0.0682, "step": 3100 }, { "epoch": 0.21333333333333335, "grad_norm": 0.2821277976036072, "learning_rate": 1.857866666666667e-05, "loss": 0.0813, "step": 3200 }, { "epoch": 0.22, "grad_norm": 0.2306368201971054, "learning_rate": 1.8534222222222224e-05, "loss": 0.0741, "step": 3300 }, { "epoch": 0.22666666666666666, "grad_norm": 0.29834499955177307, "learning_rate": 1.848977777777778e-05, "loss": 0.0801, "step": 3400 }, { "epoch": 0.23333333333333334, "grad_norm": 1.8099658489227295, "learning_rate": 1.8445333333333334e-05, "loss": 0.0726, "step": 3500 }, { "epoch": 0.24, "grad_norm": 0.27142712473869324, "learning_rate": 1.840088888888889e-05, "loss": 0.0763, "step": 3600 }, { "epoch": 0.24666666666666667, "grad_norm": 0.3764208257198334, "learning_rate": 1.8356444444444445e-05, "loss": 0.0816, "step": 3700 }, { "epoch": 0.25333333333333335, "grad_norm": 0.2864600718021393, "learning_rate": 1.8312e-05, "loss": 0.0707, "step": 3800 }, { "epoch": 0.26, "grad_norm": 0.2760820686817169, "learning_rate": 1.8267555555555555e-05, "loss": 0.0759, "step": 3900 }, { "epoch": 0.26666666666666666, "grad_norm": 0.14416909217834473, "learning_rate": 1.8223111111111114e-05, "loss": 0.0621, "step": 4000 }, { "epoch": 0.2733333333333333, "grad_norm": 0.2718330919742584, "learning_rate": 1.817866666666667e-05, "loss": 0.0736, "step": 4100 }, { "epoch": 0.28, "grad_norm": 0.25370103120803833, "learning_rate": 1.8134222222222224e-05, "loss": 0.0758, "step": 4200 }, { "epoch": 0.2866666666666667, "grad_norm": 0.1705348938703537, "learning_rate": 1.808977777777778e-05, "loss": 0.0723, "step": 4300 }, { "epoch": 0.29333333333333333, "grad_norm": 0.152600958943367, "learning_rate": 1.8045333333333335e-05, "loss": 0.0671, "step": 4400 }, { "epoch": 0.3, "grad_norm": 0.24814434349536896, "learning_rate": 1.800088888888889e-05, "loss": 0.0752, "step": 4500 }, { "epoch": 0.30666666666666664, "grad_norm": 0.22465260326862335, "learning_rate": 1.7956444444444445e-05, "loss": 0.068, "step": 4600 }, { "epoch": 0.31333333333333335, "grad_norm": 0.0787540078163147, "learning_rate": 1.7912e-05, "loss": 0.077, "step": 4700 }, { "epoch": 0.32, "grad_norm": 0.2305675595998764, "learning_rate": 1.786755555555556e-05, "loss": 0.0727, "step": 4800 }, { "epoch": 0.32666666666666666, "grad_norm": 0.5901878476142883, "learning_rate": 1.7823111111111114e-05, "loss": 0.0717, "step": 4900 }, { "epoch": 0.3333333333333333, "grad_norm": 0.25235211849212646, "learning_rate": 1.777866666666667e-05, "loss": 0.0669, "step": 5000 }, { "epoch": 0.34, "grad_norm": 0.16804884374141693, "learning_rate": 1.7734222222222225e-05, "loss": 0.0664, "step": 5100 }, { "epoch": 0.3466666666666667, "grad_norm": 0.17912818491458893, "learning_rate": 1.768977777777778e-05, "loss": 0.0695, "step": 5200 }, { "epoch": 0.35333333333333333, "grad_norm": 0.18144488334655762, "learning_rate": 1.764577777777778e-05, "loss": 0.0721, "step": 5300 }, { "epoch": 0.36, "grad_norm": 0.22347889840602875, "learning_rate": 1.7601333333333334e-05, "loss": 0.0723, "step": 5400 }, { "epoch": 0.36666666666666664, "grad_norm": 0.16477668285369873, "learning_rate": 1.755688888888889e-05, "loss": 0.0708, "step": 5500 }, { "epoch": 0.37333333333333335, "grad_norm": 0.2491353303194046, "learning_rate": 1.7512444444444444e-05, "loss": 0.0727, "step": 5600 }, { "epoch": 0.38, "grad_norm": 0.20241300761699677, "learning_rate": 1.7468e-05, "loss": 0.0682, "step": 5700 }, { "epoch": 0.38666666666666666, "grad_norm": 0.20645934343338013, "learning_rate": 1.7423555555555558e-05, "loss": 0.0711, "step": 5800 }, { "epoch": 0.3933333333333333, "grad_norm": 0.280748575925827, "learning_rate": 1.7379111111111113e-05, "loss": 0.0682, "step": 5900 }, { "epoch": 0.4, "grad_norm": 0.1867647022008896, "learning_rate": 1.733466666666667e-05, "loss": 0.0701, "step": 6000 }, { "epoch": 0.4066666666666667, "grad_norm": 0.5076069235801697, "learning_rate": 1.7290222222222224e-05, "loss": 0.0706, "step": 6100 }, { "epoch": 0.41333333333333333, "grad_norm": 0.22595347464084625, "learning_rate": 1.724577777777778e-05, "loss": 0.0743, "step": 6200 }, { "epoch": 0.42, "grad_norm": 0.21158984303474426, "learning_rate": 1.7201333333333334e-05, "loss": 0.0798, "step": 6300 }, { "epoch": 0.4266666666666667, "grad_norm": 0.225486621260643, "learning_rate": 1.715688888888889e-05, "loss": 0.0637, "step": 6400 }, { "epoch": 0.43333333333333335, "grad_norm": 0.21651168167591095, "learning_rate": 1.7112444444444445e-05, "loss": 0.0652, "step": 6500 }, { "epoch": 0.44, "grad_norm": 0.45798158645629883, "learning_rate": 1.7068000000000003e-05, "loss": 0.0778, "step": 6600 }, { "epoch": 0.44666666666666666, "grad_norm": 0.24436144530773163, "learning_rate": 1.702355555555556e-05, "loss": 0.0725, "step": 6700 }, { "epoch": 0.4533333333333333, "grad_norm": 0.2054828256368637, "learning_rate": 1.6979111111111114e-05, "loss": 0.0676, "step": 6800 }, { "epoch": 0.46, "grad_norm": 0.12867185473442078, "learning_rate": 1.693466666666667e-05, "loss": 0.0689, "step": 6900 }, { "epoch": 0.4666666666666667, "grad_norm": 0.17768052220344543, "learning_rate": 1.6890222222222224e-05, "loss": 0.067, "step": 7000 }, { "epoch": 0.47333333333333333, "grad_norm": 0.21629302203655243, "learning_rate": 1.684577777777778e-05, "loss": 0.0684, "step": 7100 }, { "epoch": 0.48, "grad_norm": 0.45061948895454407, "learning_rate": 1.6801333333333335e-05, "loss": 0.0713, "step": 7200 }, { "epoch": 0.4866666666666667, "grad_norm": 0.19869284331798553, "learning_rate": 1.675688888888889e-05, "loss": 0.0608, "step": 7300 }, { "epoch": 0.49333333333333335, "grad_norm": 0.23369118571281433, "learning_rate": 1.6712444444444445e-05, "loss": 0.0675, "step": 7400 }, { "epoch": 0.5, "grad_norm": 0.16967739164829254, "learning_rate": 1.6668e-05, "loss": 0.0604, "step": 7500 }, { "epoch": 0.5066666666666667, "grad_norm": 0.35880565643310547, "learning_rate": 1.6623555555555556e-05, "loss": 0.0685, "step": 7600 }, { "epoch": 0.5133333333333333, "grad_norm": 0.12522092461585999, "learning_rate": 1.6579111111111114e-05, "loss": 0.0806, "step": 7700 }, { "epoch": 0.52, "grad_norm": 0.1332361251115799, "learning_rate": 1.653466666666667e-05, "loss": 0.0699, "step": 7800 }, { "epoch": 0.5266666666666666, "grad_norm": 0.2704123854637146, "learning_rate": 1.6490222222222225e-05, "loss": 0.0685, "step": 7900 }, { "epoch": 0.5333333333333333, "grad_norm": 0.1266499161720276, "learning_rate": 1.644577777777778e-05, "loss": 0.0699, "step": 8000 }, { "epoch": 0.54, "grad_norm": 0.03966674581170082, "learning_rate": 1.6401333333333335e-05, "loss": 0.0634, "step": 8100 }, { "epoch": 0.5466666666666666, "grad_norm": 0.25476112961769104, "learning_rate": 1.635688888888889e-05, "loss": 0.0725, "step": 8200 }, { "epoch": 0.5533333333333333, "grad_norm": 0.25321516394615173, "learning_rate": 1.6312444444444446e-05, "loss": 0.0683, "step": 8300 }, { "epoch": 0.56, "grad_norm": 0.25231412053108215, "learning_rate": 1.6268e-05, "loss": 0.0735, "step": 8400 }, { "epoch": 0.5666666666666667, "grad_norm": 0.08408234268426895, "learning_rate": 1.6223555555555556e-05, "loss": 0.0677, "step": 8500 }, { "epoch": 0.5733333333333334, "grad_norm": 0.11715523153543472, "learning_rate": 1.617911111111111e-05, "loss": 0.0657, "step": 8600 }, { "epoch": 0.58, "grad_norm": 0.2229638546705246, "learning_rate": 1.6134666666666666e-05, "loss": 0.0672, "step": 8700 }, { "epoch": 0.5866666666666667, "grad_norm": 0.18995241820812225, "learning_rate": 1.609022222222222e-05, "loss": 0.0742, "step": 8800 }, { "epoch": 0.5933333333333334, "grad_norm": 0.23822380602359772, "learning_rate": 1.604577777777778e-05, "loss": 0.0771, "step": 8900 }, { "epoch": 0.6, "grad_norm": 0.21793758869171143, "learning_rate": 1.6001333333333336e-05, "loss": 0.0635, "step": 9000 }, { "epoch": 0.6066666666666667, "grad_norm": 0.2200908064842224, "learning_rate": 1.595688888888889e-05, "loss": 0.0672, "step": 9100 }, { "epoch": 0.6133333333333333, "grad_norm": 0.12727037072181702, "learning_rate": 1.5912444444444446e-05, "loss": 0.0689, "step": 9200 }, { "epoch": 0.62, "grad_norm": 2.2468693256378174, "learning_rate": 1.5868e-05, "loss": 0.0642, "step": 9300 }, { "epoch": 0.6266666666666667, "grad_norm": 0.22551049292087555, "learning_rate": 1.5823555555555556e-05, "loss": 0.0721, "step": 9400 }, { "epoch": 0.6333333333333333, "grad_norm": 0.13281604647636414, "learning_rate": 1.577911111111111e-05, "loss": 0.0635, "step": 9500 }, { "epoch": 0.64, "grad_norm": 0.1181679293513298, "learning_rate": 1.5734666666666667e-05, "loss": 0.0656, "step": 9600 }, { "epoch": 0.6466666666666666, "grad_norm": 0.16007280349731445, "learning_rate": 1.5690222222222226e-05, "loss": 0.0678, "step": 9700 }, { "epoch": 0.6533333333333333, "grad_norm": 0.34087005257606506, "learning_rate": 1.564577777777778e-05, "loss": 0.0637, "step": 9800 }, { "epoch": 0.66, "grad_norm": 0.27932071685791016, "learning_rate": 1.5601333333333336e-05, "loss": 0.0715, "step": 9900 }, { "epoch": 0.6666666666666666, "grad_norm": 0.21511399745941162, "learning_rate": 1.555688888888889e-05, "loss": 0.0694, "step": 10000 }, { "epoch": 0.6733333333333333, "grad_norm": 0.16695012152194977, "learning_rate": 1.5512444444444446e-05, "loss": 0.0722, "step": 10100 }, { "epoch": 0.68, "grad_norm": 0.07470796257257462, "learning_rate": 1.5468e-05, "loss": 0.0699, "step": 10200 }, { "epoch": 0.6866666666666666, "grad_norm": 0.12706786394119263, "learning_rate": 1.5423555555555557e-05, "loss": 0.068, "step": 10300 }, { "epoch": 0.6933333333333334, "grad_norm": 0.14934158325195312, "learning_rate": 1.5379111111111112e-05, "loss": 0.0643, "step": 10400 }, { "epoch": 0.7, "grad_norm": 0.34316006302833557, "learning_rate": 1.5334666666666667e-05, "loss": 0.0683, "step": 10500 }, { "epoch": 0.7066666666666667, "grad_norm": 0.22483541071414948, "learning_rate": 1.5290222222222223e-05, "loss": 0.0664, "step": 10600 }, { "epoch": 0.7133333333333334, "grad_norm": 0.16683422029018402, "learning_rate": 1.524577777777778e-05, "loss": 0.0665, "step": 10700 }, { "epoch": 0.72, "grad_norm": 0.2538510262966156, "learning_rate": 1.5201333333333335e-05, "loss": 0.0688, "step": 10800 }, { "epoch": 0.7266666666666667, "grad_norm": 0.11596673727035522, "learning_rate": 1.515688888888889e-05, "loss": 0.0724, "step": 10900 }, { "epoch": 0.7333333333333333, "grad_norm": 0.28537997603416443, "learning_rate": 1.5112444444444445e-05, "loss": 0.068, "step": 11000 }, { "epoch": 0.74, "grad_norm": 0.19551828503608704, "learning_rate": 1.5068e-05, "loss": 0.0693, "step": 11100 }, { "epoch": 0.7466666666666667, "grad_norm": 0.1611281782388687, "learning_rate": 1.5023555555555557e-05, "loss": 0.0677, "step": 11200 }, { "epoch": 0.7533333333333333, "grad_norm": 0.18722090125083923, "learning_rate": 1.4979111111111113e-05, "loss": 0.0711, "step": 11300 }, { "epoch": 0.76, "grad_norm": 0.1402270644903183, "learning_rate": 1.4934666666666668e-05, "loss": 0.0649, "step": 11400 }, { "epoch": 0.7666666666666667, "grad_norm": 0.09549852460622787, "learning_rate": 1.4890222222222223e-05, "loss": 0.0624, "step": 11500 }, { "epoch": 0.7733333333333333, "grad_norm": 0.2603534758090973, "learning_rate": 1.4845777777777778e-05, "loss": 0.0637, "step": 11600 }, { "epoch": 0.78, "grad_norm": 0.2619217038154602, "learning_rate": 1.4801333333333333e-05, "loss": 0.0593, "step": 11700 }, { "epoch": 0.7866666666666666, "grad_norm": 0.06773953139781952, "learning_rate": 1.4756888888888889e-05, "loss": 0.0689, "step": 11800 }, { "epoch": 0.7933333333333333, "grad_norm": 0.09101361781358719, "learning_rate": 1.4712444444444444e-05, "loss": 0.0595, "step": 11900 }, { "epoch": 0.8, "grad_norm": 0.30984750390052795, "learning_rate": 1.4668000000000003e-05, "loss": 0.0601, "step": 12000 }, { "epoch": 0.8066666666666666, "grad_norm": 0.12947213649749756, "learning_rate": 1.4623555555555558e-05, "loss": 0.07, "step": 12100 }, { "epoch": 0.8133333333333334, "grad_norm": 0.12053196877241135, "learning_rate": 1.4579111111111113e-05, "loss": 0.0675, "step": 12200 }, { "epoch": 0.82, "grad_norm": 0.15298992395401, "learning_rate": 1.4534666666666668e-05, "loss": 0.0663, "step": 12300 }, { "epoch": 0.8266666666666667, "grad_norm": 0.11816833913326263, "learning_rate": 1.4490222222222223e-05, "loss": 0.0681, "step": 12400 }, { "epoch": 0.8333333333333334, "grad_norm": 0.22705060243606567, "learning_rate": 1.4445777777777779e-05, "loss": 0.0666, "step": 12500 }, { "epoch": 0.84, "grad_norm": 0.12742094695568085, "learning_rate": 1.4401333333333334e-05, "loss": 0.0641, "step": 12600 }, { "epoch": 0.8466666666666667, "grad_norm": 0.12476657330989838, "learning_rate": 1.4356888888888889e-05, "loss": 0.0708, "step": 12700 }, { "epoch": 0.8533333333333334, "grad_norm": 0.18345853686332703, "learning_rate": 1.4312444444444446e-05, "loss": 0.0666, "step": 12800 }, { "epoch": 0.86, "grad_norm": 0.24870257079601288, "learning_rate": 1.4268000000000001e-05, "loss": 0.0643, "step": 12900 }, { "epoch": 0.8666666666666667, "grad_norm": 0.41013413667678833, "learning_rate": 1.4223555555555557e-05, "loss": 0.0723, "step": 13000 }, { "epoch": 0.8733333333333333, "grad_norm": 0.2538166642189026, "learning_rate": 1.4179111111111112e-05, "loss": 0.065, "step": 13100 }, { "epoch": 0.88, "grad_norm": 0.3290730118751526, "learning_rate": 1.4134666666666667e-05, "loss": 0.0712, "step": 13200 }, { "epoch": 0.8866666666666667, "grad_norm": 0.1109674721956253, "learning_rate": 1.4090222222222222e-05, "loss": 0.0658, "step": 13300 }, { "epoch": 0.8933333333333333, "grad_norm": 0.30605512857437134, "learning_rate": 1.4045777777777777e-05, "loss": 0.0696, "step": 13400 }, { "epoch": 0.9, "grad_norm": 0.32679420709609985, "learning_rate": 1.4001333333333333e-05, "loss": 0.0669, "step": 13500 }, { "epoch": 0.9066666666666666, "grad_norm": 0.26795893907546997, "learning_rate": 1.3956888888888891e-05, "loss": 0.0698, "step": 13600 }, { "epoch": 0.9133333333333333, "grad_norm": 0.20815995335578918, "learning_rate": 1.3912444444444447e-05, "loss": 0.0655, "step": 13700 }, { "epoch": 0.92, "grad_norm": 0.1046639233827591, "learning_rate": 1.3868444444444447e-05, "loss": 0.0685, "step": 13800 }, { "epoch": 0.9266666666666666, "grad_norm": 0.26044830679893494, "learning_rate": 1.3824000000000002e-05, "loss": 0.0717, "step": 13900 }, { "epoch": 0.9333333333333333, "grad_norm": 0.14924395084381104, "learning_rate": 1.3779555555555557e-05, "loss": 0.0666, "step": 14000 }, { "epoch": 0.94, "grad_norm": 0.12045079469680786, "learning_rate": 1.3735111111111112e-05, "loss": 0.0712, "step": 14100 }, { "epoch": 0.9466666666666667, "grad_norm": 0.1625666618347168, "learning_rate": 1.3690666666666667e-05, "loss": 0.0633, "step": 14200 }, { "epoch": 0.9533333333333334, "grad_norm": 0.17143802344799042, "learning_rate": 1.3646222222222223e-05, "loss": 0.0627, "step": 14300 }, { "epoch": 0.96, "grad_norm": 0.19708478450775146, "learning_rate": 1.3601777777777778e-05, "loss": 0.067, "step": 14400 }, { "epoch": 0.9666666666666667, "grad_norm": 0.1801692545413971, "learning_rate": 1.3557333333333333e-05, "loss": 0.0643, "step": 14500 }, { "epoch": 0.9733333333333334, "grad_norm": 0.18082498013973236, "learning_rate": 1.351288888888889e-05, "loss": 0.0646, "step": 14600 }, { "epoch": 0.98, "grad_norm": 0.14383332431316376, "learning_rate": 1.3468444444444447e-05, "loss": 0.066, "step": 14700 }, { "epoch": 0.9866666666666667, "grad_norm": 0.20313547551631927, "learning_rate": 1.3424000000000002e-05, "loss": 0.0631, "step": 14800 }, { "epoch": 0.9933333333333333, "grad_norm": 0.14930222928524017, "learning_rate": 1.3379555555555557e-05, "loss": 0.0593, "step": 14900 }, { "epoch": 1.0, "grad_norm": 0.30177292227745056, "learning_rate": 1.3335111111111113e-05, "loss": 0.0651, "step": 15000 }, { "epoch": 1.0, "eval_loss": 0.08444427698850632, "eval_runtime": 120.3607, "eval_samples_per_second": 16.617, "eval_steps_per_second": 4.154, "step": 15000 }, { "epoch": 1.0066666666666666, "grad_norm": 0.23236271739006042, "learning_rate": 1.3290666666666668e-05, "loss": 0.0578, "step": 15100 }, { "epoch": 1.0133333333333334, "grad_norm": 0.3065841794013977, "learning_rate": 1.3246222222222223e-05, "loss": 0.0586, "step": 15200 }, { "epoch": 1.02, "grad_norm": 0.10468995571136475, "learning_rate": 1.3201777777777778e-05, "loss": 0.0562, "step": 15300 }, { "epoch": 1.0266666666666666, "grad_norm": 0.12645235657691956, "learning_rate": 1.3157333333333335e-05, "loss": 0.0595, "step": 15400 }, { "epoch": 1.0333333333333334, "grad_norm": 0.22408919036388397, "learning_rate": 1.311288888888889e-05, "loss": 0.0703, "step": 15500 }, { "epoch": 1.04, "grad_norm": 0.2654290497303009, "learning_rate": 1.3068444444444446e-05, "loss": 0.0593, "step": 15600 }, { "epoch": 1.0466666666666666, "grad_norm": 0.2421567589044571, "learning_rate": 1.3024000000000001e-05, "loss": 0.0556, "step": 15700 }, { "epoch": 1.0533333333333332, "grad_norm": 0.1856231540441513, "learning_rate": 1.2979555555555556e-05, "loss": 0.0619, "step": 15800 }, { "epoch": 1.06, "grad_norm": 0.11161370575428009, "learning_rate": 1.2935111111111111e-05, "loss": 0.0597, "step": 15900 }, { "epoch": 1.0666666666666667, "grad_norm": 0.31690728664398193, "learning_rate": 1.2890666666666667e-05, "loss": 0.061, "step": 16000 }, { "epoch": 1.0733333333333333, "grad_norm": 0.16027814149856567, "learning_rate": 1.2846222222222224e-05, "loss": 0.0559, "step": 16100 }, { "epoch": 1.08, "grad_norm": 0.21083027124404907, "learning_rate": 1.2801777777777779e-05, "loss": 0.0576, "step": 16200 }, { "epoch": 1.0866666666666667, "grad_norm": 0.13497234880924225, "learning_rate": 1.2757333333333334e-05, "loss": 0.0599, "step": 16300 }, { "epoch": 1.0933333333333333, "grad_norm": 0.28260791301727295, "learning_rate": 1.2712888888888891e-05, "loss": 0.0585, "step": 16400 }, { "epoch": 1.1, "grad_norm": 0.1817014068365097, "learning_rate": 1.2668444444444446e-05, "loss": 0.0544, "step": 16500 }, { "epoch": 1.1066666666666667, "grad_norm": 0.17457172274589539, "learning_rate": 1.2624444444444446e-05, "loss": 0.0587, "step": 16600 }, { "epoch": 1.1133333333333333, "grad_norm": 0.1655428558588028, "learning_rate": 1.2580000000000002e-05, "loss": 0.0553, "step": 16700 }, { "epoch": 1.12, "grad_norm": 0.23929822444915771, "learning_rate": 1.2535555555555557e-05, "loss": 0.0595, "step": 16800 }, { "epoch": 1.1266666666666667, "grad_norm": 0.1591082215309143, "learning_rate": 1.2491111111111112e-05, "loss": 0.0589, "step": 16900 }, { "epoch": 1.1333333333333333, "grad_norm": 0.14291773736476898, "learning_rate": 1.2446666666666667e-05, "loss": 0.058, "step": 17000 }, { "epoch": 1.1400000000000001, "grad_norm": 0.26193323731422424, "learning_rate": 1.2402222222222222e-05, "loss": 0.0606, "step": 17100 }, { "epoch": 1.1466666666666667, "grad_norm": 0.18597596883773804, "learning_rate": 1.235777777777778e-05, "loss": 0.0565, "step": 17200 }, { "epoch": 1.1533333333333333, "grad_norm": 0.27906695008277893, "learning_rate": 1.2313333333333335e-05, "loss": 0.0616, "step": 17300 }, { "epoch": 1.16, "grad_norm": 0.20379580557346344, "learning_rate": 1.226888888888889e-05, "loss": 0.0572, "step": 17400 }, { "epoch": 1.1666666666666667, "grad_norm": 0.2315666228532791, "learning_rate": 1.2224444444444445e-05, "loss": 0.0571, "step": 17500 }, { "epoch": 1.1733333333333333, "grad_norm": 0.16585813462734222, "learning_rate": 1.218e-05, "loss": 0.0646, "step": 17600 }, { "epoch": 1.18, "grad_norm": 0.204860657453537, "learning_rate": 1.2135555555555556e-05, "loss": 0.0632, "step": 17700 }, { "epoch": 1.1866666666666668, "grad_norm": 0.25248029828071594, "learning_rate": 1.209111111111111e-05, "loss": 0.0603, "step": 17800 }, { "epoch": 1.1933333333333334, "grad_norm": 0.1613234281539917, "learning_rate": 1.204666666666667e-05, "loss": 0.0611, "step": 17900 }, { "epoch": 1.2, "grad_norm": 0.29864856600761414, "learning_rate": 1.2002222222222225e-05, "loss": 0.0591, "step": 18000 }, { "epoch": 1.2066666666666666, "grad_norm": 0.1682252287864685, "learning_rate": 1.195777777777778e-05, "loss": 0.0613, "step": 18100 }, { "epoch": 1.2133333333333334, "grad_norm": 0.11706658452749252, "learning_rate": 1.1913333333333335e-05, "loss": 0.0676, "step": 18200 }, { "epoch": 1.22, "grad_norm": 0.22997494041919708, "learning_rate": 1.186888888888889e-05, "loss": 0.0576, "step": 18300 }, { "epoch": 1.2266666666666666, "grad_norm": 0.2240549921989441, "learning_rate": 1.1824444444444445e-05, "loss": 0.0532, "step": 18400 }, { "epoch": 1.2333333333333334, "grad_norm": 0.10644257068634033, "learning_rate": 1.178e-05, "loss": 0.0657, "step": 18500 }, { "epoch": 1.24, "grad_norm": 0.21437957882881165, "learning_rate": 1.1735555555555556e-05, "loss": 0.0631, "step": 18600 }, { "epoch": 1.2466666666666666, "grad_norm": 0.09303513169288635, "learning_rate": 1.1691555555555556e-05, "loss": 0.0594, "step": 18700 }, { "epoch": 1.2533333333333334, "grad_norm": 0.13789591193199158, "learning_rate": 1.1647111111111111e-05, "loss": 0.0644, "step": 18800 }, { "epoch": 1.26, "grad_norm": 0.19540788233280182, "learning_rate": 1.1602666666666666e-05, "loss": 0.0564, "step": 18900 }, { "epoch": 1.2666666666666666, "grad_norm": 0.18746204674243927, "learning_rate": 1.1558222222222223e-05, "loss": 0.0581, "step": 19000 }, { "epoch": 1.2733333333333334, "grad_norm": 0.13157618045806885, "learning_rate": 1.1513777777777779e-05, "loss": 0.0544, "step": 19100 }, { "epoch": 1.28, "grad_norm": 0.3684869110584259, "learning_rate": 1.1469333333333334e-05, "loss": 0.0633, "step": 19200 }, { "epoch": 1.2866666666666666, "grad_norm": 0.12658458948135376, "learning_rate": 1.1424888888888889e-05, "loss": 0.0561, "step": 19300 }, { "epoch": 1.2933333333333334, "grad_norm": 0.24430914223194122, "learning_rate": 1.1380444444444444e-05, "loss": 0.0532, "step": 19400 }, { "epoch": 1.3, "grad_norm": 0.29242023825645447, "learning_rate": 1.1336e-05, "loss": 0.0578, "step": 19500 }, { "epoch": 1.3066666666666666, "grad_norm": 0.16407087445259094, "learning_rate": 1.1291555555555555e-05, "loss": 0.0569, "step": 19600 }, { "epoch": 1.3133333333333335, "grad_norm": 0.1125895082950592, "learning_rate": 1.1247111111111113e-05, "loss": 0.0535, "step": 19700 }, { "epoch": 1.32, "grad_norm": 0.24300092458724976, "learning_rate": 1.1202666666666669e-05, "loss": 0.0555, "step": 19800 }, { "epoch": 1.3266666666666667, "grad_norm": 0.16412054002285004, "learning_rate": 1.1158222222222224e-05, "loss": 0.0569, "step": 19900 }, { "epoch": 1.3333333333333333, "grad_norm": 0.2398436963558197, "learning_rate": 1.1113777777777779e-05, "loss": 0.0672, "step": 20000 }, { "epoch": 1.34, "grad_norm": 0.19268549978733063, "learning_rate": 1.1069333333333334e-05, "loss": 0.0577, "step": 20100 }, { "epoch": 1.3466666666666667, "grad_norm": 0.24096272885799408, "learning_rate": 1.102488888888889e-05, "loss": 0.0597, "step": 20200 }, { "epoch": 1.3533333333333333, "grad_norm": 0.3714766204357147, "learning_rate": 1.0980444444444445e-05, "loss": 0.0602, "step": 20300 }, { "epoch": 1.3599999999999999, "grad_norm": 0.15587754547595978, "learning_rate": 1.0936e-05, "loss": 0.056, "step": 20400 }, { "epoch": 1.3666666666666667, "grad_norm": 0.21720756590366364, "learning_rate": 1.0891555555555557e-05, "loss": 0.0609, "step": 20500 }, { "epoch": 1.3733333333333333, "grad_norm": 0.21939997375011444, "learning_rate": 1.0847111111111112e-05, "loss": 0.0612, "step": 20600 }, { "epoch": 1.38, "grad_norm": 0.23522862792015076, "learning_rate": 1.0802666666666667e-05, "loss": 0.0555, "step": 20700 }, { "epoch": 1.3866666666666667, "grad_norm": 0.1318577080965042, "learning_rate": 1.0758222222222223e-05, "loss": 0.0608, "step": 20800 }, { "epoch": 1.3933333333333333, "grad_norm": 0.11281125992536545, "learning_rate": 1.0714222222222224e-05, "loss": 0.0579, "step": 20900 }, { "epoch": 1.4, "grad_norm": 0.15145792067050934, "learning_rate": 1.066977777777778e-05, "loss": 0.0567, "step": 21000 }, { "epoch": 1.4066666666666667, "grad_norm": 0.4028960168361664, "learning_rate": 1.0625333333333335e-05, "loss": 0.0558, "step": 21100 }, { "epoch": 1.4133333333333333, "grad_norm": 0.30364444851875305, "learning_rate": 1.058088888888889e-05, "loss": 0.0588, "step": 21200 }, { "epoch": 1.42, "grad_norm": 0.34276890754699707, "learning_rate": 1.0536444444444445e-05, "loss": 0.0537, "step": 21300 }, { "epoch": 1.4266666666666667, "grad_norm": 0.1914118230342865, "learning_rate": 1.0492e-05, "loss": 0.058, "step": 21400 }, { "epoch": 1.4333333333333333, "grad_norm": 0.3174405097961426, "learning_rate": 1.0447555555555557e-05, "loss": 0.0576, "step": 21500 }, { "epoch": 1.44, "grad_norm": 0.1996719092130661, "learning_rate": 1.0403111111111113e-05, "loss": 0.0569, "step": 21600 }, { "epoch": 1.4466666666666668, "grad_norm": 0.2424512505531311, "learning_rate": 1.0358666666666668e-05, "loss": 0.0592, "step": 21700 }, { "epoch": 1.4533333333333334, "grad_norm": 0.139984592795372, "learning_rate": 1.0314222222222223e-05, "loss": 0.0541, "step": 21800 }, { "epoch": 1.46, "grad_norm": 0.21083594858646393, "learning_rate": 1.0269777777777778e-05, "loss": 0.0509, "step": 21900 }, { "epoch": 1.4666666666666668, "grad_norm": 0.2649674713611603, "learning_rate": 1.0225333333333334e-05, "loss": 0.0624, "step": 22000 }, { "epoch": 1.4733333333333334, "grad_norm": 0.2268645465373993, "learning_rate": 1.0180888888888889e-05, "loss": 0.0504, "step": 22100 }, { "epoch": 1.48, "grad_norm": 0.1687782257795334, "learning_rate": 1.0136444444444444e-05, "loss": 0.05, "step": 22200 }, { "epoch": 1.4866666666666668, "grad_norm": 0.3606027364730835, "learning_rate": 1.0092000000000001e-05, "loss": 0.0558, "step": 22300 }, { "epoch": 1.4933333333333334, "grad_norm": 0.18675172328948975, "learning_rate": 1.0047555555555558e-05, "loss": 0.058, "step": 22400 }, { "epoch": 1.5, "grad_norm": 0.29337164759635925, "learning_rate": 1.0003111111111113e-05, "loss": 0.0564, "step": 22500 }, { "epoch": 1.5066666666666668, "grad_norm": 0.24926000833511353, "learning_rate": 9.958666666666668e-06, "loss": 0.0562, "step": 22600 }, { "epoch": 1.5133333333333332, "grad_norm": 0.19163891673088074, "learning_rate": 9.914222222222224e-06, "loss": 0.0574, "step": 22700 }, { "epoch": 1.52, "grad_norm": 0.12077998369932175, "learning_rate": 9.869777777777779e-06, "loss": 0.0615, "step": 22800 }, { "epoch": 1.5266666666666666, "grad_norm": 0.23265130817890167, "learning_rate": 9.825333333333334e-06, "loss": 0.0624, "step": 22900 }, { "epoch": 1.5333333333333332, "grad_norm": 0.20572605729103088, "learning_rate": 9.78088888888889e-06, "loss": 0.0545, "step": 23000 }, { "epoch": 1.54, "grad_norm": 0.11006025224924088, "learning_rate": 9.736444444444444e-06, "loss": 0.0612, "step": 23100 }, { "epoch": 1.5466666666666666, "grad_norm": 0.14539223909378052, "learning_rate": 9.692e-06, "loss": 0.0582, "step": 23200 }, { "epoch": 1.5533333333333332, "grad_norm": 0.23037117719650269, "learning_rate": 9.647555555555557e-06, "loss": 0.0599, "step": 23300 }, { "epoch": 1.56, "grad_norm": 0.2668769657611847, "learning_rate": 9.603111111111112e-06, "loss": 0.0545, "step": 23400 }, { "epoch": 1.5666666666666667, "grad_norm": 0.3005671501159668, "learning_rate": 9.558666666666667e-06, "loss": 0.0621, "step": 23500 }, { "epoch": 1.5733333333333333, "grad_norm": 0.2637277841567993, "learning_rate": 9.514666666666667e-06, "loss": 0.0505, "step": 23600 }, { "epoch": 1.58, "grad_norm": 0.17785485088825226, "learning_rate": 9.470222222222222e-06, "loss": 0.0587, "step": 23700 }, { "epoch": 1.5866666666666667, "grad_norm": 0.11615557968616486, "learning_rate": 9.425777777777778e-06, "loss": 0.0545, "step": 23800 }, { "epoch": 1.5933333333333333, "grad_norm": 0.2337283492088318, "learning_rate": 9.381333333333335e-06, "loss": 0.0574, "step": 23900 }, { "epoch": 1.6, "grad_norm": 0.21848595142364502, "learning_rate": 9.33688888888889e-06, "loss": 0.0581, "step": 24000 }, { "epoch": 1.6066666666666667, "grad_norm": 0.19345501065254211, "learning_rate": 9.292444444444445e-06, "loss": 0.0587, "step": 24100 }, { "epoch": 1.6133333333333333, "grad_norm": 0.11753817647695541, "learning_rate": 9.248e-06, "loss": 0.0553, "step": 24200 }, { "epoch": 1.62, "grad_norm": 0.3054827153682709, "learning_rate": 9.203555555555557e-06, "loss": 0.0552, "step": 24300 }, { "epoch": 1.6266666666666667, "grad_norm": 0.2914266884326935, "learning_rate": 9.159111111111112e-06, "loss": 0.0534, "step": 24400 }, { "epoch": 1.6333333333333333, "grad_norm": 0.21610131859779358, "learning_rate": 9.114666666666668e-06, "loss": 0.0613, "step": 24500 }, { "epoch": 1.6400000000000001, "grad_norm": 0.25385352969169617, "learning_rate": 9.070222222222223e-06, "loss": 0.0599, "step": 24600 }, { "epoch": 1.6466666666666665, "grad_norm": 0.1330012083053589, "learning_rate": 9.025777777777778e-06, "loss": 0.0601, "step": 24700 }, { "epoch": 1.6533333333333333, "grad_norm": 0.40342622995376587, "learning_rate": 8.981333333333333e-06, "loss": 0.0599, "step": 24800 }, { "epoch": 1.6600000000000001, "grad_norm": 0.21778804063796997, "learning_rate": 8.93688888888889e-06, "loss": 0.0537, "step": 24900 }, { "epoch": 1.6666666666666665, "grad_norm": 0.17448577284812927, "learning_rate": 8.892444444444445e-06, "loss": 0.0566, "step": 25000 }, { "epoch": 1.6733333333333333, "grad_norm": 0.14110605418682098, "learning_rate": 8.848e-06, "loss": 0.0554, "step": 25100 }, { "epoch": 1.6800000000000002, "grad_norm": 0.17642982304096222, "learning_rate": 8.803555555555556e-06, "loss": 0.0581, "step": 25200 }, { "epoch": 1.6866666666666665, "grad_norm": 0.19941475987434387, "learning_rate": 8.759111111111111e-06, "loss": 0.0598, "step": 25300 }, { "epoch": 1.6933333333333334, "grad_norm": 0.15960603952407837, "learning_rate": 8.714666666666666e-06, "loss": 0.0531, "step": 25400 }, { "epoch": 1.7, "grad_norm": 0.17013077437877655, "learning_rate": 8.670222222222223e-06, "loss": 0.0596, "step": 25500 }, { "epoch": 1.7066666666666666, "grad_norm": 0.20626091957092285, "learning_rate": 8.625777777777779e-06, "loss": 0.0523, "step": 25600 }, { "epoch": 1.7133333333333334, "grad_norm": 0.1952398121356964, "learning_rate": 8.581333333333334e-06, "loss": 0.0508, "step": 25700 }, { "epoch": 1.72, "grad_norm": 0.15694676339626312, "learning_rate": 8.53688888888889e-06, "loss": 0.052, "step": 25800 }, { "epoch": 1.7266666666666666, "grad_norm": 0.07521438598632812, "learning_rate": 8.492444444444446e-06, "loss": 0.0597, "step": 25900 }, { "epoch": 1.7333333333333334, "grad_norm": 0.07147266715765, "learning_rate": 8.448000000000001e-06, "loss": 0.0555, "step": 26000 }, { "epoch": 1.74, "grad_norm": 0.25770798325538635, "learning_rate": 8.403555555555556e-06, "loss": 0.0513, "step": 26100 }, { "epoch": 1.7466666666666666, "grad_norm": 0.2838607430458069, "learning_rate": 8.359111111111112e-06, "loss": 0.0605, "step": 26200 }, { "epoch": 1.7533333333333334, "grad_norm": 0.12263695150613785, "learning_rate": 8.314666666666667e-06, "loss": 0.0574, "step": 26300 }, { "epoch": 1.76, "grad_norm": 0.17367112636566162, "learning_rate": 8.270666666666667e-06, "loss": 0.0581, "step": 26400 }, { "epoch": 1.7666666666666666, "grad_norm": 0.26262718439102173, "learning_rate": 8.226222222222224e-06, "loss": 0.0541, "step": 26500 }, { "epoch": 1.7733333333333334, "grad_norm": 0.3220883309841156, "learning_rate": 8.181777777777779e-06, "loss": 0.0543, "step": 26600 }, { "epoch": 1.78, "grad_norm": 0.18442386388778687, "learning_rate": 8.137333333333334e-06, "loss": 0.0633, "step": 26700 }, { "epoch": 1.7866666666666666, "grad_norm": 0.25864550471305847, "learning_rate": 8.09288888888889e-06, "loss": 0.0572, "step": 26800 }, { "epoch": 1.7933333333333334, "grad_norm": 0.23834674060344696, "learning_rate": 8.048444444444445e-06, "loss": 0.0537, "step": 26900 }, { "epoch": 1.8, "grad_norm": 0.1399671733379364, "learning_rate": 8.004e-06, "loss": 0.0572, "step": 27000 }, { "epoch": 1.8066666666666666, "grad_norm": 0.10920804738998413, "learning_rate": 7.959555555555555e-06, "loss": 0.0538, "step": 27100 }, { "epoch": 1.8133333333333335, "grad_norm": 0.10139674693346024, "learning_rate": 7.915111111111112e-06, "loss": 0.0536, "step": 27200 }, { "epoch": 1.8199999999999998, "grad_norm": 0.17728354036808014, "learning_rate": 7.870666666666667e-06, "loss": 0.0582, "step": 27300 }, { "epoch": 1.8266666666666667, "grad_norm": 0.19340912997722626, "learning_rate": 7.826222222222223e-06, "loss": 0.0594, "step": 27400 }, { "epoch": 1.8333333333333335, "grad_norm": 0.2556203603744507, "learning_rate": 7.781777777777778e-06, "loss": 0.0593, "step": 27500 } ], "logging_steps": 100, "max_steps": 45000, "num_input_tokens_seen": 0, "num_train_epochs": 3, "save_steps": 500, "stateful_callbacks": { "TrainerControl": { "args": { "should_epoch_stop": false, "should_evaluate": false, "should_log": false, "should_save": true, "should_training_stop": false }, "attributes": {} } }, "total_flos": 6.69853679616e+16, "train_batch_size": 4, "trial_name": null, "trial_params": null }