{
  "best_metric": 10.32067584991455,
  "best_model_checkpoint": "miner_id_24/checkpoint-200",
  "epoch": 0.4166666666666667,
  "eval_steps": 50,
  "global_step": 200,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.0020833333333333333,
      "grad_norm": 0.3520921468734741,
      "learning_rate": 1.013e-05,
      "loss": 20.764,
      "step": 1
    },
    {
      "epoch": 0.0020833333333333333,
      "eval_loss": 10.377023696899414,
      "eval_runtime": 1.0283,
      "eval_samples_per_second": 197.416,
      "eval_steps_per_second": 49.597,
      "step": 1
    },
    {
      "epoch": 0.004166666666666667,
      "grad_norm": 0.4214218854904175,
      "learning_rate": 2.026e-05,
      "loss": 20.7672,
      "step": 2
    },
    {
      "epoch": 0.00625,
      "grad_norm": 0.47043052315711975,
      "learning_rate": 3.039e-05,
      "loss": 20.7803,
      "step": 3
    },
    {
      "epoch": 0.008333333333333333,
      "grad_norm": 0.46754786372184753,
      "learning_rate": 4.052e-05,
      "loss": 20.7555,
      "step": 4
    },
    {
      "epoch": 0.010416666666666666,
      "grad_norm": 0.4406397044658661,
      "learning_rate": 5.065e-05,
      "loss": 20.7536,
      "step": 5
    },
    {
      "epoch": 0.0125,
      "grad_norm": 0.34239840507507324,
      "learning_rate": 6.078e-05,
      "loss": 20.7392,
      "step": 6
    },
    {
      "epoch": 0.014583333333333334,
      "grad_norm": 0.3299899697303772,
      "learning_rate": 7.091e-05,
      "loss": 20.7373,
      "step": 7
    },
    {
      "epoch": 0.016666666666666666,
      "grad_norm": 0.41817376017570496,
      "learning_rate": 8.104e-05,
      "loss": 20.7395,
      "step": 8
    },
    {
      "epoch": 0.01875,
      "grad_norm": 0.3894173204898834,
      "learning_rate": 9.117e-05,
      "loss": 20.7563,
      "step": 9
    },
    {
      "epoch": 0.020833333333333332,
      "grad_norm": 0.4278939366340637,
      "learning_rate": 0.0001013,
      "loss": 20.7549,
      "step": 10
    },
    {
      "epoch": 0.022916666666666665,
      "grad_norm": 0.3833448886871338,
      "learning_rate": 0.00010076684210526316,
      "loss": 20.7505,
      "step": 11
    },
    {
      "epoch": 0.025,
      "grad_norm": 0.5457374453544617,
      "learning_rate": 0.0001002336842105263,
      "loss": 20.7601,
      "step": 12
    },
    {
      "epoch": 0.027083333333333334,
      "grad_norm": 0.4061744809150696,
      "learning_rate": 9.970052631578946e-05,
      "loss": 20.7376,
      "step": 13
    },
    {
      "epoch": 0.029166666666666667,
      "grad_norm": 0.3763207495212555,
      "learning_rate": 9.916736842105263e-05,
      "loss": 20.7392,
      "step": 14
    },
    {
      "epoch": 0.03125,
      "grad_norm": 0.44841688871383667,
      "learning_rate": 9.863421052631579e-05,
      "loss": 20.7464,
      "step": 15
    },
    {
      "epoch": 0.03333333333333333,
      "grad_norm": 0.42486947774887085,
      "learning_rate": 9.810105263157895e-05,
      "loss": 20.7437,
      "step": 16
    },
    {
      "epoch": 0.035416666666666666,
      "grad_norm": 0.44332557916641235,
      "learning_rate": 9.756789473684211e-05,
      "loss": 20.7247,
      "step": 17
    },
    {
      "epoch": 0.0375,
      "grad_norm": 0.5130252242088318,
      "learning_rate": 9.703473684210525e-05,
      "loss": 20.7445,
      "step": 18
    },
    {
      "epoch": 0.03958333333333333,
      "grad_norm": 0.6956832408905029,
      "learning_rate": 9.650157894736842e-05,
      "loss": 20.6938,
      "step": 19
    },
    {
      "epoch": 0.041666666666666664,
      "grad_norm": 0.46365290880203247,
      "learning_rate": 9.596842105263158e-05,
      "loss": 20.7299,
      "step": 20
    },
    {
      "epoch": 0.04375,
      "grad_norm": 0.5153777599334717,
      "learning_rate": 9.543526315789474e-05,
      "loss": 20.7362,
      "step": 21
    },
    {
      "epoch": 0.04583333333333333,
      "grad_norm": 0.5336391925811768,
      "learning_rate": 9.49021052631579e-05,
      "loss": 20.7454,
      "step": 22
    },
    {
      "epoch": 0.04791666666666667,
      "grad_norm": 0.40522825717926025,
      "learning_rate": 9.436894736842105e-05,
      "loss": 20.7008,
      "step": 23
    },
    {
      "epoch": 0.05,
      "grad_norm": 0.49724772572517395,
      "learning_rate": 9.38357894736842e-05,
      "loss": 20.721,
      "step": 24
    },
    {
      "epoch": 0.052083333333333336,
      "grad_norm": 0.41228872537612915,
      "learning_rate": 9.330263157894737e-05,
      "loss": 20.7437,
      "step": 25
    },
    {
      "epoch": 0.05416666666666667,
      "grad_norm": 0.6203362345695496,
      "learning_rate": 9.276947368421051e-05,
      "loss": 20.7481,
      "step": 26
    },
    {
      "epoch": 0.05625,
      "grad_norm": 0.6059979796409607,
      "learning_rate": 9.223631578947369e-05,
      "loss": 20.7256,
      "step": 27
    },
    {
      "epoch": 0.058333333333333334,
      "grad_norm": 0.5935781598091125,
      "learning_rate": 9.170315789473684e-05,
      "loss": 20.7254,
      "step": 28
    },
    {
      "epoch": 0.06041666666666667,
      "grad_norm": 0.7292362451553345,
      "learning_rate": 9.117e-05,
      "loss": 20.7242,
      "step": 29
    },
    {
      "epoch": 0.0625,
      "grad_norm": 0.6823543906211853,
      "learning_rate": 9.063684210526316e-05,
      "loss": 20.7328,
      "step": 30
    },
    {
      "epoch": 0.06458333333333334,
      "grad_norm": 0.7503632307052612,
      "learning_rate": 9.010368421052632e-05,
      "loss": 20.7269,
      "step": 31
    },
    {
      "epoch": 0.06666666666666667,
      "grad_norm": 0.9543562531471252,
      "learning_rate": 8.957052631578946e-05,
      "loss": 20.7294,
      "step": 32
    },
    {
      "epoch": 0.06875,
      "grad_norm": 0.8262564539909363,
      "learning_rate": 8.903736842105263e-05,
      "loss": 20.7386,
      "step": 33
    },
    {
      "epoch": 0.07083333333333333,
      "grad_norm": 0.6799699664115906,
      "learning_rate": 8.850421052631579e-05,
      "loss": 20.7121,
      "step": 34
    },
    {
      "epoch": 0.07291666666666667,
      "grad_norm": 0.9119449257850647,
      "learning_rate": 8.797105263157895e-05,
      "loss": 20.7142,
      "step": 35
    },
    {
      "epoch": 0.075,
      "grad_norm": 0.8500229120254517,
      "learning_rate": 8.743789473684211e-05,
      "loss": 20.6797,
      "step": 36
    },
    {
      "epoch": 0.07708333333333334,
      "grad_norm": 0.7141941785812378,
      "learning_rate": 8.690473684210526e-05,
      "loss": 20.6884,
      "step": 37
    },
    {
      "epoch": 0.07916666666666666,
      "grad_norm": 0.5889747142791748,
      "learning_rate": 8.637157894736842e-05,
      "loss": 20.7075,
      "step": 38
    },
    {
      "epoch": 0.08125,
      "grad_norm": 0.9111669063568115,
      "learning_rate": 8.583842105263158e-05,
      "loss": 20.6971,
      "step": 39
    },
    {
      "epoch": 0.08333333333333333,
      "grad_norm": 0.9392410516738892,
      "learning_rate": 8.530526315789472e-05,
      "loss": 20.6977,
      "step": 40
    },
    {
      "epoch": 0.08541666666666667,
      "grad_norm": 0.7585451006889343,
      "learning_rate": 8.47721052631579e-05,
      "loss": 20.7038,
      "step": 41
    },
    {
      "epoch": 0.0875,
      "grad_norm": 0.6633560061454773,
      "learning_rate": 8.423894736842105e-05,
      "loss": 20.7146,
      "step": 42
    },
    {
      "epoch": 0.08958333333333333,
      "grad_norm": 0.5992672443389893,
      "learning_rate": 8.37057894736842e-05,
      "loss": 20.6574,
      "step": 43
    },
    {
      "epoch": 0.09166666666666666,
      "grad_norm": 0.7080777287483215,
      "learning_rate": 8.317263157894737e-05,
      "loss": 20.6819,
      "step": 44
    },
    {
      "epoch": 0.09375,
      "grad_norm": 0.7078990340232849,
      "learning_rate": 8.263947368421053e-05,
      "loss": 20.6724,
      "step": 45
    },
    {
      "epoch": 0.09583333333333334,
      "grad_norm": 0.8119835257530212,
      "learning_rate": 8.210631578947368e-05,
      "loss": 20.6732,
      "step": 46
    },
    {
      "epoch": 0.09791666666666667,
      "grad_norm": 0.9918007850646973,
      "learning_rate": 8.157315789473684e-05,
      "loss": 20.6793,
      "step": 47
    },
    {
      "epoch": 0.1,
      "grad_norm": 1.0355883836746216,
      "learning_rate": 8.104e-05,
      "loss": 20.6771,
      "step": 48
    },
    {
      "epoch": 0.10208333333333333,
      "grad_norm": 0.9954332709312439,
      "learning_rate": 8.050684210526316e-05,
      "loss": 20.712,
      "step": 49
    },
    {
      "epoch": 0.10416666666666667,
      "grad_norm": 0.9032604694366455,
      "learning_rate": 7.997368421052632e-05,
      "loss": 20.6897,
      "step": 50
    },
    {
      "epoch": 0.10416666666666667,
      "eval_loss": 10.333270072937012,
      "eval_runtime": 1.0375,
      "eval_samples_per_second": 195.665,
      "eval_steps_per_second": 49.157,
      "step": 50
    },
    {
      "epoch": 0.10625,
      "grad_norm": 0.6725262403488159,
      "learning_rate": 7.944052631578947e-05,
      "loss": 20.6651,
      "step": 51
    },
    {
      "epoch": 0.10833333333333334,
      "grad_norm": 0.6348769664764404,
      "learning_rate": 7.890736842105263e-05,
      "loss": 20.6588,
      "step": 52
    },
    {
      "epoch": 0.11041666666666666,
      "grad_norm": 0.6539647579193115,
      "learning_rate": 7.837421052631579e-05,
      "loss": 20.6603,
      "step": 53
    },
    {
      "epoch": 0.1125,
      "grad_norm": 0.7179890871047974,
      "learning_rate": 7.784105263157893e-05,
      "loss": 20.6582,
      "step": 54
    },
    {
      "epoch": 0.11458333333333333,
      "grad_norm": 0.568970799446106,
      "learning_rate": 7.730789473684211e-05,
      "loss": 20.6595,
      "step": 55
    },
    {
      "epoch": 0.11666666666666667,
      "grad_norm": 0.4986928403377533,
      "learning_rate": 7.677473684210526e-05,
      "loss": 20.6753,
      "step": 56
    },
    {
      "epoch": 0.11875,
      "grad_norm": 0.5608803033828735,
      "learning_rate": 7.624157894736842e-05,
      "loss": 20.6667,
      "step": 57
    },
    {
      "epoch": 0.12083333333333333,
      "grad_norm": 0.4749945402145386,
      "learning_rate": 7.570842105263158e-05,
      "loss": 20.6327,
      "step": 58
    },
    {
      "epoch": 0.12291666666666666,
      "grad_norm": 0.6889947056770325,
      "learning_rate": 7.517526315789474e-05,
      "loss": 20.6299,
      "step": 59
    },
    {
      "epoch": 0.125,
      "grad_norm": 0.48256805539131165,
      "learning_rate": 7.464210526315789e-05,
      "loss": 20.6442,
      "step": 60
    },
    {
      "epoch": 0.12708333333333333,
      "grad_norm": 0.7472884654998779,
      "learning_rate": 7.410894736842106e-05,
      "loss": 20.6627,
      "step": 61
    },
    {
      "epoch": 0.12916666666666668,
      "grad_norm": 0.5614337921142578,
      "learning_rate": 7.35757894736842e-05,
      "loss": 20.6467,
      "step": 62
    },
    {
      "epoch": 0.13125,
      "grad_norm": 0.7431515455245972,
      "learning_rate": 7.304263157894737e-05,
      "loss": 20.6751,
      "step": 63
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 0.6878007054328918,
      "learning_rate": 7.250947368421053e-05,
      "loss": 20.6749,
      "step": 64
    },
    {
      "epoch": 0.13541666666666666,
      "grad_norm": 0.6373714804649353,
      "learning_rate": 7.197631578947368e-05,
      "loss": 20.6628,
      "step": 65
    },
    {
      "epoch": 0.1375,
      "grad_norm": 0.6107881665229797,
      "learning_rate": 7.144315789473684e-05,
      "loss": 20.6368,
      "step": 66
    },
    {
      "epoch": 0.13958333333333334,
      "grad_norm": 0.6302750706672668,
      "learning_rate": 7.091e-05,
      "loss": 20.6061,
      "step": 67
    },
    {
      "epoch": 0.14166666666666666,
      "grad_norm": 0.7748825550079346,
      "learning_rate": 7.037684210526316e-05,
      "loss": 20.6132,
      "step": 68
    },
    {
      "epoch": 0.14375,
      "grad_norm": 0.7745639681816101,
      "learning_rate": 6.984368421052632e-05,
      "loss": 20.6303,
      "step": 69
    },
    {
      "epoch": 0.14583333333333334,
      "grad_norm": 0.7478723526000977,
      "learning_rate": 6.931052631578947e-05,
      "loss": 20.6666,
      "step": 70
    },
    {
      "epoch": 0.14791666666666667,
      "grad_norm": 0.605993926525116,
      "learning_rate": 6.877736842105263e-05,
      "loss": 20.6449,
      "step": 71
    },
    {
      "epoch": 0.15,
      "grad_norm": 0.5979759097099304,
      "learning_rate": 6.824421052631579e-05,
      "loss": 20.6691,
      "step": 72
    },
    {
      "epoch": 0.15208333333333332,
      "grad_norm": 0.43290168046951294,
      "learning_rate": 6.771105263157895e-05,
      "loss": 20.675,
      "step": 73
    },
    {
      "epoch": 0.15416666666666667,
      "grad_norm": 0.5351336002349854,
      "learning_rate": 6.71778947368421e-05,
      "loss": 20.6528,
      "step": 74
    },
    {
      "epoch": 0.15625,
      "grad_norm": 0.4322650134563446,
      "learning_rate": 6.664473684210527e-05,
      "loss": 20.6732,
      "step": 75
    },
    {
      "epoch": 0.15833333333333333,
      "grad_norm": 0.44359371066093445,
      "learning_rate": 6.611157894736842e-05,
      "loss": 20.6606,
      "step": 76
    },
    {
      "epoch": 0.16041666666666668,
      "grad_norm": 0.4732012152671814,
      "learning_rate": 6.557842105263158e-05,
      "loss": 20.6395,
      "step": 77
    },
    {
      "epoch": 0.1625,
      "grad_norm": 0.5439114570617676,
      "learning_rate": 6.504526315789474e-05,
      "loss": 20.6482,
      "step": 78
    },
    {
      "epoch": 0.16458333333333333,
      "grad_norm": 0.7015860080718994,
      "learning_rate": 6.451210526315789e-05,
      "loss": 20.6319,
      "step": 79
    },
    {
      "epoch": 0.16666666666666666,
      "grad_norm": 0.6103214025497437,
      "learning_rate": 6.397894736842105e-05,
      "loss": 20.6443,
      "step": 80
    },
    {
      "epoch": 0.16875,
      "grad_norm": 0.37088441848754883,
      "learning_rate": 6.344578947368421e-05,
      "loss": 20.6356,
      "step": 81
    },
    {
      "epoch": 0.17083333333333334,
      "grad_norm": 0.6528430581092834,
      "learning_rate": 6.291263157894737e-05,
      "loss": 20.6587,
      "step": 82
    },
    {
      "epoch": 0.17291666666666666,
      "grad_norm": 0.7054880261421204,
      "learning_rate": 6.237947368421053e-05,
      "loss": 20.6713,
      "step": 83
    },
    {
      "epoch": 0.175,
      "grad_norm": 0.5389326214790344,
      "learning_rate": 6.184631578947368e-05,
      "loss": 20.6436,
      "step": 84
    },
    {
      "epoch": 0.17708333333333334,
      "grad_norm": 0.5650012493133545,
      "learning_rate": 6.131315789473684e-05,
      "loss": 20.6255,
      "step": 85
    },
    {
      "epoch": 0.17916666666666667,
      "grad_norm": 0.6043394207954407,
      "learning_rate": 6.078e-05,
      "loss": 20.6379,
      "step": 86
    },
    {
      "epoch": 0.18125,
      "grad_norm": 0.4503845274448395,
      "learning_rate": 6.024684210526315e-05,
      "loss": 20.6526,
      "step": 87
    },
    {
      "epoch": 0.18333333333333332,
      "grad_norm": 0.533659040927887,
      "learning_rate": 5.9713684210526305e-05,
      "loss": 20.6527,
      "step": 88
    },
    {
      "epoch": 0.18541666666666667,
      "grad_norm": 0.6213618516921997,
      "learning_rate": 5.918052631578947e-05,
      "loss": 20.6284,
      "step": 89
    },
    {
      "epoch": 0.1875,
      "grad_norm": 1.1620638370513916,
      "learning_rate": 5.8647368421052634e-05,
      "loss": 20.6617,
      "step": 90
    },
    {
      "epoch": 0.18958333333333333,
      "grad_norm": 0.515569806098938,
      "learning_rate": 5.811421052631579e-05,
      "loss": 20.6648,
      "step": 91
    },
    {
      "epoch": 0.19166666666666668,
      "grad_norm": 0.7997931838035583,
      "learning_rate": 5.758105263157894e-05,
      "loss": 20.6617,
      "step": 92
    },
    {
      "epoch": 0.19375,
      "grad_norm": 0.48507264256477356,
      "learning_rate": 5.70478947368421e-05,
      "loss": 20.6397,
      "step": 93
    },
    {
      "epoch": 0.19583333333333333,
      "grad_norm": 0.6217122077941895,
      "learning_rate": 5.6514736842105256e-05,
      "loss": 20.6589,
      "step": 94
    },
    {
      "epoch": 0.19791666666666666,
      "grad_norm": 0.4621007442474365,
      "learning_rate": 5.5981578947368424e-05,
      "loss": 20.617,
      "step": 95
    },
    {
      "epoch": 0.2,
      "grad_norm": 0.550322413444519,
      "learning_rate": 5.544842105263158e-05,
      "loss": 20.6374,
      "step": 96
    },
    {
      "epoch": 0.20208333333333334,
      "grad_norm": 0.6280121803283691,
      "learning_rate": 5.491526315789474e-05,
      "loss": 20.6391,
      "step": 97
    },
    {
      "epoch": 0.20416666666666666,
      "grad_norm": 0.7596859931945801,
      "learning_rate": 5.438210526315789e-05,
      "loss": 20.6297,
      "step": 98
    },
    {
      "epoch": 0.20625,
      "grad_norm": 0.8180075883865356,
      "learning_rate": 5.384894736842105e-05,
      "loss": 20.6631,
      "step": 99
    },
    {
      "epoch": 0.20833333333333334,
      "grad_norm": 0.6678614616394043,
      "learning_rate": 5.331578947368421e-05,
      "loss": 20.6684,
      "step": 100
    },
    {
      "epoch": 0.20833333333333334,
      "eval_loss": 10.322370529174805,
      "eval_runtime": 1.019,
      "eval_samples_per_second": 199.215,
      "eval_steps_per_second": 50.049,
      "step": 100
    },
    {
      "epoch": 0.21041666666666667,
      "grad_norm": 0.4385266602039337,
      "learning_rate": 5.278263157894736e-05,
      "loss": 20.6474,
      "step": 101
    },
    {
      "epoch": 0.2125,
      "grad_norm": 0.41741111874580383,
      "learning_rate": 5.224947368421053e-05,
      "loss": 20.66,
      "step": 102
    },
    {
      "epoch": 0.21458333333333332,
      "grad_norm": 0.4977112412452698,
      "learning_rate": 5.171631578947368e-05,
      "loss": 20.6246,
      "step": 103
    },
    {
      "epoch": 0.21666666666666667,
      "grad_norm": 0.37505587935447693,
      "learning_rate": 5.1183157894736844e-05,
      "loss": 20.6505,
      "step": 104
    },
    {
      "epoch": 0.21875,
      "grad_norm": 0.3949950933456421,
      "learning_rate": 5.065e-05,
      "loss": 20.6395,
      "step": 105
    },
    {
      "epoch": 0.22083333333333333,
      "grad_norm": 0.4057898223400116,
      "learning_rate": 5.011684210526315e-05,
      "loss": 20.6332,
      "step": 106
    },
    {
      "epoch": 0.22291666666666668,
      "grad_norm": 0.3241182863712311,
      "learning_rate": 4.958368421052631e-05,
      "loss": 20.6365,
      "step": 107
    },
    {
      "epoch": 0.225,
      "grad_norm": 0.3523682653903961,
      "learning_rate": 4.9050526315789473e-05,
      "loss": 20.6223,
      "step": 108
    },
    {
      "epoch": 0.22708333333333333,
      "grad_norm": 0.36585143208503723,
      "learning_rate": 4.851736842105263e-05,
      "loss": 20.6423,
      "step": 109
    },
    {
      "epoch": 0.22916666666666666,
      "grad_norm": 0.4735593795776367,
      "learning_rate": 4.798421052631579e-05,
      "loss": 20.6347,
      "step": 110
    },
    {
      "epoch": 0.23125,
      "grad_norm": 0.4410809576511383,
      "learning_rate": 4.745105263157895e-05,
      "loss": 20.6292,
      "step": 111
    },
    {
      "epoch": 0.23333333333333334,
      "grad_norm": 0.5188106298446655,
      "learning_rate": 4.69178947368421e-05,
      "loss": 20.6171,
      "step": 112
    },
    {
      "epoch": 0.23541666666666666,
      "grad_norm": 0.46558457612991333,
      "learning_rate": 4.638473684210526e-05,
      "loss": 20.6412,
      "step": 113
    },
    {
      "epoch": 0.2375,
      "grad_norm": 0.5905560851097107,
      "learning_rate": 4.585157894736842e-05,
      "loss": 20.6499,
      "step": 114
    },
    {
      "epoch": 0.23958333333333334,
      "grad_norm": 0.48409169912338257,
      "learning_rate": 4.531842105263158e-05,
      "loss": 20.6625,
      "step": 115
    },
    {
      "epoch": 0.24166666666666667,
      "grad_norm": 0.5367798209190369,
      "learning_rate": 4.478526315789473e-05,
      "loss": 20.6262,
      "step": 116
    },
    {
      "epoch": 0.24375,
      "grad_norm": 0.6423622369766235,
      "learning_rate": 4.425210526315789e-05,
      "loss": 20.6349,
      "step": 117
    },
    {
      "epoch": 0.24583333333333332,
      "grad_norm": 0.5764158368110657,
      "learning_rate": 4.3718947368421054e-05,
      "loss": 20.6013,
      "step": 118
    },
    {
      "epoch": 0.24791666666666667,
      "grad_norm": 0.5275463461875916,
      "learning_rate": 4.318578947368421e-05,
      "loss": 20.6328,
      "step": 119
    },
    {
      "epoch": 0.25,
      "grad_norm": 0.6234863996505737,
      "learning_rate": 4.265263157894736e-05,
      "loss": 20.6474,
      "step": 120
    },
    {
      "epoch": 0.2520833333333333,
      "grad_norm": 0.7221078276634216,
      "learning_rate": 4.211947368421052e-05,
      "loss": 20.6963,
      "step": 121
    },
    {
      "epoch": 0.25416666666666665,
      "grad_norm": 0.5051620602607727,
      "learning_rate": 4.1586315789473684e-05,
      "loss": 20.6692,
      "step": 122
    },
    {
      "epoch": 0.25625,
      "grad_norm": 0.48376530408859253,
      "learning_rate": 4.105315789473684e-05,
      "loss": 20.6412,
      "step": 123
    },
    {
      "epoch": 0.25833333333333336,
      "grad_norm": 0.49838507175445557,
      "learning_rate": 4.052e-05,
      "loss": 20.6351,
      "step": 124
    },
    {
      "epoch": 0.2604166666666667,
      "grad_norm": 0.49359792470932007,
      "learning_rate": 3.998684210526316e-05,
      "loss": 20.663,
      "step": 125
    },
    {
      "epoch": 0.2625,
      "grad_norm": 0.5166780352592468,
      "learning_rate": 3.945368421052631e-05,
      "loss": 20.6373,
      "step": 126
    },
    {
      "epoch": 0.26458333333333334,
      "grad_norm": 0.49425914883613586,
      "learning_rate": 3.892052631578947e-05,
      "loss": 20.633,
      "step": 127
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 0.49733734130859375,
      "learning_rate": 3.838736842105263e-05,
      "loss": 20.6359,
      "step": 128
    },
    {
      "epoch": 0.26875,
      "grad_norm": 0.5188809633255005,
      "learning_rate": 3.785421052631579e-05,
      "loss": 20.6379,
      "step": 129
    },
    {
      "epoch": 0.2708333333333333,
      "grad_norm": 0.39285358786582947,
      "learning_rate": 3.732105263157894e-05,
      "loss": 20.643,
      "step": 130
    },
    {
      "epoch": 0.27291666666666664,
      "grad_norm": 0.49707740545272827,
      "learning_rate": 3.67878947368421e-05,
      "loss": 20.6648,
      "step": 131
    },
    {
      "epoch": 0.275,
      "grad_norm": 0.7976504564285278,
      "learning_rate": 3.6254736842105264e-05,
      "loss": 20.6276,
      "step": 132
    },
    {
      "epoch": 0.27708333333333335,
      "grad_norm": 0.5746451020240784,
      "learning_rate": 3.572157894736842e-05,
      "loss": 20.6436,
      "step": 133
    },
    {
      "epoch": 0.2791666666666667,
      "grad_norm": 0.6766664981842041,
      "learning_rate": 3.518842105263158e-05,
      "loss": 20.6221,
      "step": 134
    },
    {
      "epoch": 0.28125,
      "grad_norm": 0.5276723504066467,
      "learning_rate": 3.465526315789473e-05,
      "loss": 20.6462,
      "step": 135
    },
    {
      "epoch": 0.2833333333333333,
      "grad_norm": 0.5135507583618164,
      "learning_rate": 3.4122105263157894e-05,
      "loss": 20.6701,
      "step": 136
    },
    {
      "epoch": 0.28541666666666665,
      "grad_norm": 0.6995293498039246,
      "learning_rate": 3.358894736842105e-05,
      "loss": 20.6388,
      "step": 137
    },
    {
      "epoch": 0.2875,
      "grad_norm": 0.8156008720397949,
      "learning_rate": 3.305578947368421e-05,
      "loss": 20.6589,
      "step": 138
    },
    {
      "epoch": 0.28958333333333336,
      "grad_norm": 0.5687384009361267,
      "learning_rate": 3.252263157894737e-05,
      "loss": 20.689,
      "step": 139
    },
    {
      "epoch": 0.2916666666666667,
      "grad_norm": 0.8851698637008667,
      "learning_rate": 3.198947368421052e-05,
      "loss": 20.6392,
      "step": 140
    },
    {
      "epoch": 0.29375,
      "grad_norm": 0.5796428918838501,
      "learning_rate": 3.1456315789473684e-05,
      "loss": 20.6566,
      "step": 141
    },
    {
      "epoch": 0.29583333333333334,
      "grad_norm": 0.47995954751968384,
      "learning_rate": 3.092315789473684e-05,
      "loss": 20.6705,
      "step": 142
    },
    {
      "epoch": 0.29791666666666666,
      "grad_norm": 0.4602159261703491,
      "learning_rate": 3.039e-05,
      "loss": 20.635,
      "step": 143
    },
    {
      "epoch": 0.3,
      "grad_norm": 0.4354487359523773,
      "learning_rate": 2.9856842105263153e-05,
      "loss": 20.6625,
      "step": 144
    },
    {
      "epoch": 0.3020833333333333,
      "grad_norm": 0.7370344400405884,
      "learning_rate": 2.9323684210526317e-05,
      "loss": 20.6079,
      "step": 145
    },
    {
      "epoch": 0.30416666666666664,
      "grad_norm": 0.6235302686691284,
      "learning_rate": 2.879052631578947e-05,
      "loss": 20.6457,
      "step": 146
    },
    {
      "epoch": 0.30625,
      "grad_norm": 0.512186586856842,
      "learning_rate": 2.8257368421052628e-05,
      "loss": 20.6409,
      "step": 147
    },
    {
      "epoch": 0.30833333333333335,
      "grad_norm": 0.6020389199256897,
      "learning_rate": 2.772421052631579e-05,
      "loss": 20.6458,
      "step": 148
    },
    {
      "epoch": 0.3104166666666667,
      "grad_norm": 0.8881978988647461,
      "learning_rate": 2.7191052631578946e-05,
      "loss": 20.6533,
      "step": 149
    },
    {
      "epoch": 0.3125,
      "grad_norm": 0.6261757016181946,
      "learning_rate": 2.6657894736842104e-05,
      "loss": 20.6573,
      "step": 150
    },
    {
      "epoch": 0.3125,
      "eval_loss": 10.321195602416992,
      "eval_runtime": 1.0805,
      "eval_samples_per_second": 187.879,
      "eval_steps_per_second": 47.201,
      "step": 150
    },
    {
      "epoch": 0.3145833333333333,
      "grad_norm": 0.396433025598526,
      "learning_rate": 2.6124736842105265e-05,
      "loss": 20.6494,
      "step": 151
    },
    {
      "epoch": 0.31666666666666665,
      "grad_norm": 0.5158248543739319,
      "learning_rate": 2.5591578947368422e-05,
      "loss": 20.6223,
      "step": 152
    },
    {
      "epoch": 0.31875,
      "grad_norm": 0.4182606339454651,
      "learning_rate": 2.5058421052631576e-05,
      "loss": 20.6377,
      "step": 153
    },
    {
      "epoch": 0.32083333333333336,
      "grad_norm": 0.41166260838508606,
      "learning_rate": 2.4525263157894737e-05,
      "loss": 20.6305,
      "step": 154
    },
    {
      "epoch": 0.3229166666666667,
      "grad_norm": 0.4873163402080536,
      "learning_rate": 2.3992105263157894e-05,
      "loss": 20.6378,
      "step": 155
    },
    {
      "epoch": 0.325,
      "grad_norm": 0.3092517852783203,
      "learning_rate": 2.345894736842105e-05,
      "loss": 20.6302,
      "step": 156
    },
    {
      "epoch": 0.32708333333333334,
      "grad_norm": 0.3140634298324585,
      "learning_rate": 2.292578947368421e-05,
      "loss": 20.6357,
      "step": 157
    },
    {
      "epoch": 0.32916666666666666,
      "grad_norm": 0.5920194387435913,
      "learning_rate": 2.2392631578947366e-05,
      "loss": 20.6324,
      "step": 158
    },
    {
      "epoch": 0.33125,
      "grad_norm": 0.4728413224220276,
      "learning_rate": 2.1859473684210527e-05,
      "loss": 20.6226,
      "step": 159
    },
    {
      "epoch": 0.3333333333333333,
      "grad_norm": 0.3897598683834076,
      "learning_rate": 2.132631578947368e-05,
      "loss": 20.6237,
      "step": 160
    },
    {
      "epoch": 0.33541666666666664,
      "grad_norm": 0.5689892768859863,
      "learning_rate": 2.0793157894736842e-05,
      "loss": 20.6367,
      "step": 161
    },
    {
      "epoch": 0.3375,
      "grad_norm": 0.4379670321941376,
      "learning_rate": 2.026e-05,
      "loss": 20.6212,
      "step": 162
    },
    {
      "epoch": 0.33958333333333335,
      "grad_norm": 0.4417364299297333,
      "learning_rate": 1.9726842105263157e-05,
      "loss": 20.6563,
      "step": 163
    },
    {
      "epoch": 0.3416666666666667,
      "grad_norm": 0.44751083850860596,
      "learning_rate": 1.9193684210526314e-05,
      "loss": 20.6331,
      "step": 164
    },
    {
      "epoch": 0.34375,
      "grad_norm": 0.5610325336456299,
      "learning_rate": 1.866052631578947e-05,
      "loss": 20.6583,
      "step": 165
    },
    {
      "epoch": 0.3458333333333333,
      "grad_norm": 0.7253609895706177,
      "learning_rate": 1.8127368421052632e-05,
      "loss": 20.6524,
      "step": 166
    },
    {
      "epoch": 0.34791666666666665,
      "grad_norm": 0.48384615778923035,
      "learning_rate": 1.759421052631579e-05,
      "loss": 20.6326,
      "step": 167
    },
    {
      "epoch": 0.35,
      "grad_norm": 0.6290586590766907,
      "learning_rate": 1.7061052631578947e-05,
      "loss": 20.588,
      "step": 168
    },
    {
      "epoch": 0.35208333333333336,
      "grad_norm": 0.4987987279891968,
      "learning_rate": 1.6527894736842104e-05,
      "loss": 20.62,
      "step": 169
    },
    {
      "epoch": 0.3541666666666667,
      "grad_norm": 0.46212947368621826,
      "learning_rate": 1.599473684210526e-05,
      "loss": 20.6189,
      "step": 170
    },
    {
      "epoch": 0.35625,
      "grad_norm": 0.5743746757507324,
      "learning_rate": 1.546157894736842e-05,
      "loss": 20.6652,
      "step": 171
    },
    {
      "epoch": 0.35833333333333334,
      "grad_norm": 0.7571426630020142,
      "learning_rate": 1.4928421052631576e-05,
      "loss": 20.6462,
      "step": 172
    },
    {
      "epoch": 0.36041666666666666,
      "grad_norm": 0.4095039665699005,
      "learning_rate": 1.4395263157894735e-05,
      "loss": 20.6249,
      "step": 173
    },
    {
      "epoch": 0.3625,
      "grad_norm": 0.44304630160331726,
      "learning_rate": 1.3862105263157895e-05,
      "loss": 20.6589,
      "step": 174
    },
    {
      "epoch": 0.3645833333333333,
      "grad_norm": 0.44080987572669983,
      "learning_rate": 1.3328947368421052e-05,
      "loss": 20.6469,
      "step": 175
    },
    {
      "epoch": 0.36666666666666664,
      "grad_norm": 0.35375094413757324,
      "learning_rate": 1.2795789473684211e-05,
      "loss": 20.6367,
      "step": 176
    },
    {
      "epoch": 0.36875,
      "grad_norm": 0.5444054007530212,
      "learning_rate": 1.2262631578947368e-05,
      "loss": 20.6538,
      "step": 177
    },
    {
      "epoch": 0.37083333333333335,
      "grad_norm": 0.5192680358886719,
      "learning_rate": 1.1729473684210526e-05,
      "loss": 20.6364,
      "step": 178
    },
    {
      "epoch": 0.3729166666666667,
      "grad_norm": 0.4619433581829071,
      "learning_rate": 1.1196315789473683e-05,
      "loss": 20.6507,
      "step": 179
    },
    {
      "epoch": 0.375,
      "grad_norm": 0.47730815410614014,
      "learning_rate": 1.066315789473684e-05,
      "loss": 20.6532,
      "step": 180
    },
    {
      "epoch": 0.3770833333333333,
      "grad_norm": 0.5851055979728699,
      "learning_rate": 1.013e-05,
      "loss": 20.6487,
      "step": 181
    },
    {
      "epoch": 0.37916666666666665,
      "grad_norm": 0.4503679871559143,
      "learning_rate": 9.596842105263157e-06,
      "loss": 20.6606,
      "step": 182
    },
    {
      "epoch": 0.38125,
      "grad_norm": 0.44411399960517883,
      "learning_rate": 9.063684210526316e-06,
      "loss": 20.625,
      "step": 183
    },
    {
      "epoch": 0.38333333333333336,
      "grad_norm": 0.6106891632080078,
      "learning_rate": 8.530526315789473e-06,
      "loss": 20.6381,
      "step": 184
    },
    {
      "epoch": 0.3854166666666667,
      "grad_norm": 0.5893099308013916,
      "learning_rate": 7.99736842105263e-06,
      "loss": 20.6543,
      "step": 185
    },
    {
      "epoch": 0.3875,
      "grad_norm": 0.5627808570861816,
      "learning_rate": 7.464210526315788e-06,
      "loss": 20.6553,
      "step": 186
    },
    {
      "epoch": 0.38958333333333334,
      "grad_norm": 0.5737026333808899,
      "learning_rate": 6.931052631578947e-06,
      "loss": 20.6238,
      "step": 187
    },
    {
      "epoch": 0.39166666666666666,
      "grad_norm": 0.7561337351799011,
      "learning_rate": 6.3978947368421055e-06,
      "loss": 20.6556,
      "step": 188
    },
    {
      "epoch": 0.39375,
      "grad_norm": 0.6301289200782776,
      "learning_rate": 5.864736842105263e-06,
      "loss": 20.6375,
      "step": 189
    },
    {
      "epoch": 0.3958333333333333,
      "grad_norm": 0.5358433127403259,
      "learning_rate": 5.33157894736842e-06,
      "loss": 20.6691,
      "step": 190
    },
    {
      "epoch": 0.39791666666666664,
      "grad_norm": 0.38694852590560913,
      "learning_rate": 4.7984210526315785e-06,
      "loss": 20.6612,
      "step": 191
    },
    {
      "epoch": 0.4,
      "grad_norm": 0.46380680799484253,
      "learning_rate": 4.265263157894737e-06,
      "loss": 20.6385,
      "step": 192
    },
    {
      "epoch": 0.40208333333333335,
      "grad_norm": 0.49250560998916626,
      "learning_rate": 3.732105263157894e-06,
      "loss": 20.6378,
      "step": 193
    },
    {
      "epoch": 0.4041666666666667,
      "grad_norm": 0.3325363099575043,
      "learning_rate": 3.1989473684210527e-06,
      "loss": 20.6393,
      "step": 194
    },
    {
      "epoch": 0.40625,
      "grad_norm": 0.36900144815444946,
      "learning_rate": 2.66578947368421e-06,
      "loss": 20.6299,
      "step": 195
    },
    {
      "epoch": 0.4083333333333333,
      "grad_norm": 0.5481805205345154,
      "learning_rate": 2.1326315789473684e-06,
      "loss": 20.6391,
      "step": 196
    },
    {
      "epoch": 0.41041666666666665,
      "grad_norm": 0.6909500956535339,
      "learning_rate": 1.5994736842105264e-06,
      "loss": 20.6108,
      "step": 197
    },
    {
      "epoch": 0.4125,
      "grad_norm": 0.7030799984931946,
      "learning_rate": 1.0663157894736842e-06,
      "loss": 20.6344,
      "step": 198
    },
    {
      "epoch": 0.41458333333333336,
      "grad_norm": 0.7141848206520081,
      "learning_rate": 5.331578947368421e-07,
      "loss": 20.6562,
      "step": 199
    },
    {
      "epoch": 0.4166666666666667,
      "grad_norm": 0.6437216401100159,
      "learning_rate": 0.0,
      "loss": 20.6452,
      "step": 200
    },
    {
      "epoch": 0.4166666666666667,
      "eval_loss": 10.32067584991455,
      "eval_runtime": 1.0275,
      "eval_samples_per_second": 197.571,
      "eval_steps_per_second": 49.636,
      "step": 200
    }
  ],
  "logging_steps": 1,
  "max_steps": 200,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 1,
  "save_steps": 50,
  "stateful_callbacks": {
    "EarlyStoppingCallback": {
      "args": {
        "early_stopping_patience": 5,
        "early_stopping_threshold": 0.0
      },
      "attributes": {
        "early_stopping_patience_counter": 0
      }
    },
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 14821833572352.0,
  "train_batch_size": 4,
  "trial_name": null,
  "trial_params": null
}