Hugging Face's logo

llama-duo
/
gemma2b-coding-gpt4o-100k

PEFT
TensorBoard
Safetensors
gemma
alignment-handbook
trl
sft
Generated from Trainer
4-bit precision
bitsandbytes
Model card Files Metrics Community
chansung commited on
Commit
2657f7f
·
verified ·
1 Parent(s): 0aa77bd

Model save

Browse files
Files changed (6) hide show
  1. README.md +78 -0
  2. adapter_model.safetensors +1 -1
  3. all_results.json +9 -0
  4. runs/Jun11_08-07-36_9920769e025a/events.out.tfevents.1718093526.9920769e025a.1470.0 +2 -2
  5. train_results.json +9 -0
  6. trainer_state.json +3419 -0
README.md ADDED
@@ -0,0 +1,78 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: gemma
3
+ library_name: peft
4
+ tags:
5
+ - trl
6
+ - sft
7
+ - generated_from_trainer
8
+ base_model: google/gemma-2b
9
+ datasets:
10
+ - generator
11
+ model-index:
12
+ - name: gemma2b-coding-gpt4o-100k
13
+ results: []
14
+ ---
15
+
16
+ <!-- This model card has been generated automatically according to the information the Trainer had access to. You
17
+ should probably proofread and complete it, then remove this comment. -->
18
+
19
+ # gemma2b-coding-gpt4o-100k
20
+
21
+ This model is a fine-tuned version of [google/gemma-2b](https://huggingface.co/google/gemma-2b) on the generator dataset.
22
+ It achieves the following results on the evaluation set:
23
+ - Loss: 1.6825
24
+
25
+ ## Model description
26
+
27
+ More information needed
28
+
29
+ ## Intended uses & limitations
30
+
31
+ More information needed
32
+
33
+ ## Training and evaluation data
34
+
35
+ More information needed
36
+
37
+ ## Training procedure
38
+
39
+ ### Training hyperparameters
40
+
41
+ The following hyperparameters were used during training:
42
+ - learning_rate: 0.0002
43
+ - train_batch_size: 8
44
+ - eval_batch_size: 8
45
+ - seed: 42
46
+ - distributed_type: multi-GPU
47
+ - num_devices: 4
48
+ - gradient_accumulation_steps: 2
49
+ - total_train_batch_size: 64
50
+ - total_eval_batch_size: 32
51
+ - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
52
+ - lr_scheduler_type: cosine
53
+ - lr_scheduler_warmup_ratio: 0.1
54
+ - num_epochs: 10
55
+
56
+ ### Training results
57
+
58
+ | Training Loss | Epoch | Step | Validation Loss |
59
+ |:-------------:|:------:|:----:|:---------------:|
60
+ | 0.6871 | 0.9979 | 235 | 1.4013 |
61
+ | 0.6707 | 2.0 | 471 | 1.3993 |
62
+ | 0.6047 | 2.9979 | 706 | 1.4091 |
63
+ | 0.5773 | 4.0 | 942 | 1.4428 |
64
+ | 0.5548 | 4.9979 | 1177 | 1.4904 |
65
+ | 0.5409 | 6.0 | 1413 | 1.5480 |
66
+ | 0.5151 | 6.9979 | 1648 | 1.6102 |
67
+ | 0.4987 | 8.0 | 1884 | 1.6578 |
68
+ | 0.4875 | 8.9979 | 2119 | 1.6813 |
69
+ | 0.4904 | 9.9788 | 2350 | 1.6825 |
70
+
71
+
72
+ ### Framework versions
73
+
74
+ - PEFT 0.11.1
75
+ - Transformers 4.41.2
76
+ - Pytorch 2.3.1+cu121
77
+ - Datasets 2.19.2
78
+ - Tokenizers 0.19.1
adapter_model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:737ba261e9ceee347d4400d083c94dae0a98f29f9b357eda1f84263a85bc08b9
3
  size 78480320
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:742fe3240ce874035ea24bf1086263eaf733935fc0c99cd771d9f686c3aedb9e
3
  size 78480320
all_results.json ADDED
@@ -0,0 +1,9 @@
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 9.978768577494693,
3
+ "total_flos": 1.8676199416922112e+18,
4
+ "train_loss": 0.5910337928000917,
5
+ "train_runtime": 14730.3274,
6
+ "train_samples": 92048,
7
+ "train_samples_per_second": 10.216,
8
+ "train_steps_per_second": 0.16
9
+ }
runs/Jun11_08-07-36_9920769e025a/events.out.tfevents.1718093526.9920769e025a.1470.0 CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:59eacd7a4ff621322d57f82888eee4424d281d248f7981671379faa431d89bfb
3
- size 105166
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:9a0eab92a7188f309870f6f20b8adde0ad3f212a0d6e5ea24f4aa68950998919
3
+ size 107901
train_results.json ADDED
@@ -0,0 +1,9 @@
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 9.978768577494693,
3
+ "total_flos": 1.8676199416922112e+18,
4
+ "train_loss": 0.5910337928000917,
5
+ "train_runtime": 14730.3274,
6
+ "train_samples": 92048,
7
+ "train_samples_per_second": 10.216,
8
+ "train_steps_per_second": 0.16
9
+ }
trainer_state.json ADDED
@@ -0,0 +1,3419 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_metric": null,
3
+ "best_model_checkpoint": null,
4
+ "epoch": 9.978768577494693,
5
+ "eval_steps": 500,
6
+ "global_step": 2350,
7
+ "is_hyper_param_search": false,
8
+ "is_local_process_zero": true,
9
+ "is_world_process_zero": true,
10
+ "log_history": [
11
+ {
12
+ "epoch": 0.004246284501061571,
13
+ "grad_norm": 3.09375,
14
+ "learning_rate": 8.510638297872341e-07,
15
+ "loss": 1.9544,
16
+ "step": 1
17
+ },
18
+ {
19
+ "epoch": 0.021231422505307854,
20
+ "grad_norm": 4.03125,
21
+ "learning_rate": 4.255319148936171e-06,
22
+ "loss": 1.9708,
23
+ "step": 5
24
+ },
25
+ {
26
+ "epoch": 0.04246284501061571,
27
+ "grad_norm": 2.09375,
28
+ "learning_rate": 8.510638297872341e-06,
29
+ "loss": 1.9597,
30
+ "step": 10
31
+ },
32
+ {
33
+ "epoch": 0.06369426751592357,
34
+ "grad_norm": 8.25,
35
+ "learning_rate": 1.2765957446808511e-05,
36
+ "loss": 1.9264,
37
+ "step": 15
38
+ },
39
+ {
40
+ "epoch": 0.08492569002123142,
41
+ "grad_norm": 1.6953125,
42
+ "learning_rate": 1.7021276595744682e-05,
43
+ "loss": 1.8338,
44
+ "step": 20
45
+ },
46
+ {
47
+ "epoch": 0.10615711252653928,
48
+ "grad_norm": 2.453125,
49
+ "learning_rate": 2.1276595744680852e-05,
50
+ "loss": 1.7511,
51
+ "step": 25
52
+ },
53
+ {
54
+ "epoch": 0.12738853503184713,
55
+ "grad_norm": 2.609375,
56
+ "learning_rate": 2.5531914893617022e-05,
57
+ "loss": 1.6446,
58
+ "step": 30
59
+ },
60
+ {
61
+ "epoch": 0.14861995753715498,
62
+ "grad_norm": 2.4375,
63
+ "learning_rate": 2.9787234042553192e-05,
64
+ "loss": 1.5726,
65
+ "step": 35
66
+ },
67
+ {
68
+ "epoch": 0.16985138004246284,
69
+ "grad_norm": 6.21875,
70
+ "learning_rate": 3.4042553191489365e-05,
71
+ "loss": 1.4611,
72
+ "step": 40
73
+ },
74
+ {
75
+ "epoch": 0.1910828025477707,
76
+ "grad_norm": 5.03125,
77
+ "learning_rate": 3.829787234042553e-05,
78
+ "loss": 1.3599,
79
+ "step": 45
80
+ },
81
+ {
82
+ "epoch": 0.21231422505307856,
83
+ "grad_norm": 1.03125,
84
+ "learning_rate": 4.2553191489361704e-05,
85
+ "loss": 1.2565,
86
+ "step": 50
87
+ },
88
+ {
89
+ "epoch": 0.23354564755838642,
90
+ "grad_norm": 0.75,
91
+ "learning_rate": 4.680851063829788e-05,
92
+ "loss": 1.1707,
93
+ "step": 55
94
+ },
95
+ {
96
+ "epoch": 0.25477707006369427,
97
+ "grad_norm": 1.34375,
98
+ "learning_rate": 5.1063829787234044e-05,
99
+ "loss": 1.0829,
100
+ "step": 60
101
+ },
102
+ {
103
+ "epoch": 0.2760084925690021,
104
+ "grad_norm": 0.578125,
105
+ "learning_rate": 5.531914893617022e-05,
106
+ "loss": 0.9955,
107
+ "step": 65
108
+ },
109
+ {
110
+ "epoch": 0.29723991507430997,
111
+ "grad_norm": 0.3046875,
112
+ "learning_rate": 5.9574468085106384e-05,
113
+ "loss": 0.9635,
114
+ "step": 70
115
+ },
116
+ {
117
+ "epoch": 0.3184713375796178,
118
+ "grad_norm": 0.29296875,
119
+ "learning_rate": 6.382978723404256e-05,
120
+ "loss": 0.9258,
121
+ "step": 75
122
+ },
123
+ {
124
+ "epoch": 0.33970276008492567,
125
+ "grad_norm": 0.8515625,
126
+ "learning_rate": 6.808510638297873e-05,
127
+ "loss": 0.8948,
128
+ "step": 80
129
+ },
130
+ {
131
+ "epoch": 0.3609341825902335,
132
+ "grad_norm": 0.6484375,
133
+ "learning_rate": 7.23404255319149e-05,
134
+ "loss": 0.86,
135
+ "step": 85
136
+ },
137
+ {
138
+ "epoch": 0.3821656050955414,
139
+ "grad_norm": 0.77734375,
140
+ "learning_rate": 7.659574468085106e-05,
141
+ "loss": 0.8485,
142
+ "step": 90
143
+ },
144
+ {
145
+ "epoch": 0.4033970276008493,
146
+ "grad_norm": 0.44921875,
147
+ "learning_rate": 8.085106382978723e-05,
148
+ "loss": 0.8287,
149
+ "step": 95
150
+ },
151
+ {
152
+ "epoch": 0.42462845010615713,
153
+ "grad_norm": 0.2734375,
154
+ "learning_rate": 8.510638297872341e-05,
155
+ "loss": 0.8144,
156
+ "step": 100
157
+ },
158
+ {
159
+ "epoch": 0.445859872611465,
160
+ "grad_norm": 0.4453125,
161
+ "learning_rate": 8.936170212765958e-05,
162
+ "loss": 0.7988,
163
+ "step": 105
164
+ },
165
+ {
166
+ "epoch": 0.46709129511677283,
167
+ "grad_norm": 0.58203125,
168
+ "learning_rate": 9.361702127659576e-05,
169
+ "loss": 0.7956,
170
+ "step": 110
171
+ },
172
+ {
173
+ "epoch": 0.4883227176220807,
174
+ "grad_norm": 0.53125,
175
+ "learning_rate": 9.787234042553192e-05,
176
+ "loss": 0.7839,
177
+ "step": 115
178
+ },
179
+ {
180
+ "epoch": 0.5095541401273885,
181
+ "grad_norm": 0.51953125,
182
+ "learning_rate": 0.00010212765957446809,
183
+ "loss": 0.7604,
184
+ "step": 120
185
+ },
186
+ {
187
+ "epoch": 0.5307855626326964,
188
+ "grad_norm": 0.310546875,
189
+ "learning_rate": 0.00010638297872340425,
190
+ "loss": 0.7615,
191
+ "step": 125
192
+ },
193
+ {
194
+ "epoch": 0.5520169851380042,
195
+ "grad_norm": 1.421875,
196
+ "learning_rate": 0.00011063829787234043,
197
+ "loss": 0.7599,
198
+ "step": 130
199
+ },
200
+ {
201
+ "epoch": 0.5732484076433121,
202
+ "grad_norm": 1.203125,
203
+ "learning_rate": 0.00011489361702127661,
204
+ "loss": 0.7407,
205
+ "step": 135
206
+ },
207
+ {
208
+ "epoch": 0.5944798301486199,
209
+ "grad_norm": 1.1640625,
210
+ "learning_rate": 0.00011914893617021277,
211
+ "loss": 0.7518,
212
+ "step": 140
213
+ },
214
+ {
215
+ "epoch": 0.6157112526539278,
216
+ "grad_norm": 0.380859375,
217
+ "learning_rate": 0.00012340425531914893,
218
+ "loss": 0.7483,
219
+ "step": 145
220
+ },
221
+ {
222
+ "epoch": 0.6369426751592356,
223
+ "grad_norm": 0.546875,
224
+ "learning_rate": 0.00012765957446808513,
225
+ "loss": 0.7278,
226
+ "step": 150
227
+ },
228
+ {
229
+ "epoch": 0.6581740976645435,
230
+ "grad_norm": 1.0390625,
231
+ "learning_rate": 0.00013191489361702127,
232
+ "loss": 0.7319,
233
+ "step": 155
234
+ },
235
+ {
236
+ "epoch": 0.6794055201698513,
237
+ "grad_norm": 1.109375,
238
+ "learning_rate": 0.00013617021276595746,
239
+ "loss": 0.731,
240
+ "step": 160
241
+ },
242
+ {
243
+ "epoch": 0.7006369426751592,
244
+ "grad_norm": 0.578125,
245
+ "learning_rate": 0.00014042553191489363,
246
+ "loss": 0.7207,
247
+ "step": 165
248
+ },
249
+ {
250
+ "epoch": 0.721868365180467,
251
+ "grad_norm": 0.3359375,
252
+ "learning_rate": 0.0001446808510638298,
253
+ "loss": 0.7271,
254
+ "step": 170
255
+ },
256
+ {
257
+ "epoch": 0.7430997876857749,
258
+ "grad_norm": 0.462890625,
259
+ "learning_rate": 0.00014893617021276596,
260
+ "loss": 0.7111,
261
+ "step": 175
262
+ },
263
+ {
264
+ "epoch": 0.7643312101910829,
265
+ "grad_norm": 0.59765625,
266
+ "learning_rate": 0.00015319148936170213,
267
+ "loss": 0.7099,
268
+ "step": 180
269
+ },
270
+ {
271
+ "epoch": 0.7855626326963907,
272
+ "grad_norm": 0.5,
273
+ "learning_rate": 0.00015744680851063832,
274
+ "loss": 0.7114,
275
+ "step": 185
276
+ },
277
+ {
278
+ "epoch": 0.8067940552016986,
279
+ "grad_norm": 0.267578125,
280
+ "learning_rate": 0.00016170212765957446,
281
+ "loss": 0.7038,
282
+ "step": 190
283
+ },
284
+ {
285
+ "epoch": 0.8280254777070064,
286
+ "grad_norm": 0.498046875,
287
+ "learning_rate": 0.00016595744680851065,
288
+ "loss": 0.7097,
289
+ "step": 195
290
+ },
291
+ {
292
+ "epoch": 0.8492569002123143,
293
+ "grad_norm": 0.75390625,
294
+ "learning_rate": 0.00017021276595744682,
295
+ "loss": 0.7065,
296
+ "step": 200
297
+ },
298
+ {
299
+ "epoch": 0.8704883227176221,
300
+ "grad_norm": 0.267578125,
301
+ "learning_rate": 0.00017446808510638298,
302
+ "loss": 0.6975,
303
+ "step": 205
304
+ },
305
+ {
306
+ "epoch": 0.89171974522293,
307
+ "grad_norm": 0.74609375,
308
+ "learning_rate": 0.00017872340425531915,
309
+ "loss": 0.7038,
310
+ "step": 210
311
+ },
312
+ {
313
+ "epoch": 0.9129511677282378,
314
+ "grad_norm": 0.8203125,
315
+ "learning_rate": 0.00018297872340425532,
316
+ "loss": 0.6929,
317
+ "step": 215
318
+ },
319
+ {
320
+ "epoch": 0.9341825902335457,
321
+ "grad_norm": 0.265625,
322
+ "learning_rate": 0.0001872340425531915,
323
+ "loss": 0.7061,
324
+ "step": 220
325
+ },
326
+ {
327
+ "epoch": 0.9554140127388535,
328
+ "grad_norm": 0.765625,
329
+ "learning_rate": 0.00019148936170212768,
330
+ "loss": 0.7031,
331
+ "step": 225
332
+ },
333
+ {
334
+ "epoch": 0.9766454352441614,
335
+ "grad_norm": 0.66015625,
336
+ "learning_rate": 0.00019574468085106384,
337
+ "loss": 0.6968,
338
+ "step": 230
339
+ },
340
+ {
341
+ "epoch": 0.9978768577494692,
342
+ "grad_norm": 0.71875,
343
+ "learning_rate": 0.0002,
344
+ "loss": 0.6871,
345
+ "step": 235
346
+ },
347
+ {
348
+ "epoch": 0.9978768577494692,
349
+ "eval_loss": 1.4013111591339111,
350
+ "eval_runtime": 0.536,
351
+ "eval_samples_per_second": 9.328,
352
+ "eval_steps_per_second": 1.866,
353
+ "step": 235
354
+ },
355
+ {
356
+ "epoch": 1.019108280254777,
357
+ "grad_norm": 0.78125,
358
+ "learning_rate": 0.00019999724204599747,
359
+ "loss": 0.6759,
360
+ "step": 240
361
+ },
362
+ {
363
+ "epoch": 1.040339702760085,
364
+ "grad_norm": 0.54296875,
365
+ "learning_rate": 0.00019998896833611603,
366
+ "loss": 0.673,
367
+ "step": 245
368
+ },
369
+ {
370
+ "epoch": 1.0615711252653928,
371
+ "grad_norm": 0.294921875,
372
+ "learning_rate": 0.0001999751793267259,
373
+ "loss": 0.6671,
374
+ "step": 250
375
+ },
376
+ {
377
+ "epoch": 1.0828025477707006,
378
+ "grad_norm": 0.298828125,
379
+ "learning_rate": 0.0001999558757784162,
380
+ "loss": 0.6747,
381
+ "step": 255
382
+ },
383
+ {
384
+ "epoch": 1.1040339702760085,
385
+ "grad_norm": 0.53515625,
386
+ "learning_rate": 0.0001999310587559529,
387
+ "loss": 0.669,
388
+ "step": 260
389
+ },
390
+ {
391
+ "epoch": 1.1252653927813163,
392
+ "grad_norm": 0.298828125,
393
+ "learning_rate": 0.00019990072962822007,
394
+ "loss": 0.6718,
395
+ "step": 265
396
+ },
397
+ {
398
+ "epoch": 1.1464968152866242,
399
+ "grad_norm": 0.326171875,
400
+ "learning_rate": 0.00019986489006814452,
401
+ "loss": 0.6729,
402
+ "step": 270
403
+ },
404
+ {
405
+ "epoch": 1.167728237791932,
406
+ "grad_norm": 0.28125,
407
+ "learning_rate": 0.00019982354205260347,
408
+ "loss": 0.6658,
409
+ "step": 275
410
+ },
411
+ {
412
+ "epoch": 1.1889596602972399,
413
+ "grad_norm": 0.2431640625,
414
+ "learning_rate": 0.00019977668786231534,
415
+ "loss": 0.6694,
416
+ "step": 280
417
+ },
418
+ {
419
+ "epoch": 1.2101910828025477,
420
+ "grad_norm": 0.2890625,
421
+ "learning_rate": 0.00019972433008171416,
422
+ "loss": 0.6727,
423
+ "step": 285
424
+ },
425
+ {
426
+ "epoch": 1.2314225053078556,
427
+ "grad_norm": 0.306640625,
428
+ "learning_rate": 0.00019966647159880703,
429
+ "loss": 0.6608,
430
+ "step": 290
431
+ },
432
+ {
433
+ "epoch": 1.2526539278131634,
434
+ "grad_norm": 0.765625,
435
+ "learning_rate": 0.00019960311560501454,
436
+ "loss": 0.6662,
437
+ "step": 295
438
+ },
439
+ {
440
+ "epoch": 1.2738853503184713,
441
+ "grad_norm": 0.7421875,
442
+ "learning_rate": 0.0001995342655949951,
443
+ "loss": 0.6639,
444
+ "step": 300
445
+ },
446
+ {
447
+ "epoch": 1.2951167728237791,
448
+ "grad_norm": 0.78125,
449
+ "learning_rate": 0.00019945992536645187,
450
+ "loss": 0.6639,
451
+ "step": 305
452
+ },
453
+ {
454
+ "epoch": 1.316348195329087,
455
+ "grad_norm": 0.4140625,
456
+ "learning_rate": 0.0001993800990199235,
457
+ "loss": 0.6651,
458
+ "step": 310
459
+ },
460
+ {
461
+ "epoch": 1.3375796178343948,
462
+ "grad_norm": 0.421875,
463
+ "learning_rate": 0.0001992947909585578,
464
+ "loss": 0.6534,
465
+ "step": 315
466
+ },
467
+ {
468
+ "epoch": 1.3588110403397027,
469
+ "grad_norm": 0.216796875,
470
+ "learning_rate": 0.000199204005887869,
471
+ "loss": 0.6569,
472
+ "step": 320
473
+ },
474
+ {
475
+ "epoch": 1.3800424628450108,
476
+ "grad_norm": 0.29296875,
477
+ "learning_rate": 0.000199107748815478,
478
+ "loss": 0.6577,
479
+ "step": 325
480
+ },
481
+ {
482
+ "epoch": 1.4012738853503186,
483
+ "grad_norm": 0.21875,
484
+ "learning_rate": 0.00019900602505083648,
485
+ "loss": 0.6524,
486
+ "step": 330
487
+ },
488
+ {
489
+ "epoch": 1.4225053078556265,
490
+ "grad_norm": 0.23046875,
491
+ "learning_rate": 0.0001988988402049336,
492
+ "loss": 0.6531,
493
+ "step": 335
494
+ },
495
+ {
496
+ "epoch": 1.4437367303609343,
497
+ "grad_norm": 0.216796875,
498
+ "learning_rate": 0.00019878620018998696,
499
+ "loss": 0.6544,
500
+ "step": 340
501
+ },
502
+ {
503
+ "epoch": 1.4649681528662422,
504
+ "grad_norm": 0.25390625,
505
+ "learning_rate": 0.00019866811121911607,
506
+ "loss": 0.6462,
507
+ "step": 345
508
+ },
509
+ {
510
+ "epoch": 1.48619957537155,
511
+ "grad_norm": 0.3984375,
512
+ "learning_rate": 0.000198544579806,
513
+ "loss": 0.6544,
514
+ "step": 350
515
+ },
516
+ {
517
+ "epoch": 1.5074309978768579,
518
+ "grad_norm": 0.51171875,
519
+ "learning_rate": 0.0001984156127645178,
520
+ "loss": 0.6337,
521
+ "step": 355
522
+ },
523
+ {
524
+ "epoch": 1.5286624203821657,
525
+ "grad_norm": 0.412109375,
526
+ "learning_rate": 0.00019828121720837286,
527
+ "loss": 0.6543,
528
+ "step": 360
529
+ },
530
+ {
531
+ "epoch": 1.5498938428874736,
532
+ "grad_norm": 0.36328125,
533
+ "learning_rate": 0.00019814140055070042,
534
+ "loss": 0.647,
535
+ "step": 365
536
+ },
537
+ {
538
+ "epoch": 1.5711252653927814,
539
+ "grad_norm": 0.271484375,
540
+ "learning_rate": 0.0001979961705036587,
541
+ "loss": 0.6368,
542
+ "step": 370
543
+ },
544
+ {
545
+ "epoch": 1.5923566878980893,
546
+ "grad_norm": 0.33984375,
547
+ "learning_rate": 0.00019784553507800349,
548
+ "loss": 0.6504,
549
+ "step": 375
550
+ },
551
+ {
552
+ "epoch": 1.6135881104033971,
553
+ "grad_norm": 0.65234375,
554
+ "learning_rate": 0.00019768950258264623,
555
+ "loss": 0.6427,
556
+ "step": 380
557
+ },
558
+ {
559
+ "epoch": 1.634819532908705,
560
+ "grad_norm": 0.359375,
561
+ "learning_rate": 0.0001975280816241959,
562
+ "loss": 0.6411,
563
+ "step": 385
564
+ },
565
+ {
566
+ "epoch": 1.6560509554140128,
567
+ "grad_norm": 0.259765625,
568
+ "learning_rate": 0.00019736128110648407,
569
+ "loss": 0.6412,
570
+ "step": 390
571
+ },
572
+ {
573
+ "epoch": 1.6772823779193207,
574
+ "grad_norm": 0.23046875,
575
+ "learning_rate": 0.0001971891102300738,
576
+ "loss": 0.6497,
577
+ "step": 395
578
+ },
579
+ {
580
+ "epoch": 1.6985138004246285,
581
+ "grad_norm": 0.24609375,
582
+ "learning_rate": 0.00019701157849175228,
583
+ "loss": 0.6419,
584
+ "step": 400
585
+ },
586
+ {
587
+ "epoch": 1.7197452229299364,
588
+ "grad_norm": 0.2294921875,
589
+ "learning_rate": 0.00019682869568400684,
590
+ "loss": 0.6521,
591
+ "step": 405
592
+ },
593
+ {
594
+ "epoch": 1.7409766454352442,
595
+ "grad_norm": 0.2470703125,
596
+ "learning_rate": 0.00019664047189448493,
597
+ "loss": 0.641,
598
+ "step": 410
599
+ },
600
+ {
601
+ "epoch": 1.762208067940552,
602
+ "grad_norm": 0.431640625,
603
+ "learning_rate": 0.00019644691750543767,
604
+ "loss": 0.6522,
605
+ "step": 415
606
+ },
607
+ {
608
+ "epoch": 1.78343949044586,
609
+ "grad_norm": 0.46875,
610
+ "learning_rate": 0.00019624804319314705,
611
+ "loss": 0.6581,
612
+ "step": 420
613
+ },
614
+ {
615
+ "epoch": 1.8046709129511678,
616
+ "grad_norm": 0.2275390625,
617
+ "learning_rate": 0.00019604385992733715,
618
+ "loss": 0.6452,
619
+ "step": 425
620
+ },
621
+ {
622
+ "epoch": 1.8259023354564756,
623
+ "grad_norm": 0.546875,
624
+ "learning_rate": 0.00019583437897056915,
625
+ "loss": 0.6368,
626
+ "step": 430
627
+ },
628
+ {
629
+ "epoch": 1.8471337579617835,
630
+ "grad_norm": 0.447265625,
631
+ "learning_rate": 0.00019561961187761985,
632
+ "loss": 0.6457,
633
+ "step": 435
634
+ },
635
+ {
636
+ "epoch": 1.8683651804670913,
637
+ "grad_norm": 0.48046875,
638
+ "learning_rate": 0.00019539957049484458,
639
+ "loss": 0.6277,
640
+ "step": 440
641
+ },
642
+ {
643
+ "epoch": 1.8895966029723992,
644
+ "grad_norm": 0.205078125,
645
+ "learning_rate": 0.00019517426695952358,
646
+ "loss": 0.6305,
647
+ "step": 445
648
+ },
649
+ {
650
+ "epoch": 1.910828025477707,
651
+ "grad_norm": 0.66796875,
652
+ "learning_rate": 0.0001949437136991925,
653
+ "loss": 0.6329,
654
+ "step": 450
655
+ },
656
+ {
657
+ "epoch": 1.9320594479830149,
658
+ "grad_norm": 0.34765625,
659
+ "learning_rate": 0.00019470792343095718,
660
+ "loss": 0.6454,
661
+ "step": 455
662
+ },
663
+ {
664
+ "epoch": 1.9532908704883227,
665
+ "grad_norm": 0.55078125,
666
+ "learning_rate": 0.0001944669091607919,
667
+ "loss": 0.6292,
668
+ "step": 460
669
+ },
670
+ {
671
+ "epoch": 1.9745222929936306,
672
+ "grad_norm": 2.125,
673
+ "learning_rate": 0.00019422068418282202,
674
+ "loss": 0.6342,
675
+ "step": 465
676
+ },
677
+ {
678
+ "epoch": 1.9957537154989384,
679
+ "grad_norm": 3.875,
680
+ "learning_rate": 0.00019396926207859084,
681
+ "loss": 0.6707,
682
+ "step": 470
683
+ },
684
+ {
685
+ "epoch": 2.0,
686
+ "eval_loss": 1.399332880973816,
687
+ "eval_runtime": 0.4998,
688
+ "eval_samples_per_second": 10.003,
689
+ "eval_steps_per_second": 2.001,
690
+ "step": 471
691
+ },
692
+ {
693
+ "epoch": 2.0169851380042463,
694
+ "grad_norm": 0.33203125,
695
+ "learning_rate": 0.00019371265671631037,
696
+ "loss": 0.6274,
697
+ "step": 475
698
+ },
699
+ {
700
+ "epoch": 2.038216560509554,
701
+ "grad_norm": 0.4453125,
702
+ "learning_rate": 0.00019345088225009626,
703
+ "loss": 0.6217,
704
+ "step": 480
705
+ },
706
+ {
707
+ "epoch": 2.059447983014862,
708
+ "grad_norm": 0.2314453125,
709
+ "learning_rate": 0.0001931839531191873,
710
+ "loss": 0.6253,
711
+ "step": 485
712
+ },
713
+ {
714
+ "epoch": 2.08067940552017,
715
+ "grad_norm": 0.2421875,
716
+ "learning_rate": 0.00019291188404714878,
717
+ "loss": 0.619,
718
+ "step": 490
719
+ },
720
+ {
721
+ "epoch": 2.1019108280254777,
722
+ "grad_norm": 0.24609375,
723
+ "learning_rate": 0.0001926346900410604,
724
+ "loss": 0.6275,
725
+ "step": 495
726
+ },
727
+ {
728
+ "epoch": 2.1231422505307855,
729
+ "grad_norm": 0.212890625,
730
+ "learning_rate": 0.00019235238639068856,
731
+ "loss": 0.6175,
732
+ "step": 500
733
+ },
734
+ {
735
+ "epoch": 2.1443736730360934,
736
+ "grad_norm": 0.1953125,
737
+ "learning_rate": 0.00019206498866764288,
738
+ "loss": 0.6188,
739
+ "step": 505
740
+ },
741
+ {
742
+ "epoch": 2.1656050955414012,
743
+ "grad_norm": 0.224609375,
744
+ "learning_rate": 0.0001917725127245174,
745
+ "loss": 0.6104,
746
+ "step": 510
747
+ },
748
+ {
749
+ "epoch": 2.186836518046709,
750
+ "grad_norm": 0.265625,
751
+ "learning_rate": 0.0001914749746940161,
752
+ "loss": 0.6075,
753
+ "step": 515
754
+ },
755
+ {
756
+ "epoch": 2.208067940552017,
757
+ "grad_norm": 0.201171875,
758
+ "learning_rate": 0.00019117239098806295,
759
+ "loss": 0.6254,
760
+ "step": 520
761
+ },
762
+ {
763
+ "epoch": 2.229299363057325,
764
+ "grad_norm": 0.337890625,
765
+ "learning_rate": 0.00019086477829689685,
766
+ "loss": 0.617,
767
+ "step": 525
768
+ },
769
+ {
770
+ "epoch": 2.2505307855626326,
771
+ "grad_norm": 0.271484375,
772
+ "learning_rate": 0.0001905521535881509,
773
+ "loss": 0.6188,
774
+ "step": 530
775
+ },
776
+ {
777
+ "epoch": 2.2717622080679405,
778
+ "grad_norm": 0.22265625,
779
+ "learning_rate": 0.00019023453410591635,
780
+ "loss": 0.6167,
781
+ "step": 535
782
+ },
783
+ {
784
+ "epoch": 2.2929936305732483,
785
+ "grad_norm": 0.296875,
786
+ "learning_rate": 0.00018991193736979175,
787
+ "loss": 0.6048,
788
+ "step": 540
789
+ },
790
+ {
791
+ "epoch": 2.314225053078556,
792
+ "grad_norm": 0.185546875,
793
+ "learning_rate": 0.00018958438117391618,
794
+ "loss": 0.6092,
795
+ "step": 545
796
+ },
797
+ {
798
+ "epoch": 2.335456475583864,
799
+ "grad_norm": 0.349609375,
800
+ "learning_rate": 0.00018925188358598813,
801
+ "loss": 0.6079,
802
+ "step": 550
803
+ },
804
+ {
805
+ "epoch": 2.356687898089172,
806
+ "grad_norm": 0.306640625,
807
+ "learning_rate": 0.00018891446294626866,
808
+ "loss": 0.6136,
809
+ "step": 555
810
+ },
811
+ {
812
+ "epoch": 2.3779193205944797,
813
+ "grad_norm": 0.1884765625,
814
+ "learning_rate": 0.00018857213786656985,
815
+ "loss": 0.6075,
816
+ "step": 560
817
+ },
818
+ {
819
+ "epoch": 2.3991507430997876,
820
+ "grad_norm": 0.205078125,
821
+ "learning_rate": 0.0001882249272292282,
822
+ "loss": 0.6097,
823
+ "step": 565
824
+ },
825
+ {
826
+ "epoch": 2.4203821656050954,
827
+ "grad_norm": 0.208984375,
828
+ "learning_rate": 0.00018787285018606297,
829
+ "loss": 0.6178,
830
+ "step": 570
831
+ },
832
+ {
833
+ "epoch": 2.4416135881104033,
834
+ "grad_norm": 0.2353515625,
835
+ "learning_rate": 0.00018751592615732005,
836
+ "loss": 0.6099,
837
+ "step": 575
838
+ },
839
+ {
840
+ "epoch": 2.462845010615711,
841
+ "grad_norm": 0.30859375,
842
+ "learning_rate": 0.0001871541748306005,
843
+ "loss": 0.6161,
844
+ "step": 580
845
+ },
846
+ {
847
+ "epoch": 2.484076433121019,
848
+ "grad_norm": 0.208984375,
849
+ "learning_rate": 0.00018678761615977468,
850
+ "loss": 0.616,
851
+ "step": 585
852
+ },
853
+ {
854
+ "epoch": 2.505307855626327,
855
+ "grad_norm": 0.326171875,
856
+ "learning_rate": 0.00018641627036388169,
857
+ "loss": 0.611,
858
+ "step": 590
859
+ },
860
+ {
861
+ "epoch": 2.5265392781316347,
862
+ "grad_norm": 0.23828125,
863
+ "learning_rate": 0.00018604015792601396,
864
+ "loss": 0.6063,
865
+ "step": 595
866
+ },
867
+ {
868
+ "epoch": 2.5477707006369426,
869
+ "grad_norm": 0.390625,
870
+ "learning_rate": 0.00018565929959218758,
871
+ "loss": 0.5991,
872
+ "step": 600
873
+ },
874
+ {
875
+ "epoch": 2.5690021231422504,
876
+ "grad_norm": 0.255859375,
877
+ "learning_rate": 0.0001852737163701979,
878
+ "loss": 0.6085,
879
+ "step": 605
880
+ },
881
+ {
882
+ "epoch": 2.5902335456475583,
883
+ "grad_norm": 0.2294921875,
884
+ "learning_rate": 0.00018488342952846073,
885
+ "loss": 0.6027,
886
+ "step": 610
887
+ },
888
+ {
889
+ "epoch": 2.611464968152866,
890
+ "grad_norm": 0.2236328125,
891
+ "learning_rate": 0.0001844884605948392,
892
+ "loss": 0.6108,
893
+ "step": 615
894
+ },
895
+ {
896
+ "epoch": 2.632696390658174,
897
+ "grad_norm": 0.33984375,
898
+ "learning_rate": 0.00018408883135545632,
899
+ "loss": 0.6156,
900
+ "step": 620
901
+ },
902
+ {
903
+ "epoch": 2.653927813163482,
904
+ "grad_norm": 0.228515625,
905
+ "learning_rate": 0.00018368456385349334,
906
+ "loss": 0.6135,
907
+ "step": 625
908
+ },
909
+ {
910
+ "epoch": 2.6751592356687897,
911
+ "grad_norm": 0.2177734375,
912
+ "learning_rate": 0.0001832756803879737,
913
+ "loss": 0.6064,
914
+ "step": 630
915
+ },
916
+ {
917
+ "epoch": 2.6963906581740975,
918
+ "grad_norm": 0.2236328125,
919
+ "learning_rate": 0.0001828622035125332,
920
+ "loss": 0.6026,
921
+ "step": 635
922
+ },
923
+ {
924
+ "epoch": 2.7176220806794054,
925
+ "grad_norm": 0.2197265625,
926
+ "learning_rate": 0.00018244415603417603,
927
+ "loss": 0.614,
928
+ "step": 640
929
+ },
930
+ {
931
+ "epoch": 2.738853503184713,
932
+ "grad_norm": 0.26953125,
933
+ "learning_rate": 0.00018202156101201645,
934
+ "loss": 0.6176,
935
+ "step": 645
936
+ },
937
+ {
938
+ "epoch": 2.7600849256900215,
939
+ "grad_norm": 0.2021484375,
940
+ "learning_rate": 0.00018159444175600703,
941
+ "loss": 0.6057,
942
+ "step": 650
943
+ },
944
+ {
945
+ "epoch": 2.781316348195329,
946
+ "grad_norm": 0.2490234375,
947
+ "learning_rate": 0.00018116282182565311,
948
+ "loss": 0.6044,
949
+ "step": 655
950
+ },
951
+ {
952
+ "epoch": 2.802547770700637,
953
+ "grad_norm": 0.19921875,
954
+ "learning_rate": 0.00018072672502871296,
955
+ "loss": 0.5988,
956
+ "step": 660
957
+ },
958
+ {
959
+ "epoch": 2.8237791932059446,
960
+ "grad_norm": 0.20703125,
961
+ "learning_rate": 0.00018028617541988472,
962
+ "loss": 0.5974,
963
+ "step": 665
964
+ },
965
+ {
966
+ "epoch": 2.845010615711253,
967
+ "grad_norm": 0.279296875,
968
+ "learning_rate": 0.00017984119729947944,
969
+ "loss": 0.6061,
970
+ "step": 670
971
+ },
972
+ {
973
+ "epoch": 2.8662420382165603,
974
+ "grad_norm": 0.23046875,
975
+ "learning_rate": 0.000179391815212081,
976
+ "loss": 0.6102,
977
+ "step": 675
978
+ },
979
+ {
980
+ "epoch": 2.8874734607218686,
981
+ "grad_norm": 0.2314453125,
982
+ "learning_rate": 0.0001789380539451919,
983
+ "loss": 0.6052,
984
+ "step": 680
985
+ },
986
+ {
987
+ "epoch": 2.908704883227176,
988
+ "grad_norm": 0.34765625,
989
+ "learning_rate": 0.0001784799385278661,
990
+ "loss": 0.6062,
991
+ "step": 685
992
+ },
993
+ {
994
+ "epoch": 2.9299363057324843,
995
+ "grad_norm": 0.2197265625,
996
+ "learning_rate": 0.0001780174942293287,
997
+ "loss": 0.6058,
998
+ "step": 690
999
+ },
1000
+ {
1001
+ "epoch": 2.9511677282377917,
1002
+ "grad_norm": 0.2109375,
1003
+ "learning_rate": 0.00017755074655758174,
1004
+ "loss": 0.6051,
1005
+ "step": 695
1006
+ },
1007
+ {
1008
+ "epoch": 2.9723991507431,
1009
+ "grad_norm": 0.283203125,
1010
+ "learning_rate": 0.00017707972125799735,
1011
+ "loss": 0.6019,
1012
+ "step": 700
1013
+ },
1014
+ {
1015
+ "epoch": 2.9936305732484074,
1016
+ "grad_norm": 0.2099609375,
1017
+ "learning_rate": 0.0001766044443118978,
1018
+ "loss": 0.6047,
1019
+ "step": 705
1020
+ },
1021
+ {
1022
+ "epoch": 2.9978768577494694,
1023
+ "eval_loss": 1.4090731143951416,
1024
+ "eval_runtime": 0.6234,
1025
+ "eval_samples_per_second": 8.021,
1026
+ "eval_steps_per_second": 1.604,
1027
+ "step": 706
1028
+ },
1029
+ {
1030
+ "epoch": 3.0148619957537157,
1031
+ "grad_norm": 0.259765625,
1032
+ "learning_rate": 0.0001761249419351222,
1033
+ "loss": 0.5844,
1034
+ "step": 710
1035
+ },
1036
+ {
1037
+ "epoch": 3.0360934182590236,
1038
+ "grad_norm": 0.1923828125,
1039
+ "learning_rate": 0.00017564124057658056,
1040
+ "loss": 0.5729,
1041
+ "step": 715
1042
+ },
1043
+ {
1044
+ "epoch": 3.0573248407643314,
1045
+ "grad_norm": 0.197265625,
1046
+ "learning_rate": 0.00017515336691679477,
1047
+ "loss": 0.571,
1048
+ "step": 720
1049
+ },
1050
+ {
1051
+ "epoch": 3.0785562632696393,
1052
+ "grad_norm": 0.2109375,
1053
+ "learning_rate": 0.0001746613478664271,
1054
+ "loss": 0.5809,
1055
+ "step": 725
1056
+ },
1057
+ {
1058
+ "epoch": 3.099787685774947,
1059
+ "grad_norm": 0.1923828125,
1060
+ "learning_rate": 0.00017416521056479577,
1061
+ "loss": 0.5789,
1062
+ "step": 730
1063
+ },
1064
+ {
1065
+ "epoch": 3.121019108280255,
1066
+ "grad_norm": 0.193359375,
1067
+ "learning_rate": 0.0001736649823783779,
1068
+ "loss": 0.5725,
1069
+ "step": 735
1070
+ },
1071
+ {
1072
+ "epoch": 3.142250530785563,
1073
+ "grad_norm": 0.23046875,
1074
+ "learning_rate": 0.00017316069089930007,
1075
+ "loss": 0.5729,
1076
+ "step": 740
1077
+ },
1078
+ {
1079
+ "epoch": 3.1634819532908707,
1080
+ "grad_norm": 0.251953125,
1081
+ "learning_rate": 0.00017265236394381633,
1082
+ "loss": 0.5839,
1083
+ "step": 745
1084
+ },
1085
+ {
1086
+ "epoch": 3.1847133757961785,
1087
+ "grad_norm": 0.2158203125,
1088
+ "learning_rate": 0.00017214002955077393,
1089
+ "loss": 0.5877,
1090
+ "step": 750
1091
+ },
1092
+ {
1093
+ "epoch": 3.2059447983014864,
1094
+ "grad_norm": 0.208984375,
1095
+ "learning_rate": 0.00017162371598006666,
1096
+ "loss": 0.5787,
1097
+ "step": 755
1098
+ },
1099
+ {
1100
+ "epoch": 3.2271762208067942,
1101
+ "grad_norm": 0.31640625,
1102
+ "learning_rate": 0.0001711034517110761,
1103
+ "loss": 0.5841,
1104
+ "step": 760
1105
+ },
1106
+ {
1107
+ "epoch": 3.248407643312102,
1108
+ "grad_norm": 0.224609375,
1109
+ "learning_rate": 0.0001705792654411007,
1110
+ "loss": 0.5784,
1111
+ "step": 765
1112
+ },
1113
+ {
1114
+ "epoch": 3.26963906581741,
1115
+ "grad_norm": 0.265625,
1116
+ "learning_rate": 0.00017005118608377288,
1117
+ "loss": 0.5898,
1118
+ "step": 770
1119
+ },
1120
+ {
1121
+ "epoch": 3.290870488322718,
1122
+ "grad_norm": 0.236328125,
1123
+ "learning_rate": 0.00016951924276746425,
1124
+ "loss": 0.5793,
1125
+ "step": 775
1126
+ },
1127
+ {
1128
+ "epoch": 3.3121019108280256,
1129
+ "grad_norm": 0.2041015625,
1130
+ "learning_rate": 0.00016898346483367867,
1131
+ "loss": 0.5716,
1132
+ "step": 780
1133
+ },
1134
+ {
1135
+ "epoch": 3.3333333333333335,
1136
+ "grad_norm": 0.2158203125,
1137
+ "learning_rate": 0.00016844388183543418,
1138
+ "loss": 0.5862,
1139
+ "step": 785
1140
+ },
1141
+ {
1142
+ "epoch": 3.3545647558386413,
1143
+ "grad_norm": 0.4375,
1144
+ "learning_rate": 0.00016790052353563253,
1145
+ "loss": 0.5867,
1146
+ "step": 790
1147
+ },
1148
+ {
1149
+ "epoch": 3.375796178343949,
1150
+ "grad_norm": 0.30078125,
1151
+ "learning_rate": 0.00016735341990541764,
1152
+ "loss": 0.5883,
1153
+ "step": 795
1154
+ },
1155
+ {
1156
+ "epoch": 3.397027600849257,
1157
+ "grad_norm": 0.287109375,
1158
+ "learning_rate": 0.0001668026011225225,
1159
+ "loss": 0.5884,
1160
+ "step": 800
1161
+ },
1162
+ {
1163
+ "epoch": 3.418259023354565,
1164
+ "grad_norm": 0.3046875,
1165
+ "learning_rate": 0.00016624809756960444,
1166
+ "loss": 0.5748,
1167
+ "step": 805
1168
+ },
1169
+ {
1170
+ "epoch": 3.4394904458598727,
1171
+ "grad_norm": 0.2333984375,
1172
+ "learning_rate": 0.0001656899398325693,
1173
+ "loss": 0.5826,
1174
+ "step": 810
1175
+ },
1176
+ {
1177
+ "epoch": 3.4607218683651806,
1178
+ "grad_norm": 0.26953125,
1179
+ "learning_rate": 0.0001651281586988844,
1180
+ "loss": 0.5771,
1181
+ "step": 815
1182
+ },
1183
+ {
1184
+ "epoch": 3.4819532908704884,
1185
+ "grad_norm": 0.24609375,
1186
+ "learning_rate": 0.00016456278515588024,
1187
+ "loss": 0.5772,
1188
+ "step": 820
1189
+ },
1190
+ {
1191
+ "epoch": 3.5031847133757963,
1192
+ "grad_norm": 0.2119140625,
1193
+ "learning_rate": 0.00016399385038904138,
1194
+ "loss": 0.5811,
1195
+ "step": 825
1196
+ },
1197
+ {
1198
+ "epoch": 3.524416135881104,
1199
+ "grad_norm": 0.265625,
1200
+ "learning_rate": 0.00016342138578028613,
1201
+ "loss": 0.5806,
1202
+ "step": 830
1203
+ },
1204
+ {
1205
+ "epoch": 3.545647558386412,
1206
+ "grad_norm": 0.2041015625,
1207
+ "learning_rate": 0.00016284542290623567,
1208
+ "loss": 0.5873,
1209
+ "step": 835
1210
+ },
1211
+ {
1212
+ "epoch": 3.56687898089172,
1213
+ "grad_norm": 0.259765625,
1214
+ "learning_rate": 0.00016226599353647228,
1215
+ "loss": 0.5766,
1216
+ "step": 840
1217
+ },
1218
+ {
1219
+ "epoch": 3.5881104033970277,
1220
+ "grad_norm": 0.2578125,
1221
+ "learning_rate": 0.00016168312963178697,
1222
+ "loss": 0.5819,
1223
+ "step": 845
1224
+ },
1225
+ {
1226
+ "epoch": 3.6093418259023355,
1227
+ "grad_norm": 0.19921875,
1228
+ "learning_rate": 0.00016109686334241655,
1229
+ "loss": 0.5832,
1230
+ "step": 850
1231
+ },
1232
+ {
1233
+ "epoch": 3.6305732484076434,
1234
+ "grad_norm": 0.2021484375,
1235
+ "learning_rate": 0.00016050722700627012,
1236
+ "loss": 0.5846,
1237
+ "step": 855
1238
+ },
1239
+ {
1240
+ "epoch": 3.6518046709129512,
1241
+ "grad_norm": 0.2158203125,
1242
+ "learning_rate": 0.0001599142531471456,
1243
+ "loss": 0.5818,
1244
+ "step": 860
1245
+ },
1246
+ {
1247
+ "epoch": 3.673036093418259,
1248
+ "grad_norm": 0.19921875,
1249
+ "learning_rate": 0.00015931797447293552,
1250
+ "loss": 0.5826,
1251
+ "step": 865
1252
+ },
1253
+ {
1254
+ "epoch": 3.694267515923567,
1255
+ "grad_norm": 0.236328125,
1256
+ "learning_rate": 0.00015871842387382305,
1257
+ "loss": 0.5823,
1258
+ "step": 870
1259
+ },
1260
+ {
1261
+ "epoch": 3.715498938428875,
1262
+ "grad_norm": 0.2021484375,
1263
+ "learning_rate": 0.00015811563442046767,
1264
+ "loss": 0.5813,
1265
+ "step": 875
1266
+ },
1267
+ {
1268
+ "epoch": 3.7367303609341826,
1269
+ "grad_norm": 0.203125,
1270
+ "learning_rate": 0.00015750963936218105,
1271
+ "loss": 0.581,
1272
+ "step": 880
1273
+ },
1274
+ {
1275
+ "epoch": 3.7579617834394905,
1276
+ "grad_norm": 0.19921875,
1277
+ "learning_rate": 0.00015690047212509316,
1278
+ "loss": 0.5763,
1279
+ "step": 885
1280
+ },
1281
+ {
1282
+ "epoch": 3.7791932059447984,
1283
+ "grad_norm": 0.2216796875,
1284
+ "learning_rate": 0.00015628816631030836,
1285
+ "loss": 0.5776,
1286
+ "step": 890
1287
+ },
1288
+ {
1289
+ "epoch": 3.800424628450106,
1290
+ "grad_norm": 0.2177734375,
1291
+ "learning_rate": 0.00015567275569205218,
1292
+ "loss": 0.5785,
1293
+ "step": 895
1294
+ },
1295
+ {
1296
+ "epoch": 3.821656050955414,
1297
+ "grad_norm": 0.193359375,
1298
+ "learning_rate": 0.00015505427421580808,
1299
+ "loss": 0.581,
1300
+ "step": 900
1301
+ },
1302
+ {
1303
+ "epoch": 3.842887473460722,
1304
+ "grad_norm": 0.3984375,
1305
+ "learning_rate": 0.00015443275599644538,
1306
+ "loss": 0.5765,
1307
+ "step": 905
1308
+ },
1309
+ {
1310
+ "epoch": 3.8641188959660298,
1311
+ "grad_norm": 0.208984375,
1312
+ "learning_rate": 0.00015380823531633729,
1313
+ "loss": 0.5751,
1314
+ "step": 910
1315
+ },
1316
+ {
1317
+ "epoch": 3.8853503184713376,
1318
+ "grad_norm": 0.248046875,
1319
+ "learning_rate": 0.00015318074662346994,
1320
+ "loss": 0.5759,
1321
+ "step": 915
1322
+ },
1323
+ {
1324
+ "epoch": 3.9065817409766455,
1325
+ "grad_norm": 0.2001953125,
1326
+ "learning_rate": 0.00015255032452954245,
1327
+ "loss": 0.5856,
1328
+ "step": 920
1329
+ },
1330
+ {
1331
+ "epoch": 3.9278131634819533,
1332
+ "grad_norm": 0.21875,
1333
+ "learning_rate": 0.00015191700380805752,
1334
+ "loss": 0.5848,
1335
+ "step": 925
1336
+ },
1337
+ {
1338
+ "epoch": 3.949044585987261,
1339
+ "grad_norm": 0.20703125,
1340
+ "learning_rate": 0.00015128081939240357,
1341
+ "loss": 0.5871,
1342
+ "step": 930
1343
+ },
1344
+ {
1345
+ "epoch": 3.970276008492569,
1346
+ "grad_norm": 0.220703125,
1347
+ "learning_rate": 0.00015064180637392764,
1348
+ "loss": 0.5803,
1349
+ "step": 935
1350
+ },
1351
+ {
1352
+ "epoch": 3.991507430997877,
1353
+ "grad_norm": 0.220703125,
1354
+ "learning_rate": 0.00015000000000000001,
1355
+ "loss": 0.5773,
1356
+ "step": 940
1357
+ },
1358
+ {
1359
+ "epoch": 4.0,
1360
+ "eval_loss": 1.442795753479004,
1361
+ "eval_runtime": 0.4901,
1362
+ "eval_samples_per_second": 10.203,
1363
+ "eval_steps_per_second": 2.041,
1364
+ "step": 942
1365
+ },
1366
+ {
1367
+ "epoch": 4.012738853503185,
1368
+ "grad_norm": 0.2255859375,
1369
+ "learning_rate": 0.00014935543567206984,
1370
+ "loss": 0.5596,
1371
+ "step": 945
1372
+ },
1373
+ {
1374
+ "epoch": 4.033970276008493,
1375
+ "grad_norm": 0.287109375,
1376
+ "learning_rate": 0.00014870814894371245,
1377
+ "loss": 0.5489,
1378
+ "step": 950
1379
+ },
1380
+ {
1381
+ "epoch": 4.055201698513801,
1382
+ "grad_norm": 0.240234375,
1383
+ "learning_rate": 0.00014805817551866838,
1384
+ "loss": 0.5555,
1385
+ "step": 955
1386
+ },
1387
+ {
1388
+ "epoch": 4.076433121019108,
1389
+ "grad_norm": 0.267578125,
1390
+ "learning_rate": 0.00014740555124887375,
1391
+ "loss": 0.5524,
1392
+ "step": 960
1393
+ },
1394
+ {
1395
+ "epoch": 4.097664543524417,
1396
+ "grad_norm": 0.26171875,
1397
+ "learning_rate": 0.00014675031213248296,
1398
+ "loss": 0.5603,
1399
+ "step": 965
1400
+ },
1401
+ {
1402
+ "epoch": 4.118895966029724,
1403
+ "grad_norm": 0.2041015625,
1404
+ "learning_rate": 0.00014609249431188278,
1405
+ "loss": 0.5587,
1406
+ "step": 970
1407
+ },
1408
+ {
1409
+ "epoch": 4.140127388535032,
1410
+ "grad_norm": 0.2578125,
1411
+ "learning_rate": 0.0001454321340716992,
1412
+ "loss": 0.5552,
1413
+ "step": 975
1414
+ },
1415
+ {
1416
+ "epoch": 4.16135881104034,
1417
+ "grad_norm": 0.25390625,
1418
+ "learning_rate": 0.00014476926783679538,
1419
+ "loss": 0.5542,
1420
+ "step": 980
1421
+ },
1422
+ {
1423
+ "epoch": 4.182590233545648,
1424
+ "grad_norm": 0.28125,
1425
+ "learning_rate": 0.00014410393217026318,
1426
+ "loss": 0.5554,
1427
+ "step": 985
1428
+ },
1429
+ {
1430
+ "epoch": 4.203821656050955,
1431
+ "grad_norm": 0.255859375,
1432
+ "learning_rate": 0.00014343616377140582,
1433
+ "loss": 0.5477,
1434
+ "step": 990
1435
+ },
1436
+ {
1437
+ "epoch": 4.225053078556264,
1438
+ "grad_norm": 0.34375,
1439
+ "learning_rate": 0.00014276599947371388,
1440
+ "loss": 0.5477,
1441
+ "step": 995
1442
+ },
1443
+ {
1444
+ "epoch": 4.246284501061571,
1445
+ "grad_norm": 0.234375,
1446
+ "learning_rate": 0.0001420934762428335,
1447
+ "loss": 0.5563,
1448
+ "step": 1000
1449
+ },
1450
+ {
1451
+ "epoch": 4.267515923566879,
1452
+ "grad_norm": 0.2001953125,
1453
+ "learning_rate": 0.00014141863117452745,
1454
+ "loss": 0.5552,
1455
+ "step": 1005
1456
+ },
1457
+ {
1458
+ "epoch": 4.288747346072187,
1459
+ "grad_norm": 0.259765625,
1460
+ "learning_rate": 0.0001407415014926288,
1461
+ "loss": 0.553,
1462
+ "step": 1010
1463
+ },
1464
+ {
1465
+ "epoch": 4.309978768577495,
1466
+ "grad_norm": 0.2119140625,
1467
+ "learning_rate": 0.00014006212454698797,
1468
+ "loss": 0.5575,
1469
+ "step": 1015
1470
+ },
1471
+ {
1472
+ "epoch": 4.3312101910828025,
1473
+ "grad_norm": 0.228515625,
1474
+ "learning_rate": 0.00013938053781141222,
1475
+ "loss": 0.5604,
1476
+ "step": 1020
1477
+ },
1478
+ {
1479
+ "epoch": 4.352441613588111,
1480
+ "grad_norm": 0.234375,
1481
+ "learning_rate": 0.00013869677888159887,
1482
+ "loss": 0.5556,
1483
+ "step": 1025
1484
+ },
1485
+ {
1486
+ "epoch": 4.373673036093418,
1487
+ "grad_norm": 0.25390625,
1488
+ "learning_rate": 0.00013801088547306148,
1489
+ "loss": 0.5557,
1490
+ "step": 1030
1491
+ },
1492
+ {
1493
+ "epoch": 4.3949044585987265,
1494
+ "grad_norm": 0.224609375,
1495
+ "learning_rate": 0.00013732289541904948,
1496
+ "loss": 0.5595,
1497
+ "step": 1035
1498
+ },
1499
+ {
1500
+ "epoch": 4.416135881104034,
1501
+ "grad_norm": 0.2109375,
1502
+ "learning_rate": 0.00013663284666846134,
1503
+ "loss": 0.5605,
1504
+ "step": 1040
1505
+ },
1506
+ {
1507
+ "epoch": 4.437367303609342,
1508
+ "grad_norm": 0.205078125,
1509
+ "learning_rate": 0.00013594077728375128,
1510
+ "loss": 0.5598,
1511
+ "step": 1045
1512
+ },
1513
+ {
1514
+ "epoch": 4.45859872611465,
1515
+ "grad_norm": 0.23046875,
1516
+ "learning_rate": 0.00013524672543882996,
1517
+ "loss": 0.559,
1518
+ "step": 1050
1519
+ },
1520
+ {
1521
+ "epoch": 4.479830148619958,
1522
+ "grad_norm": 0.2080078125,
1523
+ "learning_rate": 0.00013455072941695863,
1524
+ "loss": 0.5612,
1525
+ "step": 1055
1526
+ },
1527
+ {
1528
+ "epoch": 4.501061571125265,
1529
+ "grad_norm": 0.21484375,
1530
+ "learning_rate": 0.00013385282760863758,
1531
+ "loss": 0.556,
1532
+ "step": 1060
1533
+ },
1534
+ {
1535
+ "epoch": 4.522292993630574,
1536
+ "grad_norm": 0.2275390625,
1537
+ "learning_rate": 0.00013315305850948846,
1538
+ "loss": 0.5551,
1539
+ "step": 1065
1540
+ },
1541
+ {
1542
+ "epoch": 4.543524416135881,
1543
+ "grad_norm": 0.20703125,
1544
+ "learning_rate": 0.00013245146071813114,
1545
+ "loss": 0.5602,
1546
+ "step": 1070
1547
+ },
1548
+ {
1549
+ "epoch": 4.564755838641189,
1550
+ "grad_norm": 0.208984375,
1551
+ "learning_rate": 0.00013174807293405428,
1552
+ "loss": 0.5467,
1553
+ "step": 1075
1554
+ },
1555
+ {
1556
+ "epoch": 4.585987261146497,
1557
+ "grad_norm": 0.2177734375,
1558
+ "learning_rate": 0.00013104293395548098,
1559
+ "loss": 0.5551,
1560
+ "step": 1080
1561
+ },
1562
+ {
1563
+ "epoch": 4.607218683651805,
1564
+ "grad_norm": 0.21484375,
1565
+ "learning_rate": 0.00013033608267722858,
1566
+ "loss": 0.5533,
1567
+ "step": 1085
1568
+ },
1569
+ {
1570
+ "epoch": 4.628450106157112,
1571
+ "grad_norm": 0.208984375,
1572
+ "learning_rate": 0.00012962755808856342,
1573
+ "loss": 0.5531,
1574
+ "step": 1090
1575
+ },
1576
+ {
1577
+ "epoch": 4.649681528662421,
1578
+ "grad_norm": 0.22265625,
1579
+ "learning_rate": 0.0001289173992710499,
1580
+ "loss": 0.5585,
1581
+ "step": 1095
1582
+ },
1583
+ {
1584
+ "epoch": 4.670912951167728,
1585
+ "grad_norm": 0.25,
1586
+ "learning_rate": 0.00012820564539639512,
1587
+ "loss": 0.5601,
1588
+ "step": 1100
1589
+ },
1590
+ {
1591
+ "epoch": 4.692144373673036,
1592
+ "grad_norm": 0.2236328125,
1593
+ "learning_rate": 0.00012749233572428804,
1594
+ "loss": 0.5586,
1595
+ "step": 1105
1596
+ },
1597
+ {
1598
+ "epoch": 4.713375796178344,
1599
+ "grad_norm": 0.2099609375,
1600
+ "learning_rate": 0.00012677750960023396,
1601
+ "loss": 0.5584,
1602
+ "step": 1110
1603
+ },
1604
+ {
1605
+ "epoch": 4.734607218683652,
1606
+ "grad_norm": 0.259765625,
1607
+ "learning_rate": 0.0001260612064533843,
1608
+ "loss": 0.5655,
1609
+ "step": 1115
1610
+ },
1611
+ {
1612
+ "epoch": 4.7558386411889595,
1613
+ "grad_norm": 0.220703125,
1614
+ "learning_rate": 0.0001253434657943616,
1615
+ "loss": 0.5516,
1616
+ "step": 1120
1617
+ },
1618
+ {
1619
+ "epoch": 4.777070063694268,
1620
+ "grad_norm": 0.19921875,
1621
+ "learning_rate": 0.0001246243272130804,
1622
+ "loss": 0.552,
1623
+ "step": 1125
1624
+ },
1625
+ {
1626
+ "epoch": 4.798301486199575,
1627
+ "grad_norm": 0.205078125,
1628
+ "learning_rate": 0.00012390383037656327,
1629
+ "loss": 0.5549,
1630
+ "step": 1130
1631
+ },
1632
+ {
1633
+ "epoch": 4.8195329087048835,
1634
+ "grad_norm": 0.228515625,
1635
+ "learning_rate": 0.00012318201502675285,
1636
+ "loss": 0.5564,
1637
+ "step": 1135
1638
+ },
1639
+ {
1640
+ "epoch": 4.840764331210191,
1641
+ "grad_norm": 0.21875,
1642
+ "learning_rate": 0.00012245892097831982,
1643
+ "loss": 0.5617,
1644
+ "step": 1140
1645
+ },
1646
+ {
1647
+ "epoch": 4.861995753715499,
1648
+ "grad_norm": 0.2734375,
1649
+ "learning_rate": 0.0001217345881164667,
1650
+ "loss": 0.564,
1651
+ "step": 1145
1652
+ },
1653
+ {
1654
+ "epoch": 4.883227176220807,
1655
+ "grad_norm": 0.296875,
1656
+ "learning_rate": 0.00012100905639472779,
1657
+ "loss": 0.5534,
1658
+ "step": 1150
1659
+ },
1660
+ {
1661
+ "epoch": 4.904458598726115,
1662
+ "grad_norm": 0.296875,
1663
+ "learning_rate": 0.00012028236583276542,
1664
+ "loss": 0.5556,
1665
+ "step": 1155
1666
+ },
1667
+ {
1668
+ "epoch": 4.925690021231422,
1669
+ "grad_norm": 0.224609375,
1670
+ "learning_rate": 0.00011955455651416246,
1671
+ "loss": 0.5656,
1672
+ "step": 1160
1673
+ },
1674
+ {
1675
+ "epoch": 4.946921443736731,
1676
+ "grad_norm": 0.21875,
1677
+ "learning_rate": 0.00011882566858421135,
1678
+ "loss": 0.5595,
1679
+ "step": 1165
1680
+ },
1681
+ {
1682
+ "epoch": 4.968152866242038,
1683
+ "grad_norm": 0.2373046875,
1684
+ "learning_rate": 0.00011809574224769981,
1685
+ "loss": 0.56,
1686
+ "step": 1170
1687
+ },
1688
+ {
1689
+ "epoch": 4.989384288747346,
1690
+ "grad_norm": 0.2265625,
1691
+ "learning_rate": 0.00011736481776669306,
1692
+ "loss": 0.5548,
1693
+ "step": 1175
1694
+ },
1695
+ {
1696
+ "epoch": 4.997876857749469,
1697
+ "eval_loss": 1.4904053211212158,
1698
+ "eval_runtime": 0.6021,
1699
+ "eval_samples_per_second": 8.304,
1700
+ "eval_steps_per_second": 1.661,
1701
+ "step": 1177
1702
+ },
1703
+ {
1704
+ "epoch": 5.010615711252654,
1705
+ "grad_norm": 0.21484375,
1706
+ "learning_rate": 0.00011663293545831302,
1707
+ "loss": 0.5538,
1708
+ "step": 1180
1709
+ },
1710
+ {
1711
+ "epoch": 5.031847133757962,
1712
+ "grad_norm": 0.255859375,
1713
+ "learning_rate": 0.00011590013569251457,
1714
+ "loss": 0.5333,
1715
+ "step": 1185
1716
+ },
1717
+ {
1718
+ "epoch": 5.053078556263269,
1719
+ "grad_norm": 0.2265625,
1720
+ "learning_rate": 0.0001151664588898586,
1721
+ "loss": 0.5372,
1722
+ "step": 1190
1723
+ },
1724
+ {
1725
+ "epoch": 5.074309978768578,
1726
+ "grad_norm": 0.27734375,
1727
+ "learning_rate": 0.00011443194551928266,
1728
+ "loss": 0.5291,
1729
+ "step": 1195
1730
+ },
1731
+ {
1732
+ "epoch": 5.095541401273885,
1733
+ "grad_norm": 0.2197265625,
1734
+ "learning_rate": 0.00011369663609586854,
1735
+ "loss": 0.5301,
1736
+ "step": 1200
1737
+ },
1738
+ {
1739
+ "epoch": 5.116772823779193,
1740
+ "grad_norm": 0.21484375,
1741
+ "learning_rate": 0.00011296057117860759,
1742
+ "loss": 0.5246,
1743
+ "step": 1205
1744
+ },
1745
+ {
1746
+ "epoch": 5.138004246284501,
1747
+ "grad_norm": 0.267578125,
1748
+ "learning_rate": 0.00011222379136816345,
1749
+ "loss": 0.5341,
1750
+ "step": 1210
1751
+ },
1752
+ {
1753
+ "epoch": 5.159235668789809,
1754
+ "grad_norm": 0.2578125,
1755
+ "learning_rate": 0.00011148633730463273,
1756
+ "loss": 0.5391,
1757
+ "step": 1215
1758
+ },
1759
+ {
1760
+ "epoch": 5.1804670912951165,
1761
+ "grad_norm": 0.220703125,
1762
+ "learning_rate": 0.00011074824966530312,
1763
+ "loss": 0.5354,
1764
+ "step": 1220
1765
+ },
1766
+ {
1767
+ "epoch": 5.201698513800425,
1768
+ "grad_norm": 0.2177734375,
1769
+ "learning_rate": 0.00011000956916240985,
1770
+ "loss": 0.5315,
1771
+ "step": 1225
1772
+ },
1773
+ {
1774
+ "epoch": 5.222929936305732,
1775
+ "grad_norm": 0.2216796875,
1776
+ "learning_rate": 0.00010927033654088983,
1777
+ "loss": 0.5396,
1778
+ "step": 1230
1779
+ },
1780
+ {
1781
+ "epoch": 5.2441613588110405,
1782
+ "grad_norm": 0.26953125,
1783
+ "learning_rate": 0.00010853059257613448,
1784
+ "loss": 0.5375,
1785
+ "step": 1235
1786
+ },
1787
+ {
1788
+ "epoch": 5.265392781316348,
1789
+ "grad_norm": 0.28125,
1790
+ "learning_rate": 0.00010779037807174033,
1791
+ "loss": 0.5332,
1792
+ "step": 1240
1793
+ },
1794
+ {
1795
+ "epoch": 5.286624203821656,
1796
+ "grad_norm": 0.244140625,
1797
+ "learning_rate": 0.00010704973385725851,
1798
+ "loss": 0.5324,
1799
+ "step": 1245
1800
+ },
1801
+ {
1802
+ "epoch": 5.307855626326964,
1803
+ "grad_norm": 0.2333984375,
1804
+ "learning_rate": 0.00010630870078594249,
1805
+ "loss": 0.5344,
1806
+ "step": 1250
1807
+ },
1808
+ {
1809
+ "epoch": 5.329087048832272,
1810
+ "grad_norm": 0.373046875,
1811
+ "learning_rate": 0.00010556731973249485,
1812
+ "loss": 0.5272,
1813
+ "step": 1255
1814
+ },
1815
+ {
1816
+ "epoch": 5.350318471337579,
1817
+ "grad_norm": 0.287109375,
1818
+ "learning_rate": 0.00010482563159081238,
1819
+ "loss": 0.5331,
1820
+ "step": 1260
1821
+ },
1822
+ {
1823
+ "epoch": 5.371549893842888,
1824
+ "grad_norm": 0.24609375,
1825
+ "learning_rate": 0.00010408367727173067,
1826
+ "loss": 0.5327,
1827
+ "step": 1265
1828
+ },
1829
+ {
1830
+ "epoch": 5.392781316348195,
1831
+ "grad_norm": 0.23046875,
1832
+ "learning_rate": 0.00010334149770076747,
1833
+ "loss": 0.5319,
1834
+ "step": 1270
1835
+ },
1836
+ {
1837
+ "epoch": 5.414012738853503,
1838
+ "grad_norm": 0.240234375,
1839
+ "learning_rate": 0.0001025991338158651,
1840
+ "loss": 0.5439,
1841
+ "step": 1275
1842
+ },
1843
+ {
1844
+ "epoch": 5.435244161358811,
1845
+ "grad_norm": 0.2353515625,
1846
+ "learning_rate": 0.00010185662656513251,
1847
+ "loss": 0.5419,
1848
+ "step": 1280
1849
+ },
1850
+ {
1851
+ "epoch": 5.456475583864119,
1852
+ "grad_norm": 0.224609375,
1853
+ "learning_rate": 0.00010111401690458654,
1854
+ "loss": 0.5375,
1855
+ "step": 1285
1856
+ },
1857
+ {
1858
+ "epoch": 5.477707006369426,
1859
+ "grad_norm": 0.2421875,
1860
+ "learning_rate": 0.00010037134579589302,
1861
+ "loss": 0.5351,
1862
+ "step": 1290
1863
+ },
1864
+ {
1865
+ "epoch": 5.498938428874735,
1866
+ "grad_norm": 0.26953125,
1867
+ "learning_rate": 9.962865420410701e-05,
1868
+ "loss": 0.53,
1869
+ "step": 1295
1870
+ },
1871
+ {
1872
+ "epoch": 5.520169851380042,
1873
+ "grad_norm": 0.291015625,
1874
+ "learning_rate": 9.888598309541347e-05,
1875
+ "loss": 0.5318,
1876
+ "step": 1300
1877
+ },
1878
+ {
1879
+ "epoch": 5.54140127388535,
1880
+ "grad_norm": 0.2314453125,
1881
+ "learning_rate": 9.814337343486754e-05,
1882
+ "loss": 0.5348,
1883
+ "step": 1305
1884
+ },
1885
+ {
1886
+ "epoch": 5.562632696390658,
1887
+ "grad_norm": 0.33203125,
1888
+ "learning_rate": 9.740086618413495e-05,
1889
+ "loss": 0.5301,
1890
+ "step": 1310
1891
+ },
1892
+ {
1893
+ "epoch": 5.583864118895966,
1894
+ "grad_norm": 0.2578125,
1895
+ "learning_rate": 9.665850229923258e-05,
1896
+ "loss": 0.5333,
1897
+ "step": 1315
1898
+ },
1899
+ {
1900
+ "epoch": 5.6050955414012735,
1901
+ "grad_norm": 0.2373046875,
1902
+ "learning_rate": 9.591632272826934e-05,
1903
+ "loss": 0.5344,
1904
+ "step": 1320
1905
+ },
1906
+ {
1907
+ "epoch": 5.626326963906582,
1908
+ "grad_norm": 0.2138671875,
1909
+ "learning_rate": 9.517436840918766e-05,
1910
+ "loss": 0.529,
1911
+ "step": 1325
1912
+ },
1913
+ {
1914
+ "epoch": 5.647558386411889,
1915
+ "grad_norm": 0.2216796875,
1916
+ "learning_rate": 9.44326802675052e-05,
1917
+ "loss": 0.5346,
1918
+ "step": 1330
1919
+ },
1920
+ {
1921
+ "epoch": 5.6687898089171975,
1922
+ "grad_norm": 0.279296875,
1923
+ "learning_rate": 9.369129921405754e-05,
1924
+ "loss": 0.5354,
1925
+ "step": 1335
1926
+ },
1927
+ {
1928
+ "epoch": 5.690021231422505,
1929
+ "grad_norm": 0.2431640625,
1930
+ "learning_rate": 9.295026614274152e-05,
1931
+ "loss": 0.5303,
1932
+ "step": 1340
1933
+ },
1934
+ {
1935
+ "epoch": 5.711252653927813,
1936
+ "grad_norm": 0.2578125,
1937
+ "learning_rate": 9.220962192825968e-05,
1938
+ "loss": 0.5366,
1939
+ "step": 1345
1940
+ },
1941
+ {
1942
+ "epoch": 5.732484076433121,
1943
+ "grad_norm": 0.248046875,
1944
+ "learning_rate": 9.146940742386553e-05,
1945
+ "loss": 0.542,
1946
+ "step": 1350
1947
+ },
1948
+ {
1949
+ "epoch": 5.753715498938429,
1950
+ "grad_norm": 0.21875,
1951
+ "learning_rate": 9.072966345911019e-05,
1952
+ "loss": 0.5402,
1953
+ "step": 1355
1954
+ },
1955
+ {
1956
+ "epoch": 5.774946921443737,
1957
+ "grad_norm": 0.2158203125,
1958
+ "learning_rate": 8.999043083759017e-05,
1959
+ "loss": 0.5336,
1960
+ "step": 1360
1961
+ },
1962
+ {
1963
+ "epoch": 5.796178343949045,
1964
+ "grad_norm": 0.25,
1965
+ "learning_rate": 8.925175033469688e-05,
1966
+ "loss": 0.5389,
1967
+ "step": 1365
1968
+ },
1969
+ {
1970
+ "epoch": 5.817409766454352,
1971
+ "grad_norm": 0.2119140625,
1972
+ "learning_rate": 8.851366269536729e-05,
1973
+ "loss": 0.5355,
1974
+ "step": 1370
1975
+ },
1976
+ {
1977
+ "epoch": 5.83864118895966,
1978
+ "grad_norm": 0.251953125,
1979
+ "learning_rate": 8.777620863183657e-05,
1980
+ "loss": 0.5234,
1981
+ "step": 1375
1982
+ },
1983
+ {
1984
+ "epoch": 5.859872611464969,
1985
+ "grad_norm": 0.255859375,
1986
+ "learning_rate": 8.703942882139245e-05,
1987
+ "loss": 0.5318,
1988
+ "step": 1380
1989
+ },
1990
+ {
1991
+ "epoch": 5.881104033970276,
1992
+ "grad_norm": 0.2294921875,
1993
+ "learning_rate": 8.630336390413147e-05,
1994
+ "loss": 0.5371,
1995
+ "step": 1385
1996
+ },
1997
+ {
1998
+ "epoch": 5.902335456475583,
1999
+ "grad_norm": 0.22265625,
2000
+ "learning_rate": 8.556805448071735e-05,
2001
+ "loss": 0.5317,
2002
+ "step": 1390
2003
+ },
2004
+ {
2005
+ "epoch": 5.923566878980892,
2006
+ "grad_norm": 0.2255859375,
2007
+ "learning_rate": 8.483354111014141e-05,
2008
+ "loss": 0.5331,
2009
+ "step": 1395
2010
+ },
2011
+ {
2012
+ "epoch": 5.9447983014862,
2013
+ "grad_norm": 0.220703125,
2014
+ "learning_rate": 8.409986430748545e-05,
2015
+ "loss": 0.5373,
2016
+ "step": 1400
2017
+ },
2018
+ {
2019
+ "epoch": 5.966029723991507,
2020
+ "grad_norm": 0.240234375,
2021
+ "learning_rate": 8.336706454168701e-05,
2022
+ "loss": 0.5328,
2023
+ "step": 1405
2024
+ },
2025
+ {
2026
+ "epoch": 5.987261146496815,
2027
+ "grad_norm": 0.2578125,
2028
+ "learning_rate": 8.263518223330697e-05,
2029
+ "loss": 0.5409,
2030
+ "step": 1410
2031
+ },
2032
+ {
2033
+ "epoch": 6.0,
2034
+ "eval_loss": 1.5479737520217896,
2035
+ "eval_runtime": 0.4964,
2036
+ "eval_samples_per_second": 10.072,
2037
+ "eval_steps_per_second": 2.014,
2038
+ "step": 1413
2039
+ },
2040
+ {
2041
+ "epoch": 6.008492569002123,
2042
+ "grad_norm": 0.220703125,
2043
+ "learning_rate": 8.190425775230021e-05,
2044
+ "loss": 0.5317,
2045
+ "step": 1415
2046
+ },
2047
+ {
2048
+ "epoch": 6.029723991507431,
2049
+ "grad_norm": 0.228515625,
2050
+ "learning_rate": 8.117433141578866e-05,
2051
+ "loss": 0.5111,
2052
+ "step": 1420
2053
+ },
2054
+ {
2055
+ "epoch": 6.050955414012739,
2056
+ "grad_norm": 0.2275390625,
2057
+ "learning_rate": 8.044544348583755e-05,
2058
+ "loss": 0.5147,
2059
+ "step": 1425
2060
+ },
2061
+ {
2062
+ "epoch": 6.072186836518047,
2063
+ "grad_norm": 0.2197265625,
2064
+ "learning_rate": 7.971763416723459e-05,
2065
+ "loss": 0.5099,
2066
+ "step": 1430
2067
+ },
2068
+ {
2069
+ "epoch": 6.0934182590233545,
2070
+ "grad_norm": 0.251953125,
2071
+ "learning_rate": 7.89909436052722e-05,
2072
+ "loss": 0.511,
2073
+ "step": 1435
2074
+ },
2075
+ {
2076
+ "epoch": 6.114649681528663,
2077
+ "grad_norm": 0.23046875,
2078
+ "learning_rate": 7.826541188353329e-05,
2079
+ "loss": 0.5043,
2080
+ "step": 1440
2081
+ },
2082
+ {
2083
+ "epoch": 6.13588110403397,
2084
+ "grad_norm": 0.232421875,
2085
+ "learning_rate": 7.754107902168019e-05,
2086
+ "loss": 0.5112,
2087
+ "step": 1445
2088
+ },
2089
+ {
2090
+ "epoch": 6.1571125265392785,
2091
+ "grad_norm": 0.26953125,
2092
+ "learning_rate": 7.681798497324716e-05,
2093
+ "loss": 0.5119,
2094
+ "step": 1450
2095
+ },
2096
+ {
2097
+ "epoch": 6.178343949044586,
2098
+ "grad_norm": 0.234375,
2099
+ "learning_rate": 7.609616962343675e-05,
2100
+ "loss": 0.5177,
2101
+ "step": 1455
2102
+ },
2103
+ {
2104
+ "epoch": 6.199575371549894,
2105
+ "grad_norm": 0.232421875,
2106
+ "learning_rate": 7.537567278691964e-05,
2107
+ "loss": 0.5208,
2108
+ "step": 1460
2109
+ },
2110
+ {
2111
+ "epoch": 6.220806794055202,
2112
+ "grad_norm": 0.23046875,
2113
+ "learning_rate": 7.465653420563845e-05,
2114
+ "loss": 0.5126,
2115
+ "step": 1465
2116
+ },
2117
+ {
2118
+ "epoch": 6.24203821656051,
2119
+ "grad_norm": 0.2412109375,
2120
+ "learning_rate": 7.393879354661577e-05,
2121
+ "loss": 0.5185,
2122
+ "step": 1470
2123
+ },
2124
+ {
2125
+ "epoch": 6.263269639065817,
2126
+ "grad_norm": 0.26171875,
2127
+ "learning_rate": 7.322249039976608e-05,
2128
+ "loss": 0.5171,
2129
+ "step": 1475
2130
+ },
2131
+ {
2132
+ "epoch": 6.284501061571126,
2133
+ "grad_norm": 0.24609375,
2134
+ "learning_rate": 7.2507664275712e-05,
2135
+ "loss": 0.5096,
2136
+ "step": 1480
2137
+ },
2138
+ {
2139
+ "epoch": 6.305732484076433,
2140
+ "grad_norm": 0.2578125,
2141
+ "learning_rate": 7.179435460360491e-05,
2142
+ "loss": 0.5116,
2143
+ "step": 1485
2144
+ },
2145
+ {
2146
+ "epoch": 6.326963906581741,
2147
+ "grad_norm": 0.224609375,
2148
+ "learning_rate": 7.108260072895013e-05,
2149
+ "loss": 0.5104,
2150
+ "step": 1490
2151
+ },
2152
+ {
2153
+ "epoch": 6.348195329087049,
2154
+ "grad_norm": 0.2353515625,
2155
+ "learning_rate": 7.037244191143661e-05,
2156
+ "loss": 0.5165,
2157
+ "step": 1495
2158
+ },
2159
+ {
2160
+ "epoch": 6.369426751592357,
2161
+ "grad_norm": 0.275390625,
2162
+ "learning_rate": 6.966391732277143e-05,
2163
+ "loss": 0.5186,
2164
+ "step": 1500
2165
+ },
2166
+ {
2167
+ "epoch": 6.3906581740976645,
2168
+ "grad_norm": 0.2294921875,
2169
+ "learning_rate": 6.895706604451905e-05,
2170
+ "loss": 0.5124,
2171
+ "step": 1505
2172
+ },
2173
+ {
2174
+ "epoch": 6.411889596602973,
2175
+ "grad_norm": 0.2431640625,
2176
+ "learning_rate": 6.825192706594575e-05,
2177
+ "loss": 0.5181,
2178
+ "step": 1510
2179
+ },
2180
+ {
2181
+ "epoch": 6.43312101910828,
2182
+ "grad_norm": 0.2353515625,
2183
+ "learning_rate": 6.75485392818689e-05,
2184
+ "loss": 0.5156,
2185
+ "step": 1515
2186
+ },
2187
+ {
2188
+ "epoch": 6.4543524416135885,
2189
+ "grad_norm": 0.26953125,
2190
+ "learning_rate": 6.684694149051156e-05,
2191
+ "loss": 0.5164,
2192
+ "step": 1520
2193
+ },
2194
+ {
2195
+ "epoch": 6.475583864118896,
2196
+ "grad_norm": 0.23828125,
2197
+ "learning_rate": 6.614717239136246e-05,
2198
+ "loss": 0.5055,
2199
+ "step": 1525
2200
+ },
2201
+ {
2202
+ "epoch": 6.496815286624204,
2203
+ "grad_norm": 0.2431640625,
2204
+ "learning_rate": 6.54492705830414e-05,
2205
+ "loss": 0.5179,
2206
+ "step": 1530
2207
+ },
2208
+ {
2209
+ "epoch": 6.518046709129512,
2210
+ "grad_norm": 0.2412109375,
2211
+ "learning_rate": 6.475327456117005e-05,
2212
+ "loss": 0.5144,
2213
+ "step": 1535
2214
+ },
2215
+ {
2216
+ "epoch": 6.53927813163482,
2217
+ "grad_norm": 0.251953125,
2218
+ "learning_rate": 6.405922271624874e-05,
2219
+ "loss": 0.5117,
2220
+ "step": 1540
2221
+ },
2222
+ {
2223
+ "epoch": 6.560509554140127,
2224
+ "grad_norm": 0.2490234375,
2225
+ "learning_rate": 6.336715333153869e-05,
2226
+ "loss": 0.5143,
2227
+ "step": 1545
2228
+ },
2229
+ {
2230
+ "epoch": 6.581740976645436,
2231
+ "grad_norm": 0.25,
2232
+ "learning_rate": 6.267710458095053e-05,
2233
+ "loss": 0.5136,
2234
+ "step": 1550
2235
+ },
2236
+ {
2237
+ "epoch": 6.602972399150743,
2238
+ "grad_norm": 0.23046875,
2239
+ "learning_rate": 6.198911452693853e-05,
2240
+ "loss": 0.5133,
2241
+ "step": 1555
2242
+ },
2243
+ {
2244
+ "epoch": 6.624203821656051,
2245
+ "grad_norm": 0.2294921875,
2246
+ "learning_rate": 6.130322111840114e-05,
2247
+ "loss": 0.5162,
2248
+ "step": 1560
2249
+ },
2250
+ {
2251
+ "epoch": 6.645435244161359,
2252
+ "grad_norm": 0.2431640625,
2253
+ "learning_rate": 6.0619462188587793e-05,
2254
+ "loss": 0.5171,
2255
+ "step": 1565
2256
+ },
2257
+ {
2258
+ "epoch": 6.666666666666667,
2259
+ "grad_norm": 0.228515625,
2260
+ "learning_rate": 5.993787545301204e-05,
2261
+ "loss": 0.519,
2262
+ "step": 1570
2263
+ },
2264
+ {
2265
+ "epoch": 6.687898089171974,
2266
+ "grad_norm": 0.232421875,
2267
+ "learning_rate": 5.9258498507371194e-05,
2268
+ "loss": 0.5143,
2269
+ "step": 1575
2270
+ },
2271
+ {
2272
+ "epoch": 6.709129511677283,
2273
+ "grad_norm": 0.251953125,
2274
+ "learning_rate": 5.8581368825472585e-05,
2275
+ "loss": 0.5238,
2276
+ "step": 1580
2277
+ },
2278
+ {
2279
+ "epoch": 6.73036093418259,
2280
+ "grad_norm": 0.2578125,
2281
+ "learning_rate": 5.790652375716652e-05,
2282
+ "loss": 0.513,
2283
+ "step": 1585
2284
+ },
2285
+ {
2286
+ "epoch": 6.751592356687898,
2287
+ "grad_norm": 0.234375,
2288
+ "learning_rate": 5.7234000526286156e-05,
2289
+ "loss": 0.5129,
2290
+ "step": 1590
2291
+ },
2292
+ {
2293
+ "epoch": 6.772823779193206,
2294
+ "grad_norm": 0.25,
2295
+ "learning_rate": 5.656383622859418e-05,
2296
+ "loss": 0.5251,
2297
+ "step": 1595
2298
+ },
2299
+ {
2300
+ "epoch": 6.794055201698514,
2301
+ "grad_norm": 0.224609375,
2302
+ "learning_rate": 5.589606782973683e-05,
2303
+ "loss": 0.5158,
2304
+ "step": 1600
2305
+ },
2306
+ {
2307
+ "epoch": 6.8152866242038215,
2308
+ "grad_norm": 0.2392578125,
2309
+ "learning_rate": 5.5230732163204615e-05,
2310
+ "loss": 0.5169,
2311
+ "step": 1605
2312
+ },
2313
+ {
2314
+ "epoch": 6.83651804670913,
2315
+ "grad_norm": 0.275390625,
2316
+ "learning_rate": 5.456786592830083e-05,
2317
+ "loss": 0.5203,
2318
+ "step": 1610
2319
+ },
2320
+ {
2321
+ "epoch": 6.857749469214437,
2322
+ "grad_norm": 0.2275390625,
2323
+ "learning_rate": 5.39075056881172e-05,
2324
+ "loss": 0.5127,
2325
+ "step": 1615
2326
+ },
2327
+ {
2328
+ "epoch": 6.8789808917197455,
2329
+ "grad_norm": 0.2333984375,
2330
+ "learning_rate": 5.3249687867517095e-05,
2331
+ "loss": 0.5176,
2332
+ "step": 1620
2333
+ },
2334
+ {
2335
+ "epoch": 6.900212314225053,
2336
+ "grad_norm": 0.26171875,
2337
+ "learning_rate": 5.259444875112624e-05,
2338
+ "loss": 0.5163,
2339
+ "step": 1625
2340
+ },
2341
+ {
2342
+ "epoch": 6.921443736730361,
2343
+ "grad_norm": 0.296875,
2344
+ "learning_rate": 5.1941824481331626e-05,
2345
+ "loss": 0.5256,
2346
+ "step": 1630
2347
+ },
2348
+ {
2349
+ "epoch": 6.942675159235669,
2350
+ "grad_norm": 0.234375,
2351
+ "learning_rate": 5.129185105628756e-05,
2352
+ "loss": 0.5199,
2353
+ "step": 1635
2354
+ },
2355
+ {
2356
+ "epoch": 6.963906581740977,
2357
+ "grad_norm": 0.275390625,
2358
+ "learning_rate": 5.064456432793019e-05,
2359
+ "loss": 0.5166,
2360
+ "step": 1640
2361
+ },
2362
+ {
2363
+ "epoch": 6.985138004246284,
2364
+ "grad_norm": 0.240234375,
2365
+ "learning_rate": 5.000000000000002e-05,
2366
+ "loss": 0.5151,
2367
+ "step": 1645
2368
+ },
2369
+ {
2370
+ "epoch": 6.997876857749469,
2371
+ "eval_loss": 1.6102020740509033,
2372
+ "eval_runtime": 0.6273,
2373
+ "eval_samples_per_second": 7.971,
2374
+ "eval_steps_per_second": 1.594,
2375
+ "step": 1648
2376
+ },
2377
+ {
2378
+ "epoch": 7.006369426751593,
2379
+ "grad_norm": 0.2275390625,
2380
+ "learning_rate": 4.93581936260724e-05,
2381
+ "loss": 0.504,
2382
+ "step": 1650
2383
+ },
2384
+ {
2385
+ "epoch": 7.0276008492569,
2386
+ "grad_norm": 0.2412109375,
2387
+ "learning_rate": 4.8719180607596484e-05,
2388
+ "loss": 0.4887,
2389
+ "step": 1655
2390
+ },
2391
+ {
2392
+ "epoch": 7.048832271762208,
2393
+ "grad_norm": 0.2451171875,
2394
+ "learning_rate": 4.808299619194251e-05,
2395
+ "loss": 0.502,
2396
+ "step": 1660
2397
+ },
2398
+ {
2399
+ "epoch": 7.070063694267516,
2400
+ "grad_norm": 0.2333984375,
2401
+ "learning_rate": 4.744967547045754e-05,
2402
+ "loss": 0.496,
2403
+ "step": 1665
2404
+ },
2405
+ {
2406
+ "epoch": 7.091295116772824,
2407
+ "grad_norm": 0.2275390625,
2408
+ "learning_rate": 4.681925337653006e-05,
2409
+ "loss": 0.4983,
2410
+ "step": 1670
2411
+ },
2412
+ {
2413
+ "epoch": 7.112526539278131,
2414
+ "grad_norm": 0.2392578125,
2415
+ "learning_rate": 4.6191764683662744e-05,
2416
+ "loss": 0.4982,
2417
+ "step": 1675
2418
+ },
2419
+ {
2420
+ "epoch": 7.13375796178344,
2421
+ "grad_norm": 0.248046875,
2422
+ "learning_rate": 4.5567244003554645e-05,
2423
+ "loss": 0.5054,
2424
+ "step": 1680
2425
+ },
2426
+ {
2427
+ "epoch": 7.154989384288747,
2428
+ "grad_norm": 0.240234375,
2429
+ "learning_rate": 4.494572578419194e-05,
2430
+ "loss": 0.5019,
2431
+ "step": 1685
2432
+ },
2433
+ {
2434
+ "epoch": 7.176220806794055,
2435
+ "grad_norm": 0.2431640625,
2436
+ "learning_rate": 4.432724430794786e-05,
2437
+ "loss": 0.4981,
2438
+ "step": 1690
2439
+ },
2440
+ {
2441
+ "epoch": 7.197452229299363,
2442
+ "grad_norm": 0.26171875,
2443
+ "learning_rate": 4.371183368969165e-05,
2444
+ "loss": 0.5,
2445
+ "step": 1695
2446
+ },
2447
+ {
2448
+ "epoch": 7.218683651804671,
2449
+ "grad_norm": 0.251953125,
2450
+ "learning_rate": 4.309952787490689e-05,
2451
+ "loss": 0.501,
2452
+ "step": 1700
2453
+ },
2454
+ {
2455
+ "epoch": 7.2399150743099785,
2456
+ "grad_norm": 0.25390625,
2457
+ "learning_rate": 4.249036063781896e-05,
2458
+ "loss": 0.5,
2459
+ "step": 1705
2460
+ },
2461
+ {
2462
+ "epoch": 7.261146496815287,
2463
+ "grad_norm": 0.2421875,
2464
+ "learning_rate": 4.1884365579532346e-05,
2465
+ "loss": 0.4991,
2466
+ "step": 1710
2467
+ },
2468
+ {
2469
+ "epoch": 7.282377919320594,
2470
+ "grad_norm": 0.255859375,
2471
+ "learning_rate": 4.128157612617696e-05,
2472
+ "loss": 0.4962,
2473
+ "step": 1715
2474
+ },
2475
+ {
2476
+ "epoch": 7.3036093418259025,
2477
+ "grad_norm": 0.2392578125,
2478
+ "learning_rate": 4.0682025527064486e-05,
2479
+ "loss": 0.5008,
2480
+ "step": 1720
2481
+ },
2482
+ {
2483
+ "epoch": 7.32484076433121,
2484
+ "grad_norm": 0.236328125,
2485
+ "learning_rate": 4.008574685285442e-05,
2486
+ "loss": 0.5016,
2487
+ "step": 1725
2488
+ },
2489
+ {
2490
+ "epoch": 7.346072186836518,
2491
+ "grad_norm": 0.23828125,
2492
+ "learning_rate": 3.94927729937299e-05,
2493
+ "loss": 0.4939,
2494
+ "step": 1730
2495
+ },
2496
+ {
2497
+ "epoch": 7.367303609341826,
2498
+ "grad_norm": 0.248046875,
2499
+ "learning_rate": 3.890313665758348e-05,
2500
+ "loss": 0.5046,
2501
+ "step": 1735
2502
+ },
2503
+ {
2504
+ "epoch": 7.388535031847134,
2505
+ "grad_norm": 0.2373046875,
2506
+ "learning_rate": 3.8316870368213e-05,
2507
+ "loss": 0.4882,
2508
+ "step": 1740
2509
+ },
2510
+ {
2511
+ "epoch": 7.409766454352441,
2512
+ "grad_norm": 0.2470703125,
2513
+ "learning_rate": 3.773400646352769e-05,
2514
+ "loss": 0.5053,
2515
+ "step": 1745
2516
+ },
2517
+ {
2518
+ "epoch": 7.43099787685775,
2519
+ "grad_norm": 0.2412109375,
2520
+ "learning_rate": 3.7154577093764334e-05,
2521
+ "loss": 0.5065,
2522
+ "step": 1750
2523
+ },
2524
+ {
2525
+ "epoch": 7.452229299363057,
2526
+ "grad_norm": 0.2392578125,
2527
+ "learning_rate": 3.657861421971388e-05,
2528
+ "loss": 0.5005,
2529
+ "step": 1755
2530
+ },
2531
+ {
2532
+ "epoch": 7.473460721868365,
2533
+ "grad_norm": 0.263671875,
2534
+ "learning_rate": 3.6006149610958625e-05,
2535
+ "loss": 0.5066,
2536
+ "step": 1760
2537
+ },
2538
+ {
2539
+ "epoch": 7.494692144373673,
2540
+ "grad_norm": 0.2451171875,
2541
+ "learning_rate": 3.543721484411976e-05,
2542
+ "loss": 0.5019,
2543
+ "step": 1765
2544
+ },
2545
+ {
2546
+ "epoch": 7.515923566878981,
2547
+ "grad_norm": 0.287109375,
2548
+ "learning_rate": 3.487184130111562e-05,
2549
+ "loss": 0.493,
2550
+ "step": 1770
2551
+ },
2552
+ {
2553
+ "epoch": 7.537154989384288,
2554
+ "grad_norm": 0.251953125,
2555
+ "learning_rate": 3.4310060167430725e-05,
2556
+ "loss": 0.5087,
2557
+ "step": 1775
2558
+ },
2559
+ {
2560
+ "epoch": 7.558386411889597,
2561
+ "grad_norm": 0.26171875,
2562
+ "learning_rate": 3.375190243039556e-05,
2563
+ "loss": 0.5032,
2564
+ "step": 1780
2565
+ },
2566
+ {
2567
+ "epoch": 7.579617834394904,
2568
+ "grad_norm": 0.2431640625,
2569
+ "learning_rate": 3.319739887747752e-05,
2570
+ "loss": 0.5004,
2571
+ "step": 1785
2572
+ },
2573
+ {
2574
+ "epoch": 7.600849256900212,
2575
+ "grad_norm": 0.2392578125,
2576
+ "learning_rate": 3.264658009458239e-05,
2577
+ "loss": 0.5014,
2578
+ "step": 1790
2579
+ },
2580
+ {
2581
+ "epoch": 7.62208067940552,
2582
+ "grad_norm": 0.2578125,
2583
+ "learning_rate": 3.209947646436752e-05,
2584
+ "loss": 0.5044,
2585
+ "step": 1795
2586
+ },
2587
+ {
2588
+ "epoch": 7.643312101910828,
2589
+ "grad_norm": 0.2392578125,
2590
+ "learning_rate": 3.155611816456586e-05,
2591
+ "loss": 0.5027,
2592
+ "step": 1800
2593
+ },
2594
+ {
2595
+ "epoch": 7.6645435244161355,
2596
+ "grad_norm": 0.2431640625,
2597
+ "learning_rate": 3.1016535166321356e-05,
2598
+ "loss": 0.5004,
2599
+ "step": 1805
2600
+ },
2601
+ {
2602
+ "epoch": 7.685774946921444,
2603
+ "grad_norm": 0.2490234375,
2604
+ "learning_rate": 3.0480757232535772e-05,
2605
+ "loss": 0.5016,
2606
+ "step": 1810
2607
+ },
2608
+ {
2609
+ "epoch": 7.707006369426751,
2610
+ "grad_norm": 0.2490234375,
2611
+ "learning_rate": 2.9948813916227115e-05,
2612
+ "loss": 0.5026,
2613
+ "step": 1815
2614
+ },
2615
+ {
2616
+ "epoch": 7.7282377919320595,
2617
+ "grad_norm": 0.2470703125,
2618
+ "learning_rate": 2.9420734558899322e-05,
2619
+ "loss": 0.5047,
2620
+ "step": 1820
2621
+ },
2622
+ {
2623
+ "epoch": 7.749469214437367,
2624
+ "grad_norm": 0.2333984375,
2625
+ "learning_rate": 2.889654828892393e-05,
2626
+ "loss": 0.5015,
2627
+ "step": 1825
2628
+ },
2629
+ {
2630
+ "epoch": 7.770700636942675,
2631
+ "grad_norm": 0.2490234375,
2632
+ "learning_rate": 2.8376284019933373e-05,
2633
+ "loss": 0.505,
2634
+ "step": 1830
2635
+ },
2636
+ {
2637
+ "epoch": 7.7919320594479835,
2638
+ "grad_norm": 0.25,
2639
+ "learning_rate": 2.7859970449226104e-05,
2640
+ "loss": 0.5035,
2641
+ "step": 1835
2642
+ },
2643
+ {
2644
+ "epoch": 7.813163481953291,
2645
+ "grad_norm": 0.248046875,
2646
+ "learning_rate": 2.73476360561837e-05,
2647
+ "loss": 0.5021,
2648
+ "step": 1840
2649
+ },
2650
+ {
2651
+ "epoch": 7.834394904458598,
2652
+ "grad_norm": 0.240234375,
2653
+ "learning_rate": 2.6839309100699973e-05,
2654
+ "loss": 0.4994,
2655
+ "step": 1845
2656
+ },
2657
+ {
2658
+ "epoch": 7.855626326963907,
2659
+ "grad_norm": 0.24609375,
2660
+ "learning_rate": 2.6335017621622116e-05,
2661
+ "loss": 0.5017,
2662
+ "step": 1850
2663
+ },
2664
+ {
2665
+ "epoch": 7.876857749469215,
2666
+ "grad_norm": 0.23046875,
2667
+ "learning_rate": 2.5834789435204243e-05,
2668
+ "loss": 0.4948,
2669
+ "step": 1855
2670
+ },
2671
+ {
2672
+ "epoch": 7.898089171974522,
2673
+ "grad_norm": 0.23828125,
2674
+ "learning_rate": 2.5338652133572915e-05,
2675
+ "loss": 0.4898,
2676
+ "step": 1860
2677
+ },
2678
+ {
2679
+ "epoch": 7.91932059447983,
2680
+ "grad_norm": 0.2412109375,
2681
+ "learning_rate": 2.4846633083205263e-05,
2682
+ "loss": 0.5079,
2683
+ "step": 1865
2684
+ },
2685
+ {
2686
+ "epoch": 7.940552016985138,
2687
+ "grad_norm": 0.279296875,
2688
+ "learning_rate": 2.4358759423419474e-05,
2689
+ "loss": 0.4995,
2690
+ "step": 1870
2691
+ },
2692
+ {
2693
+ "epoch": 7.961783439490446,
2694
+ "grad_norm": 0.2431640625,
2695
+ "learning_rate": 2.3875058064877807e-05,
2696
+ "loss": 0.4999,
2697
+ "step": 1875
2698
+ },
2699
+ {
2700
+ "epoch": 7.983014861995754,
2701
+ "grad_norm": 0.23828125,
2702
+ "learning_rate": 2.339555568810221e-05,
2703
+ "loss": 0.4987,
2704
+ "step": 1880
2705
+ },
2706
+ {
2707
+ "epoch": 8.0,
2708
+ "eval_loss": 1.6578315496444702,
2709
+ "eval_runtime": 0.4956,
2710
+ "eval_samples_per_second": 10.088,
2711
+ "eval_steps_per_second": 2.018,
2712
+ "step": 1884
2713
+ },
2714
+ {
2715
+ "epoch": 8.004246284501061,
2716
+ "grad_norm": 0.2578125,
2717
+ "learning_rate": 2.2920278742002676e-05,
2718
+ "loss": 0.4963,
2719
+ "step": 1885
2720
+ },
2721
+ {
2722
+ "epoch": 8.02547770700637,
2723
+ "grad_norm": 0.2412109375,
2724
+ "learning_rate": 2.244925344241828e-05,
2725
+ "loss": 0.4973,
2726
+ "step": 1890
2727
+ },
2728
+ {
2729
+ "epoch": 8.046709129511678,
2730
+ "grad_norm": 0.234375,
2731
+ "learning_rate": 2.1982505770671303e-05,
2732
+ "loss": 0.491,
2733
+ "step": 1895
2734
+ },
2735
+ {
2736
+ "epoch": 8.067940552016985,
2737
+ "grad_norm": 0.26171875,
2738
+ "learning_rate": 2.1520061472133902e-05,
2739
+ "loss": 0.4888,
2740
+ "step": 1900
2741
+ },
2742
+ {
2743
+ "epoch": 8.089171974522293,
2744
+ "grad_norm": 0.2392578125,
2745
+ "learning_rate": 2.1061946054808146e-05,
2746
+ "loss": 0.4977,
2747
+ "step": 1905
2748
+ },
2749
+ {
2750
+ "epoch": 8.110403397027602,
2751
+ "grad_norm": 0.2412109375,
2752
+ "learning_rate": 2.0608184787919026e-05,
2753
+ "loss": 0.4917,
2754
+ "step": 1910
2755
+ },
2756
+ {
2757
+ "epoch": 8.13163481953291,
2758
+ "grad_norm": 0.2578125,
2759
+ "learning_rate": 2.0158802700520574e-05,
2760
+ "loss": 0.4969,
2761
+ "step": 1915
2762
+ },
2763
+ {
2764
+ "epoch": 8.152866242038217,
2765
+ "grad_norm": 0.2421875,
2766
+ "learning_rate": 1.9713824580115335e-05,
2767
+ "loss": 0.4918,
2768
+ "step": 1920
2769
+ },
2770
+ {
2771
+ "epoch": 8.174097664543524,
2772
+ "grad_norm": 0.2421875,
2773
+ "learning_rate": 1.927327497128706e-05,
2774
+ "loss": 0.4919,
2775
+ "step": 1925
2776
+ },
2777
+ {
2778
+ "epoch": 8.195329087048833,
2779
+ "grad_norm": 0.2421875,
2780
+ "learning_rate": 1.883717817434688e-05,
2781
+ "loss": 0.4926,
2782
+ "step": 1930
2783
+ },
2784
+ {
2785
+ "epoch": 8.21656050955414,
2786
+ "grad_norm": 0.2431640625,
2787
+ "learning_rate": 1.840555824399296e-05,
2788
+ "loss": 0.4913,
2789
+ "step": 1935
2790
+ },
2791
+ {
2792
+ "epoch": 8.237791932059448,
2793
+ "grad_norm": 0.255859375,
2794
+ "learning_rate": 1.797843898798358e-05,
2795
+ "loss": 0.4879,
2796
+ "step": 1940
2797
+ },
2798
+ {
2799
+ "epoch": 8.259023354564755,
2800
+ "grad_norm": 0.2421875,
2801
+ "learning_rate": 1.7555843965823992e-05,
2802
+ "loss": 0.5012,
2803
+ "step": 1945
2804
+ },
2805
+ {
2806
+ "epoch": 8.280254777070065,
2807
+ "grad_norm": 0.2412109375,
2808
+ "learning_rate": 1.7137796487466797e-05,
2809
+ "loss": 0.4956,
2810
+ "step": 1950
2811
+ },
2812
+ {
2813
+ "epoch": 8.301486199575372,
2814
+ "grad_norm": 0.25,
2815
+ "learning_rate": 1.672431961202635e-05,
2816
+ "loss": 0.4959,
2817
+ "step": 1955
2818
+ },
2819
+ {
2820
+ "epoch": 8.32271762208068,
2821
+ "grad_norm": 0.2451171875,
2822
+ "learning_rate": 1.6315436146506703e-05,
2823
+ "loss": 0.4888,
2824
+ "step": 1960
2825
+ },
2826
+ {
2827
+ "epoch": 8.343949044585987,
2828
+ "grad_norm": 0.2421875,
2829
+ "learning_rate": 1.5911168644543707e-05,
2830
+ "loss": 0.4824,
2831
+ "step": 1965
2832
+ },
2833
+ {
2834
+ "epoch": 8.365180467091296,
2835
+ "grad_norm": 0.2431640625,
2836
+ "learning_rate": 1.5511539405160825e-05,
2837
+ "loss": 0.501,
2838
+ "step": 1970
2839
+ },
2840
+ {
2841
+ "epoch": 8.386411889596603,
2842
+ "grad_norm": 0.2490234375,
2843
+ "learning_rate": 1.5116570471539293e-05,
2844
+ "loss": 0.4885,
2845
+ "step": 1975
2846
+ },
2847
+ {
2848
+ "epoch": 8.40764331210191,
2849
+ "grad_norm": 0.24609375,
2850
+ "learning_rate": 1.4726283629802107e-05,
2851
+ "loss": 0.4921,
2852
+ "step": 1980
2853
+ },
2854
+ {
2855
+ "epoch": 8.428874734607218,
2856
+ "grad_norm": 0.259765625,
2857
+ "learning_rate": 1.4340700407812435e-05,
2858
+ "loss": 0.4962,
2859
+ "step": 1985
2860
+ },
2861
+ {
2862
+ "epoch": 8.450106157112527,
2863
+ "grad_norm": 0.236328125,
2864
+ "learning_rate": 1.3959842073986085e-05,
2865
+ "loss": 0.4892,
2866
+ "step": 1990
2867
+ },
2868
+ {
2869
+ "epoch": 8.471337579617835,
2870
+ "grad_norm": 0.2412109375,
2871
+ "learning_rate": 1.3583729636118358e-05,
2872
+ "loss": 0.497,
2873
+ "step": 1995
2874
+ },
2875
+ {
2876
+ "epoch": 8.492569002123142,
2877
+ "grad_norm": 0.251953125,
2878
+ "learning_rate": 1.3212383840225329e-05,
2879
+ "loss": 0.4964,
2880
+ "step": 2000
2881
+ },
2882
+ {
2883
+ "epoch": 8.51380042462845,
2884
+ "grad_norm": 0.2392578125,
2885
+ "learning_rate": 1.2845825169399507e-05,
2886
+ "loss": 0.4892,
2887
+ "step": 2005
2888
+ },
2889
+ {
2890
+ "epoch": 8.535031847133759,
2891
+ "grad_norm": 0.2578125,
2892
+ "learning_rate": 1.2484073842679944e-05,
2893
+ "loss": 0.4951,
2894
+ "step": 2010
2895
+ },
2896
+ {
2897
+ "epoch": 8.556263269639066,
2898
+ "grad_norm": 0.2392578125,
2899
+ "learning_rate": 1.2127149813937022e-05,
2900
+ "loss": 0.4949,
2901
+ "step": 2015
2902
+ },
2903
+ {
2904
+ "epoch": 8.577494692144374,
2905
+ "grad_norm": 0.240234375,
2906
+ "learning_rate": 1.1775072770771834e-05,
2907
+ "loss": 0.4906,
2908
+ "step": 2020
2909
+ },
2910
+ {
2911
+ "epoch": 8.598726114649681,
2912
+ "grad_norm": 0.2373046875,
2913
+ "learning_rate": 1.1427862133430156e-05,
2914
+ "loss": 0.4836,
2915
+ "step": 2025
2916
+ },
2917
+ {
2918
+ "epoch": 8.61995753715499,
2919
+ "grad_norm": 0.2412109375,
2920
+ "learning_rate": 1.1085537053731354e-05,
2921
+ "loss": 0.4944,
2922
+ "step": 2030
2923
+ },
2924
+ {
2925
+ "epoch": 8.641188959660298,
2926
+ "grad_norm": 0.2373046875,
2927
+ "learning_rate": 1.0748116414011888e-05,
2928
+ "loss": 0.4908,
2929
+ "step": 2035
2930
+ },
2931
+ {
2932
+ "epoch": 8.662420382165605,
2933
+ "grad_norm": 0.2412109375,
2934
+ "learning_rate": 1.0415618826083828e-05,
2935
+ "loss": 0.4969,
2936
+ "step": 2040
2937
+ },
2938
+ {
2939
+ "epoch": 8.683651804670912,
2940
+ "grad_norm": 0.251953125,
2941
+ "learning_rate": 1.0088062630208273e-05,
2942
+ "loss": 0.4904,
2943
+ "step": 2045
2944
+ },
2945
+ {
2946
+ "epoch": 8.704883227176222,
2947
+ "grad_norm": 0.26171875,
2948
+ "learning_rate": 9.765465894083636e-06,
2949
+ "loss": 0.4991,
2950
+ "step": 2050
2951
+ },
2952
+ {
2953
+ "epoch": 8.726114649681529,
2954
+ "grad_norm": 0.2470703125,
2955
+ "learning_rate": 9.447846411849115e-06,
2956
+ "loss": 0.4971,
2957
+ "step": 2055
2958
+ },
2959
+ {
2960
+ "epoch": 8.747346072186836,
2961
+ "grad_norm": 0.25,
2962
+ "learning_rate": 9.135221703103136e-06,
2963
+ "loss": 0.4914,
2964
+ "step": 2060
2965
+ },
2966
+ {
2967
+ "epoch": 8.768577494692144,
2968
+ "grad_norm": 0.2451171875,
2969
+ "learning_rate": 8.827609011937066e-06,
2970
+ "loss": 0.4919,
2971
+ "step": 2065
2972
+ },
2973
+ {
2974
+ "epoch": 8.789808917197453,
2975
+ "grad_norm": 0.259765625,
2976
+ "learning_rate": 8.525025305983936e-06,
2977
+ "loss": 0.4997,
2978
+ "step": 2070
2979
+ },
2980
+ {
2981
+ "epoch": 8.81104033970276,
2982
+ "grad_norm": 0.2412109375,
2983
+ "learning_rate": 8.227487275482592e-06,
2984
+ "loss": 0.4879,
2985
+ "step": 2075
2986
+ },
2987
+ {
2988
+ "epoch": 8.832271762208068,
2989
+ "grad_norm": 0.23828125,
2990
+ "learning_rate": 7.935011332357112e-06,
2991
+ "loss": 0.4957,
2992
+ "step": 2080
2993
+ },
2994
+ {
2995
+ "epoch": 8.853503184713375,
2996
+ "grad_norm": 0.244140625,
2997
+ "learning_rate": 7.647613609311455e-06,
2998
+ "loss": 0.492,
2999
+ "step": 2085
3000
+ },
3001
+ {
3002
+ "epoch": 8.874734607218684,
3003
+ "grad_norm": 0.2353515625,
3004
+ "learning_rate": 7.365309958939615e-06,
3005
+ "loss": 0.4913,
3006
+ "step": 2090
3007
+ },
3008
+ {
3009
+ "epoch": 8.895966029723992,
3010
+ "grad_norm": 0.2431640625,
3011
+ "learning_rate": 7.088115952851238e-06,
3012
+ "loss": 0.4872,
3013
+ "step": 2095
3014
+ },
3015
+ {
3016
+ "epoch": 8.9171974522293,
3017
+ "grad_norm": 0.2490234375,
3018
+ "learning_rate": 6.81604688081271e-06,
3019
+ "loss": 0.49,
3020
+ "step": 2100
3021
+ },
3022
+ {
3023
+ "epoch": 8.938428874734607,
3024
+ "grad_norm": 0.267578125,
3025
+ "learning_rate": 6.549117749903755e-06,
3026
+ "loss": 0.4884,
3027
+ "step": 2105
3028
+ },
3029
+ {
3030
+ "epoch": 8.959660297239916,
3031
+ "grad_norm": 0.248046875,
3032
+ "learning_rate": 6.287343283689661e-06,
3033
+ "loss": 0.4897,
3034
+ "step": 2110
3035
+ },
3036
+ {
3037
+ "epoch": 8.980891719745223,
3038
+ "grad_norm": 0.234375,
3039
+ "learning_rate": 6.030737921409169e-06,
3040
+ "loss": 0.4875,
3041
+ "step": 2115
3042
+ },
3043
+ {
3044
+ "epoch": 8.99787685774947,
3045
+ "eval_loss": 1.6812984943389893,
3046
+ "eval_runtime": 0.4908,
3047
+ "eval_samples_per_second": 10.188,
3048
+ "eval_steps_per_second": 2.038,
3049
+ "step": 2119
3050
+ },
3051
+ {
3052
+ "epoch": 9.00212314225053,
3053
+ "grad_norm": 0.2373046875,
3054
+ "learning_rate": 5.779315817178e-06,
3055
+ "loss": 0.4972,
3056
+ "step": 2120
3057
+ },
3058
+ {
3059
+ "epoch": 9.023354564755838,
3060
+ "grad_norm": 0.2392578125,
3061
+ "learning_rate": 5.533090839208133e-06,
3062
+ "loss": 0.4875,
3063
+ "step": 2125
3064
+ },
3065
+ {
3066
+ "epoch": 9.044585987261147,
3067
+ "grad_norm": 0.244140625,
3068
+ "learning_rate": 5.292076569042826e-06,
3069
+ "loss": 0.4966,
3070
+ "step": 2130
3071
+ },
3072
+ {
3073
+ "epoch": 9.065817409766455,
3074
+ "grad_norm": 0.2431640625,
3075
+ "learning_rate": 5.056286300807511e-06,
3076
+ "loss": 0.4931,
3077
+ "step": 2135
3078
+ },
3079
+ {
3080
+ "epoch": 9.087048832271762,
3081
+ "grad_norm": 0.2353515625,
3082
+ "learning_rate": 4.825733040476465e-06,
3083
+ "loss": 0.4863,
3084
+ "step": 2140
3085
+ },
3086
+ {
3087
+ "epoch": 9.10828025477707,
3088
+ "grad_norm": 0.2353515625,
3089
+ "learning_rate": 4.600429505155424e-06,
3090
+ "loss": 0.4945,
3091
+ "step": 2145
3092
+ },
3093
+ {
3094
+ "epoch": 9.129511677282379,
3095
+ "grad_norm": 0.26171875,
3096
+ "learning_rate": 4.380388122380141e-06,
3097
+ "loss": 0.4945,
3098
+ "step": 2150
3099
+ },
3100
+ {
3101
+ "epoch": 9.150743099787686,
3102
+ "grad_norm": 0.240234375,
3103
+ "learning_rate": 4.165621029430855e-06,
3104
+ "loss": 0.4925,
3105
+ "step": 2155
3106
+ },
3107
+ {
3108
+ "epoch": 9.171974522292993,
3109
+ "grad_norm": 0.2421875,
3110
+ "learning_rate": 3.9561400726628505e-06,
3111
+ "loss": 0.4971,
3112
+ "step": 2160
3113
+ },
3114
+ {
3115
+ "epoch": 9.1932059447983,
3116
+ "grad_norm": 0.240234375,
3117
+ "learning_rate": 3.7519568068529855e-06,
3118
+ "loss": 0.4901,
3119
+ "step": 2165
3120
+ },
3121
+ {
3122
+ "epoch": 9.21443736730361,
3123
+ "grad_norm": 0.2412109375,
3124
+ "learning_rate": 3.5530824945623542e-06,
3125
+ "loss": 0.4841,
3126
+ "step": 2170
3127
+ },
3128
+ {
3129
+ "epoch": 9.235668789808917,
3130
+ "grad_norm": 0.236328125,
3131
+ "learning_rate": 3.359528105515064e-06,
3132
+ "loss": 0.4937,
3133
+ "step": 2175
3134
+ },
3135
+ {
3136
+ "epoch": 9.256900212314225,
3137
+ "grad_norm": 0.2470703125,
3138
+ "learning_rate": 3.1713043159931734e-06,
3139
+ "loss": 0.4952,
3140
+ "step": 2180
3141
+ },
3142
+ {
3143
+ "epoch": 9.278131634819532,
3144
+ "grad_norm": 0.240234375,
3145
+ "learning_rate": 2.9884215082477408e-06,
3146
+ "loss": 0.487,
3147
+ "step": 2185
3148
+ },
3149
+ {
3150
+ "epoch": 9.299363057324841,
3151
+ "grad_norm": 0.2353515625,
3152
+ "learning_rate": 2.810889769926217e-06,
3153
+ "loss": 0.489,
3154
+ "step": 2190
3155
+ },
3156
+ {
3157
+ "epoch": 9.320594479830149,
3158
+ "grad_norm": 0.24609375,
3159
+ "learning_rate": 2.6387188935159456e-06,
3160
+ "loss": 0.4974,
3161
+ "step": 2195
3162
+ },
3163
+ {
3164
+ "epoch": 9.341825902335456,
3165
+ "grad_norm": 0.2431640625,
3166
+ "learning_rate": 2.471918375804105e-06,
3167
+ "loss": 0.4921,
3168
+ "step": 2200
3169
+ },
3170
+ {
3171
+ "epoch": 9.363057324840764,
3172
+ "grad_norm": 0.2470703125,
3173
+ "learning_rate": 2.3104974173537743e-06,
3174
+ "loss": 0.4915,
3175
+ "step": 2205
3176
+ },
3177
+ {
3178
+ "epoch": 9.384288747346073,
3179
+ "grad_norm": 0.232421875,
3180
+ "learning_rate": 2.1544649219965575e-06,
3181
+ "loss": 0.4812,
3182
+ "step": 2210
3183
+ },
3184
+ {
3185
+ "epoch": 9.40552016985138,
3186
+ "grad_norm": 0.2421875,
3187
+ "learning_rate": 2.003829496341325e-06,
3188
+ "loss": 0.4857,
3189
+ "step": 2215
3190
+ },
3191
+ {
3192
+ "epoch": 9.426751592356688,
3193
+ "grad_norm": 0.24609375,
3194
+ "learning_rate": 1.8585994492995916e-06,
3195
+ "loss": 0.4962,
3196
+ "step": 2220
3197
+ },
3198
+ {
3199
+ "epoch": 9.447983014861995,
3200
+ "grad_norm": 0.244140625,
3201
+ "learning_rate": 1.7187827916271382e-06,
3202
+ "loss": 0.4935,
3203
+ "step": 2225
3204
+ },
3205
+ {
3206
+ "epoch": 9.469214437367304,
3207
+ "grad_norm": 0.2412109375,
3208
+ "learning_rate": 1.5843872354822097e-06,
3209
+ "loss": 0.4898,
3210
+ "step": 2230
3211
+ },
3212
+ {
3213
+ "epoch": 9.490445859872612,
3214
+ "grad_norm": 0.2421875,
3215
+ "learning_rate": 1.4554201940000123e-06,
3216
+ "loss": 0.489,
3217
+ "step": 2235
3218
+ },
3219
+ {
3220
+ "epoch": 9.511677282377919,
3221
+ "grad_norm": 0.2412109375,
3222
+ "learning_rate": 1.3318887808839274e-06,
3223
+ "loss": 0.4964,
3224
+ "step": 2240
3225
+ },
3226
+ {
3227
+ "epoch": 9.532908704883226,
3228
+ "grad_norm": 0.2412109375,
3229
+ "learning_rate": 1.21379981001305e-06,
3230
+ "loss": 0.4868,
3231
+ "step": 2245
3232
+ },
3233
+ {
3234
+ "epoch": 9.554140127388536,
3235
+ "grad_norm": 0.236328125,
3236
+ "learning_rate": 1.1011597950663865e-06,
3237
+ "loss": 0.495,
3238
+ "step": 2250
3239
+ },
3240
+ {
3241
+ "epoch": 9.575371549893843,
3242
+ "grad_norm": 0.23828125,
3243
+ "learning_rate": 9.939749491635341e-07,
3244
+ "loss": 0.4956,
3245
+ "step": 2255
3246
+ },
3247
+ {
3248
+ "epoch": 9.59660297239915,
3249
+ "grad_norm": 0.24609375,
3250
+ "learning_rate": 8.922511845219971e-07,
3251
+ "loss": 0.4862,
3252
+ "step": 2260
3253
+ },
3254
+ {
3255
+ "epoch": 9.617834394904458,
3256
+ "grad_norm": 0.2373046875,
3257
+ "learning_rate": 7.959941121310266e-07,
3258
+ "loss": 0.4904,
3259
+ "step": 2265
3260
+ },
3261
+ {
3262
+ "epoch": 9.639065817409767,
3263
+ "grad_norm": 0.2470703125,
3264
+ "learning_rate": 7.052090414422119e-07,
3265
+ "loss": 0.4892,
3266
+ "step": 2270
3267
+ },
3268
+ {
3269
+ "epoch": 9.660297239915074,
3270
+ "grad_norm": 0.2451171875,
3271
+ "learning_rate": 6.199009800765265e-07,
3272
+ "loss": 0.5003,
3273
+ "step": 2275
3274
+ },
3275
+ {
3276
+ "epoch": 9.681528662420382,
3277
+ "grad_norm": 0.2412109375,
3278
+ "learning_rate": 5.400746335481488e-07,
3279
+ "loss": 0.485,
3280
+ "step": 2280
3281
+ },
3282
+ {
3283
+ "epoch": 9.70276008492569,
3284
+ "grad_norm": 0.248046875,
3285
+ "learning_rate": 4.6573440500492504e-07,
3286
+ "loss": 0.4933,
3287
+ "step": 2285
3288
+ },
3289
+ {
3290
+ "epoch": 9.723991507430998,
3291
+ "grad_norm": 0.2421875,
3292
+ "learning_rate": 3.96884394985475e-07,
3293
+ "loss": 0.4817,
3294
+ "step": 2290
3295
+ },
3296
+ {
3297
+ "epoch": 9.745222929936306,
3298
+ "grad_norm": 0.25,
3299
+ "learning_rate": 3.335284011929951e-07,
3300
+ "loss": 0.4828,
3301
+ "step": 2295
3302
+ },
3303
+ {
3304
+ "epoch": 9.766454352441613,
3305
+ "grad_norm": 0.2578125,
3306
+ "learning_rate": 2.756699182858369e-07,
3307
+ "loss": 0.4922,
3308
+ "step": 2300
3309
+ },
3310
+ {
3311
+ "epoch": 9.787685774946922,
3312
+ "grad_norm": 0.2470703125,
3313
+ "learning_rate": 2.2331213768468363e-07,
3314
+ "loss": 0.493,
3315
+ "step": 2305
3316
+ },
3317
+ {
3318
+ "epoch": 9.80891719745223,
3319
+ "grad_norm": 0.251953125,
3320
+ "learning_rate": 1.7645794739654665e-07,
3321
+ "loss": 0.4972,
3322
+ "step": 2310
3323
+ },
3324
+ {
3325
+ "epoch": 9.830148619957537,
3326
+ "grad_norm": 0.2431640625,
3327
+ "learning_rate": 1.351099318554705e-07,
3328
+ "loss": 0.4881,
3329
+ "step": 2315
3330
+ },
3331
+ {
3332
+ "epoch": 9.851380042462845,
3333
+ "grad_norm": 0.251953125,
3334
+ "learning_rate": 9.927037177993592e-08,
3335
+ "loss": 0.49,
3336
+ "step": 2320
3337
+ },
3338
+ {
3339
+ "epoch": 9.872611464968152,
3340
+ "grad_norm": 0.240234375,
3341
+ "learning_rate": 6.894124404711599e-08,
3342
+ "loss": 0.4973,
3343
+ "step": 2325
3344
+ },
3345
+ {
3346
+ "epoch": 9.893842887473461,
3347
+ "grad_norm": 0.236328125,
3348
+ "learning_rate": 4.4124221583785595e-08,
3349
+ "loss": 0.4918,
3350
+ "step": 2330
3351
+ },
3352
+ {
3353
+ "epoch": 9.915074309978769,
3354
+ "grad_norm": 0.244140625,
3355
+ "learning_rate": 2.482067327409521e-08,
3356
+ "loss": 0.4923,
3357
+ "step": 2335
3358
+ },
3359
+ {
3360
+ "epoch": 9.936305732484076,
3361
+ "grad_norm": 0.2392578125,
3362
+ "learning_rate": 1.103166388398691e-08,
3363
+ "loss": 0.4791,
3364
+ "step": 2340
3365
+ },
3366
+ {
3367
+ "epoch": 9.957537154989385,
3368
+ "grad_norm": 0.2470703125,
3369
+ "learning_rate": 2.7579540025524097e-09,
3370
+ "loss": 0.4883,
3371
+ "step": 2345
3372
+ },
3373
+ {
3374
+ "epoch": 9.978768577494693,
3375
+ "grad_norm": 0.2451171875,
3376
+ "learning_rate": 0.0,
3377
+ "loss": 0.4904,
3378
+ "step": 2350
3379
+ },
3380
+ {
3381
+ "epoch": 9.978768577494693,
3382
+ "eval_loss": 1.6824607849121094,
3383
+ "eval_runtime": 0.4916,
3384
+ "eval_samples_per_second": 10.17,
3385
+ "eval_steps_per_second": 2.034,
3386
+ "step": 2350
3387
+ },
3388
+ {
3389
+ "epoch": 9.978768577494693,
3390
+ "step": 2350,
3391
+ "total_flos": 1.8676199416922112e+18,
3392
+ "train_loss": 0.5910337928000917,
3393
+ "train_runtime": 14730.3274,
3394
+ "train_samples_per_second": 10.216,
3395
+ "train_steps_per_second": 0.16
3396
+ }
3397
+ ],
3398
+ "logging_steps": 5,
3399
+ "max_steps": 2350,
3400
+ "num_input_tokens_seen": 0,
3401
+ "num_train_epochs": 10,
3402
+ "save_steps": 100,
3403
+ "stateful_callbacks": {
3404
+ "TrainerControl": {
3405
+ "args": {
3406
+ "should_epoch_stop": false,
3407
+ "should_evaluate": false,
3408
+ "should_log": false,
3409
+ "should_save": true,
3410
+ "should_training_stop": false
3411
+ },
3412
+ "attributes": {}
3413
+ }
3414
+ },
3415
+ "total_flos": 1.8676199416922112e+18,
3416
+ "train_batch_size": 8,
3417
+ "trial_name": null,
3418
+ "trial_params": null
3419
+ }