Hugging Face's logo

haywoodsloan
/
ai-image-detector-deploy

Image Classification
TensorBoard
Safetensors
swinv2
Trained with AutoTrain
Model card Files Metrics Community
haywoodsloan commited on
Commit
76aa724
·
1 Parent(s): c4716fd

Update to latest model

Browse files
Files changed (15) hide show
  1. README.md +31 -3
  2. checkpoint-9995/config.json +68 -0
  3. checkpoint-9995/model.safetensors +3 -0
  4. checkpoint-9995/optimizer.pt +3 -0
  5. checkpoint-9995/rng_state.pth +3 -0
  6. checkpoint-9995/scheduler.pt +3 -0
  7. checkpoint-9995/trainer_state.json +2848 -0
  8. checkpoint-9995/training_args.bin +3 -0
  9. config.json +68 -0
  10. model.safetensors +3 -0
  11. preprocessor_config.json +22 -0
  12. runs/Nov16_04-05-32_f7e69925ac96/events.out.tfevents.1731729939.f7e69925ac96.61.0 +3 -0
  13. runs/Nov16_04-05-32_f7e69925ac96/events.out.tfevents.1731757902.f7e69925ac96.61.1 +3 -0
  14. training_args.bin +3 -0
  15. training_params.json +29 -0
README.md CHANGED
@@ -1,3 +1,31 @@
1
- ---
2
- license: apache-2.0
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+
2
+ ---
3
+ tags:
4
+ - autotrain
5
+ - image-classification
6
+ base_model: haywoodsloan/autotrain-ai-image-detect-20241115-0304
7
+ widget:
8
+ - src: https://huggingface.co/datasets/mishig/sample_images/resolve/main/tiger.jpg
9
+ example_title: Tiger
10
+ - src: https://huggingface.co/datasets/mishig/sample_images/resolve/main/teapot.jpg
11
+ example_title: Teapot
12
+ - src: https://huggingface.co/datasets/mishig/sample_images/resolve/main/palace.jpg
13
+ example_title: Palace
14
+ ---
15
+
16
+ # Model Trained Using AutoTrain
17
+
18
+ - Problem type: Image Classification
19
+
20
+ ## Validation Metrics
21
+ loss: 0.16676104068756104
22
+
23
+ f1: 0.9695398574206092
24
+
25
+ precision: 0.9626769626769627
26
+
27
+ recall: 0.9765013054830287
28
+
29
+ auc: 0.98709272099551
30
+
31
+ accuracy: 0.9664333666619055
checkpoint-9995/config.json ADDED
@@ -0,0 +1,68 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "haywoodsloan/autotrain-ai-image-detect-20241115-0304",
3
+ "_num_labels": 2,
4
+ "architectures": [
5
+ "Swinv2ForImageClassification"
6
+ ],
7
+ "attention_probs_dropout_prob": 0.0,
8
+ "depths": [
9
+ 2,
10
+ 2,
11
+ 18,
12
+ 2
13
+ ],
14
+ "drop_path_rate": 0.1,
15
+ "embed_dim": 192,
16
+ "encoder_stride": 32,
17
+ "hidden_act": "gelu",
18
+ "hidden_dropout_prob": 0.0,
19
+ "hidden_size": 1536,
20
+ "id2label": {
21
+ "0": "artificial",
22
+ "1": "real"
23
+ },
24
+ "image_size": 256,
25
+ "initializer_range": 0.02,
26
+ "label2id": {
27
+ "artificial": 0,
28
+ "real": 1
29
+ },
30
+ "layer_norm_eps": 1e-05,
31
+ "mlp_ratio": 4.0,
32
+ "model_type": "swinv2",
33
+ "num_channels": 3,
34
+ "num_heads": [
35
+ 6,
36
+ 12,
37
+ 24,
38
+ 48
39
+ ],
40
+ "num_layers": 4,
41
+ "out_features": [
42
+ "stage4"
43
+ ],
44
+ "out_indices": [
45
+ 4
46
+ ],
47
+ "patch_size": 4,
48
+ "path_norm": true,
49
+ "pretrained_window_sizes": [
50
+ 12,
51
+ 12,
52
+ 12,
53
+ 6
54
+ ],
55
+ "problem_type": "single_label_classification",
56
+ "qkv_bias": true,
57
+ "stage_names": [
58
+ "stem",
59
+ "stage1",
60
+ "stage2",
61
+ "stage3",
62
+ "stage4"
63
+ ],
64
+ "torch_dtype": "float32",
65
+ "transformers_version": "4.46.2",
66
+ "use_absolute_embeddings": false,
67
+ "window_size": 16
68
+ }
checkpoint-9995/model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:6323b7ff6c71ea01f428fbbe60565f441b73d23e801c90768936cb675c8e39e9
3
+ size 780886280
checkpoint-9995/optimizer.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:f783a3ef0f833ca5e74f562b593047be19400b78a93eb7f18526def67bc92f7e
3
+ size 1562042973
checkpoint-9995/rng_state.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:7b3010fad5dab64cd6073cdf93c218a4e654910f60c0f44b1e97e9934f775211
3
+ size 14244
checkpoint-9995/scheduler.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:af772c3bb18eceda5b984695d3c2cb1e184ebecb27cecf7f34d9df4c567c2f0f
3
+ size 1064
checkpoint-9995/trainer_state.json ADDED
@@ -0,0 +1,2848 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_metric": 0.16676104068756104,
3
+ "best_model_checkpoint": "autotrain-ai-image-detect-20241115-2250/checkpoint-9995",
4
+ "epoch": 1.0,
5
+ "eval_steps": 500,
6
+ "global_step": 9995,
7
+ "is_hyper_param_search": false,
8
+ "is_local_process_zero": true,
9
+ "is_world_process_zero": true,
10
+ "log_history": [
11
+ {
12
+ "epoch": 0.0025012506253126563,
13
+ "grad_norm": 0.013071967288851738,
14
+ "learning_rate": 3.999938253558893e-05,
15
+ "loss": 0.0392,
16
+ "step": 25
17
+ },
18
+ {
19
+ "epoch": 0.0050025012506253125,
20
+ "grad_norm": 0.692058265209198,
21
+ "learning_rate": 3.9997530180481925e-05,
22
+ "loss": 0.2575,
23
+ "step": 50
24
+ },
25
+ {
26
+ "epoch": 0.007503751875937969,
27
+ "grad_norm": 11.12115478515625,
28
+ "learning_rate": 3.999444304905533e-05,
29
+ "loss": 0.1507,
30
+ "step": 75
31
+ },
32
+ {
33
+ "epoch": 0.010005002501250625,
34
+ "grad_norm": 11.315402030944824,
35
+ "learning_rate": 3.999012133192853e-05,
36
+ "loss": 0.1151,
37
+ "step": 100
38
+ },
39
+ {
40
+ "epoch": 0.01250625312656328,
41
+ "grad_norm": 1.4069466590881348,
42
+ "learning_rate": 3.998456529595217e-05,
43
+ "loss": 0.1538,
44
+ "step": 125
45
+ },
46
+ {
47
+ "epoch": 0.015007503751875938,
48
+ "grad_norm": 0.9129210114479065,
49
+ "learning_rate": 3.997777528419169e-05,
50
+ "loss": 0.1336,
51
+ "step": 150
52
+ },
53
+ {
54
+ "epoch": 0.017508754377188594,
55
+ "grad_norm": 65.09205627441406,
56
+ "learning_rate": 3.996975171590617e-05,
57
+ "loss": 0.022,
58
+ "step": 175
59
+ },
60
+ {
61
+ "epoch": 0.02001000500250125,
62
+ "grad_norm": 0.15143166482448578,
63
+ "learning_rate": 3.9960495086522394e-05,
64
+ "loss": 0.122,
65
+ "step": 200
66
+ },
67
+ {
68
+ "epoch": 0.022511255627813906,
69
+ "grad_norm": 0.16944248974323273,
70
+ "learning_rate": 3.995000596760426e-05,
71
+ "loss": 0.1646,
72
+ "step": 225
73
+ },
74
+ {
75
+ "epoch": 0.02501250625312656,
76
+ "grad_norm": 0.12237083911895752,
77
+ "learning_rate": 3.993828500681756e-05,
78
+ "loss": 0.1614,
79
+ "step": 250
80
+ },
81
+ {
82
+ "epoch": 0.02751375687843922,
83
+ "grad_norm": 0.046279337257146835,
84
+ "learning_rate": 3.9925332927889895e-05,
85
+ "loss": 0.0371,
86
+ "step": 275
87
+ },
88
+ {
89
+ "epoch": 0.030015007503751877,
90
+ "grad_norm": 0.6750090718269348,
91
+ "learning_rate": 3.9911150530566044e-05,
92
+ "loss": 0.157,
93
+ "step": 300
94
+ },
95
+ {
96
+ "epoch": 0.03251625812906453,
97
+ "grad_norm": 0.5673107504844666,
98
+ "learning_rate": 3.989573869055857e-05,
99
+ "loss": 0.1295,
100
+ "step": 325
101
+ },
102
+ {
103
+ "epoch": 0.03501750875437719,
104
+ "grad_norm": 3.6945018768310547,
105
+ "learning_rate": 3.987909835949374e-05,
106
+ "loss": 0.1147,
107
+ "step": 350
108
+ },
109
+ {
110
+ "epoch": 0.03751875937968985,
111
+ "grad_norm": 1.5459445714950562,
112
+ "learning_rate": 3.986123056485279e-05,
113
+ "loss": 0.1068,
114
+ "step": 375
115
+ },
116
+ {
117
+ "epoch": 0.0400200100050025,
118
+ "grad_norm": 0.47121453285217285,
119
+ "learning_rate": 3.9842136409908436e-05,
120
+ "loss": 0.0872,
121
+ "step": 400
122
+ },
123
+ {
124
+ "epoch": 0.04252126063031516,
125
+ "grad_norm": 0.07117073237895966,
126
+ "learning_rate": 3.982181707365679e-05,
127
+ "loss": 0.1871,
128
+ "step": 425
129
+ },
130
+ {
131
+ "epoch": 0.04502251125562781,
132
+ "grad_norm": 0.6574047803878784,
133
+ "learning_rate": 3.9800273810744564e-05,
134
+ "loss": 0.1567,
135
+ "step": 450
136
+ },
137
+ {
138
+ "epoch": 0.04752376188094047,
139
+ "grad_norm": 0.43658068776130676,
140
+ "learning_rate": 3.977750795139156e-05,
141
+ "loss": 0.1679,
142
+ "step": 475
143
+ },
144
+ {
145
+ "epoch": 0.05002501250625312,
146
+ "grad_norm": 1.0395894050598145,
147
+ "learning_rate": 3.975352090130859e-05,
148
+ "loss": 0.1295,
149
+ "step": 500
150
+ },
151
+ {
152
+ "epoch": 0.05252626313156578,
153
+ "grad_norm": 0.641717255115509,
154
+ "learning_rate": 3.9728314141610596e-05,
155
+ "loss": 0.1698,
156
+ "step": 525
157
+ },
158
+ {
159
+ "epoch": 0.05502751375687844,
160
+ "grad_norm": 0.24562934041023254,
161
+ "learning_rate": 3.970188922872532e-05,
162
+ "loss": 0.141,
163
+ "step": 550
164
+ },
165
+ {
166
+ "epoch": 0.057528764382191094,
167
+ "grad_norm": 20.523223876953125,
168
+ "learning_rate": 3.9674247794297065e-05,
169
+ "loss": 0.0853,
170
+ "step": 575
171
+ },
172
+ {
173
+ "epoch": 0.060030015007503754,
174
+ "grad_norm": 0.27243539690971375,
175
+ "learning_rate": 3.964539154508604e-05,
176
+ "loss": 0.1339,
177
+ "step": 600
178
+ },
179
+ {
180
+ "epoch": 0.06253126563281641,
181
+ "grad_norm": 0.08353306353092194,
182
+ "learning_rate": 3.961532226286293e-05,
183
+ "loss": 0.1329,
184
+ "step": 625
185
+ },
186
+ {
187
+ "epoch": 0.06503251625812906,
188
+ "grad_norm": 2.981696844100952,
189
+ "learning_rate": 3.958404180429891e-05,
190
+ "loss": 0.1956,
191
+ "step": 650
192
+ },
193
+ {
194
+ "epoch": 0.06753376688344172,
195
+ "grad_norm": 10.59337043762207,
196
+ "learning_rate": 3.955155210085097e-05,
197
+ "loss": 0.1868,
198
+ "step": 675
199
+ },
200
+ {
201
+ "epoch": 0.07003501750875438,
202
+ "grad_norm": 0.1619417369365692,
203
+ "learning_rate": 3.9517855158642685e-05,
204
+ "loss": 0.0578,
205
+ "step": 700
206
+ },
207
+ {
208
+ "epoch": 0.07253626813406704,
209
+ "grad_norm": 0.781538188457489,
210
+ "learning_rate": 3.9482953058340275e-05,
211
+ "loss": 0.1291,
212
+ "step": 725
213
+ },
214
+ {
215
+ "epoch": 0.0750375187593797,
216
+ "grad_norm": 0.335301011800766,
217
+ "learning_rate": 3.944684795502426e-05,
218
+ "loss": 0.138,
219
+ "step": 750
220
+ },
221
+ {
222
+ "epoch": 0.07753876938469234,
223
+ "grad_norm": 16.961353302001953,
224
+ "learning_rate": 3.940954207805625e-05,
225
+ "loss": 0.1606,
226
+ "step": 775
227
+ },
228
+ {
229
+ "epoch": 0.080040020010005,
230
+ "grad_norm": 28.523731231689453,
231
+ "learning_rate": 3.937103773094139e-05,
232
+ "loss": 0.1264,
233
+ "step": 800
234
+ },
235
+ {
236
+ "epoch": 0.08254127063531766,
237
+ "grad_norm": 0.9836621284484863,
238
+ "learning_rate": 3.9331337291186084e-05,
239
+ "loss": 0.2391,
240
+ "step": 825
241
+ },
242
+ {
243
+ "epoch": 0.08504252126063032,
244
+ "grad_norm": 1.2095212936401367,
245
+ "learning_rate": 3.929044321015119e-05,
246
+ "loss": 0.1062,
247
+ "step": 850
248
+ },
249
+ {
250
+ "epoch": 0.08754377188594298,
251
+ "grad_norm": 79.53904724121094,
252
+ "learning_rate": 3.924835801290067e-05,
253
+ "loss": 0.118,
254
+ "step": 875
255
+ },
256
+ {
257
+ "epoch": 0.09004502251125562,
258
+ "grad_norm": 0.3061774671077728,
259
+ "learning_rate": 3.92050842980457e-05,
260
+ "loss": 0.2086,
261
+ "step": 900
262
+ },
263
+ {
264
+ "epoch": 0.09254627313656828,
265
+ "grad_norm": 7.978372573852539,
266
+ "learning_rate": 3.9160624737584145e-05,
267
+ "loss": 0.1529,
268
+ "step": 925
269
+ },
270
+ {
271
+ "epoch": 0.09504752376188094,
272
+ "grad_norm": 0.523367702960968,
273
+ "learning_rate": 3.911498207673564e-05,
274
+ "loss": 0.1753,
275
+ "step": 950
276
+ },
277
+ {
278
+ "epoch": 0.0975487743871936,
279
+ "grad_norm": 20.376188278198242,
280
+ "learning_rate": 3.9068159133772063e-05,
281
+ "loss": 0.125,
282
+ "step": 975
283
+ },
284
+ {
285
+ "epoch": 0.10005002501250625,
286
+ "grad_norm": 114.20791625976562,
287
+ "learning_rate": 3.90201587998435e-05,
288
+ "loss": 0.2486,
289
+ "step": 1000
290
+ },
291
+ {
292
+ "epoch": 0.1025512756378189,
293
+ "grad_norm": 0.523383378982544,
294
+ "learning_rate": 3.897098403879974e-05,
295
+ "loss": 0.1472,
296
+ "step": 1025
297
+ },
298
+ {
299
+ "epoch": 0.10505252626313157,
300
+ "grad_norm": 19.15448760986328,
301
+ "learning_rate": 3.8920637887007274e-05,
302
+ "loss": 0.1334,
303
+ "step": 1050
304
+ },
305
+ {
306
+ "epoch": 0.10755377688844422,
307
+ "grad_norm": 0.08451267331838608,
308
+ "learning_rate": 3.886912345316179e-05,
309
+ "loss": 0.0457,
310
+ "step": 1075
311
+ },
312
+ {
313
+ "epoch": 0.11005502751375688,
314
+ "grad_norm": 0.4930292069911957,
315
+ "learning_rate": 3.8816443918096254e-05,
316
+ "loss": 0.1361,
317
+ "step": 1100
318
+ },
319
+ {
320
+ "epoch": 0.11255627813906953,
321
+ "grad_norm": 0.03423502296209335,
322
+ "learning_rate": 3.8762602534584475e-05,
323
+ "loss": 0.1593,
324
+ "step": 1125
325
+ },
326
+ {
327
+ "epoch": 0.11505752876438219,
328
+ "grad_norm": 0.17333081364631653,
329
+ "learning_rate": 3.870760262714027e-05,
330
+ "loss": 0.1485,
331
+ "step": 1150
332
+ },
333
+ {
334
+ "epoch": 0.11755877938969485,
335
+ "grad_norm": 222.81520080566406,
336
+ "learning_rate": 3.865144759181218e-05,
337
+ "loss": 0.0828,
338
+ "step": 1175
339
+ },
340
+ {
341
+ "epoch": 0.12006003001500751,
342
+ "grad_norm": 0.016035404056310654,
343
+ "learning_rate": 3.859414089597378e-05,
344
+ "loss": 0.093,
345
+ "step": 1200
346
+ },
347
+ {
348
+ "epoch": 0.12256128064032017,
349
+ "grad_norm": 15.384016990661621,
350
+ "learning_rate": 3.8535686078109603e-05,
351
+ "loss": 0.126,
352
+ "step": 1225
353
+ },
354
+ {
355
+ "epoch": 0.12506253126563283,
356
+ "grad_norm": 12.354912757873535,
357
+ "learning_rate": 3.847608674759661e-05,
358
+ "loss": 0.1876,
359
+ "step": 1250
360
+ },
361
+ {
362
+ "epoch": 0.12756378189094547,
363
+ "grad_norm": 0.05332203954458237,
364
+ "learning_rate": 3.8415346584481354e-05,
365
+ "loss": 0.1981,
366
+ "step": 1275
367
+ },
368
+ {
369
+ "epoch": 0.13006503251625812,
370
+ "grad_norm": 0.14205677807331085,
371
+ "learning_rate": 3.835346933925274e-05,
372
+ "loss": 0.1143,
373
+ "step": 1300
374
+ },
375
+ {
376
+ "epoch": 0.1325662831415708,
377
+ "grad_norm": 0.29465416073799133,
378
+ "learning_rate": 3.829045883261045e-05,
379
+ "loss": 0.1429,
380
+ "step": 1325
381
+ },
382
+ {
383
+ "epoch": 0.13506753376688344,
384
+ "grad_norm": 39.05079650878906,
385
+ "learning_rate": 3.822631895522902e-05,
386
+ "loss": 0.0781,
387
+ "step": 1350
388
+ },
389
+ {
390
+ "epoch": 0.1375687843921961,
391
+ "grad_norm": 0.01772889867424965,
392
+ "learning_rate": 3.816105366751761e-05,
393
+ "loss": 0.1129,
394
+ "step": 1375
395
+ },
396
+ {
397
+ "epoch": 0.14007003501750875,
398
+ "grad_norm": 0.15872862935066223,
399
+ "learning_rate": 3.809466699937546e-05,
400
+ "loss": 0.1768,
401
+ "step": 1400
402
+ },
403
+ {
404
+ "epoch": 0.1425712856428214,
405
+ "grad_norm": 0.8094736337661743,
406
+ "learning_rate": 3.802716304994307e-05,
407
+ "loss": 0.1856,
408
+ "step": 1425
409
+ },
410
+ {
411
+ "epoch": 0.14507253626813407,
412
+ "grad_norm": 25.76457977294922,
413
+ "learning_rate": 3.795854598734907e-05,
414
+ "loss": 0.2178,
415
+ "step": 1450
416
+ },
417
+ {
418
+ "epoch": 0.14757378689344672,
419
+ "grad_norm": 0.0784437283873558,
420
+ "learning_rate": 3.78888200484529e-05,
421
+ "loss": 0.1965,
422
+ "step": 1475
423
+ },
424
+ {
425
+ "epoch": 0.1500750375187594,
426
+ "grad_norm": 0.3800150156021118,
427
+ "learning_rate": 3.78179895385831e-05,
428
+ "loss": 0.0999,
429
+ "step": 1500
430
+ },
431
+ {
432
+ "epoch": 0.15257628814407204,
433
+ "grad_norm": 1.0416650772094727,
434
+ "learning_rate": 3.7746058831271615e-05,
435
+ "loss": 0.1243,
436
+ "step": 1525
437
+ },
438
+ {
439
+ "epoch": 0.15507753876938468,
440
+ "grad_norm": 0.11174795031547546,
441
+ "learning_rate": 3.76730323679836e-05,
442
+ "loss": 0.1422,
443
+ "step": 1550
444
+ },
445
+ {
446
+ "epoch": 0.15757878939469736,
447
+ "grad_norm": 0.3775555491447449,
448
+ "learning_rate": 3.759891465784328e-05,
449
+ "loss": 0.1116,
450
+ "step": 1575
451
+ },
452
+ {
453
+ "epoch": 0.16008004002001,
454
+ "grad_norm": 15.986193656921387,
455
+ "learning_rate": 3.7523710277355486e-05,
456
+ "loss": 0.1576,
457
+ "step": 1600
458
+ },
459
+ {
460
+ "epoch": 0.16258129064532267,
461
+ "grad_norm": 0.23364950716495514,
462
+ "learning_rate": 3.744742387012305e-05,
463
+ "loss": 0.2062,
464
+ "step": 1625
465
+ },
466
+ {
467
+ "epoch": 0.16508254127063532,
468
+ "grad_norm": 0.29508504271507263,
469
+ "learning_rate": 3.7370060146560146e-05,
470
+ "loss": 0.0706,
471
+ "step": 1650
472
+ },
473
+ {
474
+ "epoch": 0.16758379189594796,
475
+ "grad_norm": 25.761932373046875,
476
+ "learning_rate": 3.729162388360136e-05,
477
+ "loss": 0.1567,
478
+ "step": 1675
479
+ },
480
+ {
481
+ "epoch": 0.17008504252126064,
482
+ "grad_norm": 0.2009466141462326,
483
+ "learning_rate": 3.721211992440679e-05,
484
+ "loss": 0.1543,
485
+ "step": 1700
486
+ },
487
+ {
488
+ "epoch": 0.17258629314657328,
489
+ "grad_norm": 0.6639204621315002,
490
+ "learning_rate": 3.713155317806297e-05,
491
+ "loss": 0.1088,
492
+ "step": 1725
493
+ },
494
+ {
495
+ "epoch": 0.17508754377188596,
496
+ "grad_norm": 2.544776678085327,
497
+ "learning_rate": 3.7049928619279756e-05,
498
+ "loss": 0.2022,
499
+ "step": 1750
500
+ },
501
+ {
502
+ "epoch": 0.1775887943971986,
503
+ "grad_norm": 0.3780362010002136,
504
+ "learning_rate": 3.696725128808315e-05,
505
+ "loss": 0.1163,
506
+ "step": 1775
507
+ },
508
+ {
509
+ "epoch": 0.18009004502251125,
510
+ "grad_norm": 359.48529052734375,
511
+ "learning_rate": 3.6883526289504136e-05,
512
+ "loss": 0.156,
513
+ "step": 1800
514
+ },
515
+ {
516
+ "epoch": 0.18259129564782392,
517
+ "grad_norm": 1.8053516149520874,
518
+ "learning_rate": 3.679875879326339e-05,
519
+ "loss": 0.2366,
520
+ "step": 1825
521
+ },
522
+ {
523
+ "epoch": 0.18509254627313657,
524
+ "grad_norm": 0.10984477400779724,
525
+ "learning_rate": 3.671295403345213e-05,
526
+ "loss": 0.1914,
527
+ "step": 1850
528
+ },
529
+ {
530
+ "epoch": 0.1875937968984492,
531
+ "grad_norm": 10.29328441619873,
532
+ "learning_rate": 3.6626117308208914e-05,
533
+ "loss": 0.1172,
534
+ "step": 1875
535
+ },
536
+ {
537
+ "epoch": 0.19009504752376188,
538
+ "grad_norm": 0.12147555500268936,
539
+ "learning_rate": 3.653825397939248e-05,
540
+ "loss": 0.0673,
541
+ "step": 1900
542
+ },
543
+ {
544
+ "epoch": 0.19259629814907453,
545
+ "grad_norm": 21.880474090576172,
546
+ "learning_rate": 3.644936947225067e-05,
547
+ "loss": 0.1466,
548
+ "step": 1925
549
+ },
550
+ {
551
+ "epoch": 0.1950975487743872,
552
+ "grad_norm": 0.8703334331512451,
553
+ "learning_rate": 3.635946927508549e-05,
554
+ "loss": 0.1115,
555
+ "step": 1950
556
+ },
557
+ {
558
+ "epoch": 0.19759879939969985,
559
+ "grad_norm": 0.03523194044828415,
560
+ "learning_rate": 3.626855893891416e-05,
561
+ "loss": 0.1239,
562
+ "step": 1975
563
+ },
564
+ {
565
+ "epoch": 0.2001000500250125,
566
+ "grad_norm": 31.759401321411133,
567
+ "learning_rate": 3.61766440771264e-05,
568
+ "loss": 0.2329,
569
+ "step": 2000
570
+ },
571
+ {
572
+ "epoch": 0.20260130065032517,
573
+ "grad_norm": 18.91559600830078,
574
+ "learning_rate": 3.608373036513781e-05,
575
+ "loss": 0.268,
576
+ "step": 2025
577
+ },
578
+ {
579
+ "epoch": 0.2051025512756378,
580
+ "grad_norm": 0.17922823131084442,
581
+ "learning_rate": 3.598982354003944e-05,
582
+ "loss": 0.0867,
583
+ "step": 2050
584
+ },
585
+ {
586
+ "epoch": 0.20760380190095049,
587
+ "grad_norm": 41.87879180908203,
588
+ "learning_rate": 3.5894929400243525e-05,
589
+ "loss": 0.1569,
590
+ "step": 2075
591
+ },
592
+ {
593
+ "epoch": 0.21010505252626313,
594
+ "grad_norm": 0.23550072312355042,
595
+ "learning_rate": 3.579905380512549e-05,
596
+ "loss": 0.1545,
597
+ "step": 2100
598
+ },
599
+ {
600
+ "epoch": 0.21260630315157578,
601
+ "grad_norm": 0.2628050148487091,
602
+ "learning_rate": 3.570220267466212e-05,
603
+ "loss": 0.1471,
604
+ "step": 2125
605
+ },
606
+ {
607
+ "epoch": 0.21510755377688845,
608
+ "grad_norm": 0.3434367775917053,
609
+ "learning_rate": 3.5604381989066036e-05,
610
+ "loss": 0.0907,
611
+ "step": 2150
612
+ },
613
+ {
614
+ "epoch": 0.2176088044022011,
615
+ "grad_norm": 0.6170933246612549,
616
+ "learning_rate": 3.550559778841644e-05,
617
+ "loss": 0.1611,
618
+ "step": 2175
619
+ },
620
+ {
621
+ "epoch": 0.22011005502751377,
622
+ "grad_norm": 0.14058801531791687,
623
+ "learning_rate": 3.540585617228616e-05,
624
+ "loss": 0.0984,
625
+ "step": 2200
626
+ },
627
+ {
628
+ "epoch": 0.2226113056528264,
629
+ "grad_norm": 13.971565246582031,
630
+ "learning_rate": 3.5305163299365026e-05,
631
+ "loss": 0.1257,
632
+ "step": 2225
633
+ },
634
+ {
635
+ "epoch": 0.22511255627813906,
636
+ "grad_norm": 0.24643060564994812,
637
+ "learning_rate": 3.520352538707959e-05,
638
+ "loss": 0.1329,
639
+ "step": 2250
640
+ },
641
+ {
642
+ "epoch": 0.22761380690345173,
643
+ "grad_norm": 0.09342304617166519,
644
+ "learning_rate": 3.5100948711209194e-05,
645
+ "loss": 0.1584,
646
+ "step": 2275
647
+ },
648
+ {
649
+ "epoch": 0.23011505752876438,
650
+ "grad_norm": 35.70368957519531,
651
+ "learning_rate": 3.499743960549854e-05,
652
+ "loss": 0.1418,
653
+ "step": 2300
654
+ },
655
+ {
656
+ "epoch": 0.23261630815407705,
657
+ "grad_norm": 0.383614182472229,
658
+ "learning_rate": 3.489300446126651e-05,
659
+ "loss": 0.1274,
660
+ "step": 2325
661
+ },
662
+ {
663
+ "epoch": 0.2351175587793897,
664
+ "grad_norm": 0.4088073968887329,
665
+ "learning_rate": 3.478764972701161e-05,
666
+ "loss": 0.1745,
667
+ "step": 2350
668
+ },
669
+ {
670
+ "epoch": 0.23761880940470234,
671
+ "grad_norm": 0.08729482442140579,
672
+ "learning_rate": 3.468138190801371e-05,
673
+ "loss": 0.085,
674
+ "step": 2375
675
+ },
676
+ {
677
+ "epoch": 0.24012006003001501,
678
+ "grad_norm": 0.3952048420906067,
679
+ "learning_rate": 3.457420756593245e-05,
680
+ "loss": 0.0945,
681
+ "step": 2400
682
+ },
683
+ {
684
+ "epoch": 0.24262131065532766,
685
+ "grad_norm": 0.2219538688659668,
686
+ "learning_rate": 3.4466133318402025e-05,
687
+ "loss": 0.052,
688
+ "step": 2425
689
+ },
690
+ {
691
+ "epoch": 0.24512256128064033,
692
+ "grad_norm": 0.04476270079612732,
693
+ "learning_rate": 3.43571658386226e-05,
694
+ "loss": 0.0892,
695
+ "step": 2450
696
+ },
697
+ {
698
+ "epoch": 0.24762381190595298,
699
+ "grad_norm": 0.025918023660779,
700
+ "learning_rate": 3.424731185494824e-05,
701
+ "loss": 0.0942,
702
+ "step": 2475
703
+ },
704
+ {
705
+ "epoch": 0.25012506253126565,
706
+ "grad_norm": 0.297314316034317,
707
+ "learning_rate": 3.4136578150471494e-05,
708
+ "loss": 0.1721,
709
+ "step": 2500
710
+ },
711
+ {
712
+ "epoch": 0.2526263131565783,
713
+ "grad_norm": 0.03462698310613632,
714
+ "learning_rate": 3.402497156260451e-05,
715
+ "loss": 0.1522,
716
+ "step": 2525
717
+ },
718
+ {
719
+ "epoch": 0.25512756378189094,
720
+ "grad_norm": 0.040947914123535156,
721
+ "learning_rate": 3.39124989826569e-05,
722
+ "loss": 0.1531,
723
+ "step": 2550
724
+ },
725
+ {
726
+ "epoch": 0.2576288144072036,
727
+ "grad_norm": 0.0961972326040268,
728
+ "learning_rate": 3.3799167355410196e-05,
729
+ "loss": 0.1604,
730
+ "step": 2575
731
+ },
732
+ {
733
+ "epoch": 0.26013006503251623,
734
+ "grad_norm": 0.12631960213184357,
735
+ "learning_rate": 3.3684983678689046e-05,
736
+ "loss": 0.0664,
737
+ "step": 2600
738
+ },
739
+ {
740
+ "epoch": 0.26263131565782893,
741
+ "grad_norm": 0.23123978078365326,
742
+ "learning_rate": 3.356995500292911e-05,
743
+ "loss": 0.061,
744
+ "step": 2625
745
+ },
746
+ {
747
+ "epoch": 0.2651325662831416,
748
+ "grad_norm": 0.2000068873167038,
749
+ "learning_rate": 3.345408843074176e-05,
750
+ "loss": 0.2291,
751
+ "step": 2650
752
+ },
753
+ {
754
+ "epoch": 0.2676338169084542,
755
+ "grad_norm": 0.05806007608771324,
756
+ "learning_rate": 3.333739111647546e-05,
757
+ "loss": 0.0883,
758
+ "step": 2675
759
+ },
760
+ {
761
+ "epoch": 0.27013506753376687,
762
+ "grad_norm": 16.97104835510254,
763
+ "learning_rate": 3.321987026577406e-05,
764
+ "loss": 0.248,
765
+ "step": 2700
766
+ },
767
+ {
768
+ "epoch": 0.2726363181590795,
769
+ "grad_norm": 0.2533210515975952,
770
+ "learning_rate": 3.310153313513184e-05,
771
+ "loss": 0.1444,
772
+ "step": 2725
773
+ },
774
+ {
775
+ "epoch": 0.2751375687843922,
776
+ "grad_norm": 14.181327819824219,
777
+ "learning_rate": 3.2982387031445464e-05,
778
+ "loss": 0.1186,
779
+ "step": 2750
780
+ },
781
+ {
782
+ "epoch": 0.27763881940970486,
783
+ "grad_norm": 0.1773647964000702,
784
+ "learning_rate": 3.286243931156282e-05,
785
+ "loss": 0.1208,
786
+ "step": 2775
787
+ },
788
+ {
789
+ "epoch": 0.2801400700350175,
790
+ "grad_norm": 19.69437026977539,
791
+ "learning_rate": 3.274169738182872e-05,
792
+ "loss": 0.1508,
793
+ "step": 2800
794
+ },
795
+ {
796
+ "epoch": 0.28264132066033015,
797
+ "grad_norm": 150.1019287109375,
798
+ "learning_rate": 3.2620168697627613e-05,
799
+ "loss": 0.1843,
800
+ "step": 2825
801
+ },
802
+ {
803
+ "epoch": 0.2851425712856428,
804
+ "grad_norm": 0.26820531487464905,
805
+ "learning_rate": 3.2497860762923257e-05,
806
+ "loss": 0.1565,
807
+ "step": 2850
808
+ },
809
+ {
810
+ "epoch": 0.2876438219109555,
811
+ "grad_norm": 0.06253763288259506,
812
+ "learning_rate": 3.237478112979533e-05,
813
+ "loss": 0.1483,
814
+ "step": 2875
815
+ },
816
+ {
817
+ "epoch": 0.29014507253626814,
818
+ "grad_norm": 0.24921411275863647,
819
+ "learning_rate": 3.225093739797315e-05,
820
+ "loss": 0.1621,
821
+ "step": 2900
822
+ },
823
+ {
824
+ "epoch": 0.2926463231615808,
825
+ "grad_norm": 1.2032796144485474,
826
+ "learning_rate": 3.212633721436641e-05,
827
+ "loss": 0.1671,
828
+ "step": 2925
829
+ },
830
+ {
831
+ "epoch": 0.29514757378689344,
832
+ "grad_norm": 0.38356107473373413,
833
+ "learning_rate": 3.200098827259301e-05,
834
+ "loss": 0.1226,
835
+ "step": 2950
836
+ },
837
+ {
838
+ "epoch": 0.2976488244122061,
839
+ "grad_norm": 0.20885924994945526,
840
+ "learning_rate": 3.187489831250401e-05,
841
+ "loss": 0.129,
842
+ "step": 2975
843
+ },
844
+ {
845
+ "epoch": 0.3001500750375188,
846
+ "grad_norm": 1.4335801601409912,
847
+ "learning_rate": 3.174807511970569e-05,
848
+ "loss": 0.0773,
849
+ "step": 3000
850
+ },
851
+ {
852
+ "epoch": 0.3026513256628314,
853
+ "grad_norm": 0.022196106612682343,
854
+ "learning_rate": 3.162052652507885e-05,
855
+ "loss": 0.1125,
856
+ "step": 3025
857
+ },
858
+ {
859
+ "epoch": 0.3051525762881441,
860
+ "grad_norm": 0.16986538469791412,
861
+ "learning_rate": 3.1492260404295304e-05,
862
+ "loss": 0.0869,
863
+ "step": 3050
864
+ },
865
+ {
866
+ "epoch": 0.3076538269134567,
867
+ "grad_norm": 0.6112625002861023,
868
+ "learning_rate": 3.136328467733151e-05,
869
+ "loss": 0.1666,
870
+ "step": 3075
871
+ },
872
+ {
873
+ "epoch": 0.31015507753876936,
874
+ "grad_norm": 19.040809631347656,
875
+ "learning_rate": 3.123360730797959e-05,
876
+ "loss": 0.1397,
877
+ "step": 3100
878
+ },
879
+ {
880
+ "epoch": 0.31265632816408206,
881
+ "grad_norm": 0.2973456084728241,
882
+ "learning_rate": 3.1103236303355596e-05,
883
+ "loss": 0.102,
884
+ "step": 3125
885
+ },
886
+ {
887
+ "epoch": 0.3151575787893947,
888
+ "grad_norm": 13.075286865234375,
889
+ "learning_rate": 3.09721797134051e-05,
890
+ "loss": 0.1974,
891
+ "step": 3150
892
+ },
893
+ {
894
+ "epoch": 0.31765882941470736,
895
+ "grad_norm": 0.5370767116546631,
896
+ "learning_rate": 3.08404456304061e-05,
897
+ "loss": 0.1666,
898
+ "step": 3175
899
+ },
900
+ {
901
+ "epoch": 0.32016008004002,
902
+ "grad_norm": 0.060493987053632736,
903
+ "learning_rate": 3.0708042188469404e-05,
904
+ "loss": 0.1282,
905
+ "step": 3200
906
+ },
907
+ {
908
+ "epoch": 0.32266133066533265,
909
+ "grad_norm": 0.7090537548065186,
910
+ "learning_rate": 3.057497756303634e-05,
911
+ "loss": 0.1226,
912
+ "step": 3225
913
+ },
914
+ {
915
+ "epoch": 0.32516258129064535,
916
+ "grad_norm": 6.405539035797119,
917
+ "learning_rate": 3.0441259970373962e-05,
918
+ "loss": 0.2181,
919
+ "step": 3250
920
+ },
921
+ {
922
+ "epoch": 0.327663831915958,
923
+ "grad_norm": 8.076794624328613,
924
+ "learning_rate": 3.030689766706773e-05,
925
+ "loss": 0.2238,
926
+ "step": 3275
927
+ },
928
+ {
929
+ "epoch": 0.33016508254127064,
930
+ "grad_norm": 125.73238372802734,
931
+ "learning_rate": 3.0171898949511706e-05,
932
+ "loss": 0.1548,
933
+ "step": 3300
934
+ },
935
+ {
936
+ "epoch": 0.3326663331665833,
937
+ "grad_norm": 11.128600120544434,
938
+ "learning_rate": 3.003627215339623e-05,
939
+ "loss": 0.1555,
940
+ "step": 3325
941
+ },
942
+ {
943
+ "epoch": 0.33516758379189593,
944
+ "grad_norm": 0.055309098213911057,
945
+ "learning_rate": 2.99000256531933e-05,
946
+ "loss": 0.1502,
947
+ "step": 3350
948
+ },
949
+ {
950
+ "epoch": 0.33766883441720863,
951
+ "grad_norm": 0.022126832976937294,
952
+ "learning_rate": 2.97631678616394e-05,
953
+ "loss": 0.1212,
954
+ "step": 3375
955
+ },
956
+ {
957
+ "epoch": 0.3401700850425213,
958
+ "grad_norm": 288.01190185546875,
959
+ "learning_rate": 2.9625707229216113e-05,
960
+ "loss": 0.1169,
961
+ "step": 3400
962
+ },
963
+ {
964
+ "epoch": 0.3426713356678339,
965
+ "grad_norm": 36.57490921020508,
966
+ "learning_rate": 2.9487652243628276e-05,
967
+ "loss": 0.1877,
968
+ "step": 3425
969
+ },
970
+ {
971
+ "epoch": 0.34517258629314657,
972
+ "grad_norm": 15.682371139526367,
973
+ "learning_rate": 2.9349011429279926e-05,
974
+ "loss": 0.1418,
975
+ "step": 3450
976
+ },
977
+ {
978
+ "epoch": 0.3476738369184592,
979
+ "grad_norm": 0.6421070694923401,
980
+ "learning_rate": 2.9209793346747947e-05,
981
+ "loss": 0.2204,
982
+ "step": 3475
983
+ },
984
+ {
985
+ "epoch": 0.3501750875437719,
986
+ "grad_norm": 0.5425435900688171,
987
+ "learning_rate": 2.9070006592253464e-05,
988
+ "loss": 0.1887,
989
+ "step": 3500
990
+ },
991
+ {
992
+ "epoch": 0.35267633816908456,
993
+ "grad_norm": 0.0935954675078392,
994
+ "learning_rate": 2.8929659797131085e-05,
995
+ "loss": 0.1235,
996
+ "step": 3525
997
+ },
998
+ {
999
+ "epoch": 0.3551775887943972,
1000
+ "grad_norm": 0.24769815802574158,
1001
+ "learning_rate": 2.8788761627295936e-05,
1002
+ "loss": 0.1453,
1003
+ "step": 3550
1004
+ },
1005
+ {
1006
+ "epoch": 0.35767883941970985,
1007
+ "grad_norm": 0.04014880955219269,
1008
+ "learning_rate": 2.864732078270855e-05,
1009
+ "loss": 0.1927,
1010
+ "step": 3575
1011
+ },
1012
+ {
1013
+ "epoch": 0.3601800900450225,
1014
+ "grad_norm": 0.05248425900936127,
1015
+ "learning_rate": 2.850534599683772e-05,
1016
+ "loss": 0.1187,
1017
+ "step": 3600
1018
+ },
1019
+ {
1020
+ "epoch": 0.3626813406703352,
1021
+ "grad_norm": 11.045674324035645,
1022
+ "learning_rate": 2.8362846036121186e-05,
1023
+ "loss": 0.162,
1024
+ "step": 3625
1025
+ },
1026
+ {
1027
+ "epoch": 0.36518259129564784,
1028
+ "grad_norm": 0.0672292411327362,
1029
+ "learning_rate": 2.8219829699424398e-05,
1030
+ "loss": 0.113,
1031
+ "step": 3650
1032
+ },
1033
+ {
1034
+ "epoch": 0.3676838419209605,
1035
+ "grad_norm": 143.576171875,
1036
+ "learning_rate": 2.8076305817497157e-05,
1037
+ "loss": 0.1054,
1038
+ "step": 3675
1039
+ },
1040
+ {
1041
+ "epoch": 0.37018509254627313,
1042
+ "grad_norm": 0.06361057609319687,
1043
+ "learning_rate": 2.7932283252428392e-05,
1044
+ "loss": 0.1897,
1045
+ "step": 3700
1046
+ },
1047
+ {
1048
+ "epoch": 0.3726863431715858,
1049
+ "grad_norm": 1.1924331188201904,
1050
+ "learning_rate": 2.778777089709893e-05,
1051
+ "loss": 0.1404,
1052
+ "step": 3725
1053
+ },
1054
+ {
1055
+ "epoch": 0.3751875937968984,
1056
+ "grad_norm": 0.7274206876754761,
1057
+ "learning_rate": 2.7642777674632407e-05,
1058
+ "loss": 0.1784,
1059
+ "step": 3750
1060
+ },
1061
+ {
1062
+ "epoch": 0.3776888444222111,
1063
+ "grad_norm": 0.24153609573841095,
1064
+ "learning_rate": 2.749731253784429e-05,
1065
+ "loss": 0.1024,
1066
+ "step": 3775
1067
+ },
1068
+ {
1069
+ "epoch": 0.38019009504752377,
1070
+ "grad_norm": 20.348215103149414,
1071
+ "learning_rate": 2.7351384468689096e-05,
1072
+ "loss": 0.1489,
1073
+ "step": 3800
1074
+ },
1075
+ {
1076
+ "epoch": 0.3826913456728364,
1077
+ "grad_norm": 0.2773479223251343,
1078
+ "learning_rate": 2.720500247770575e-05,
1079
+ "loss": 0.0975,
1080
+ "step": 3825
1081
+ },
1082
+ {
1083
+ "epoch": 0.38519259629814906,
1084
+ "grad_norm": 0.3089248538017273,
1085
+ "learning_rate": 2.7058175603461226e-05,
1086
+ "loss": 0.2208,
1087
+ "step": 3850
1088
+ },
1089
+ {
1090
+ "epoch": 0.3876938469234617,
1091
+ "grad_norm": 13.159348487854004,
1092
+ "learning_rate": 2.6910912911992476e-05,
1093
+ "loss": 0.2062,
1094
+ "step": 3875
1095
+ },
1096
+ {
1097
+ "epoch": 0.3901950975487744,
1098
+ "grad_norm": 29.566808700561523,
1099
+ "learning_rate": 2.676322349624661e-05,
1100
+ "loss": 0.1645,
1101
+ "step": 3900
1102
+ },
1103
+ {
1104
+ "epoch": 0.39269634817408705,
1105
+ "grad_norm": 0.2225501835346222,
1106
+ "learning_rate": 2.661511647551943e-05,
1107
+ "loss": 0.0732,
1108
+ "step": 3925
1109
+ },
1110
+ {
1111
+ "epoch": 0.3951975987993997,
1112
+ "grad_norm": 0.3465461730957031,
1113
+ "learning_rate": 2.6466600994892372e-05,
1114
+ "loss": 0.1985,
1115
+ "step": 3950
1116
+ },
1117
+ {
1118
+ "epoch": 0.39769884942471234,
1119
+ "grad_norm": 0.5288184285163879,
1120
+ "learning_rate": 2.631768622466782e-05,
1121
+ "loss": 0.1205,
1122
+ "step": 3975
1123
+ },
1124
+ {
1125
+ "epoch": 0.400200100050025,
1126
+ "grad_norm": 0.3252531588077545,
1127
+ "learning_rate": 2.6168381359802855e-05,
1128
+ "loss": 0.1408,
1129
+ "step": 4000
1130
+ },
1131
+ {
1132
+ "epoch": 0.4027013506753377,
1133
+ "grad_norm": 0.3699590563774109,
1134
+ "learning_rate": 2.6018695619341524e-05,
1135
+ "loss": 0.1702,
1136
+ "step": 4025
1137
+ },
1138
+ {
1139
+ "epoch": 0.40520260130065033,
1140
+ "grad_norm": 0.1666814535856247,
1141
+ "learning_rate": 2.5868638245845596e-05,
1142
+ "loss": 0.0848,
1143
+ "step": 4050
1144
+ },
1145
+ {
1146
+ "epoch": 0.407703851925963,
1147
+ "grad_norm": 11.49666976928711,
1148
+ "learning_rate": 2.5718218504823833e-05,
1149
+ "loss": 0.1,
1150
+ "step": 4075
1151
+ },
1152
+ {
1153
+ "epoch": 0.4102051025512756,
1154
+ "grad_norm": 0.28841909766197205,
1155
+ "learning_rate": 2.5567445684159924e-05,
1156
+ "loss": 0.1903,
1157
+ "step": 4100
1158
+ },
1159
+ {
1160
+ "epoch": 0.41270635317658827,
1161
+ "grad_norm": 0.5258137583732605,
1162
+ "learning_rate": 2.541632909353896e-05,
1163
+ "loss": 0.2944,
1164
+ "step": 4125
1165
+ },
1166
+ {
1167
+ "epoch": 0.41520760380190097,
1168
+ "grad_norm": 27.5355167388916,
1169
+ "learning_rate": 2.5264878063872592e-05,
1170
+ "loss": 0.0421,
1171
+ "step": 4150
1172
+ },
1173
+ {
1174
+ "epoch": 0.4177088544272136,
1175
+ "grad_norm": 0.05920391157269478,
1176
+ "learning_rate": 2.5113101946722923e-05,
1177
+ "loss": 0.1753,
1178
+ "step": 4175
1179
+ },
1180
+ {
1181
+ "epoch": 0.42021010505252626,
1182
+ "grad_norm": 0.34684690833091736,
1183
+ "learning_rate": 2.4961010113725016e-05,
1184
+ "loss": 0.1455,
1185
+ "step": 4200
1186
+ },
1187
+ {
1188
+ "epoch": 0.4227113556778389,
1189
+ "grad_norm": 1.5402501821517944,
1190
+ "learning_rate": 2.480861195600829e-05,
1191
+ "loss": 0.1843,
1192
+ "step": 4225
1193
+ },
1194
+ {
1195
+ "epoch": 0.42521260630315155,
1196
+ "grad_norm": 1.5725764036178589,
1197
+ "learning_rate": 2.4655916883616615e-05,
1198
+ "loss": 0.1752,
1199
+ "step": 4250
1200
+ },
1201
+ {
1202
+ "epoch": 0.42771385692846425,
1203
+ "grad_norm": 0.14059758186340332,
1204
+ "learning_rate": 2.4502934324927275e-05,
1205
+ "loss": 0.1485,
1206
+ "step": 4275
1207
+ },
1208
+ {
1209
+ "epoch": 0.4302151075537769,
1210
+ "grad_norm": 24.815263748168945,
1211
+ "learning_rate": 2.434967372606884e-05,
1212
+ "loss": 0.1267,
1213
+ "step": 4300
1214
+ },
1215
+ {
1216
+ "epoch": 0.43271635817908954,
1217
+ "grad_norm": 0.12408627569675446,
1218
+ "learning_rate": 2.4196144550337835e-05,
1219
+ "loss": 0.1086,
1220
+ "step": 4325
1221
+ },
1222
+ {
1223
+ "epoch": 0.4352176088044022,
1224
+ "grad_norm": 56.71596908569336,
1225
+ "learning_rate": 2.4042356277614474e-05,
1226
+ "loss": 0.1647,
1227
+ "step": 4350
1228
+ },
1229
+ {
1230
+ "epoch": 0.43771885942971483,
1231
+ "grad_norm": 0.19101518392562866,
1232
+ "learning_rate": 2.3888318403777278e-05,
1233
+ "loss": 0.2009,
1234
+ "step": 4375
1235
+ },
1236
+ {
1237
+ "epoch": 0.44022011005502754,
1238
+ "grad_norm": 0.9115645885467529,
1239
+ "learning_rate": 2.3734040440116754e-05,
1240
+ "loss": 0.0949,
1241
+ "step": 4400
1242
+ },
1243
+ {
1244
+ "epoch": 0.4427213606803402,
1245
+ "grad_norm": 14.58008098602295,
1246
+ "learning_rate": 2.3579531912748103e-05,
1247
+ "loss": 0.1557,
1248
+ "step": 4425
1249
+ },
1250
+ {
1251
+ "epoch": 0.4452226113056528,
1252
+ "grad_norm": 19.085018157958984,
1253
+ "learning_rate": 2.342480236202301e-05,
1254
+ "loss": 0.1496,
1255
+ "step": 4450
1256
+ },
1257
+ {
1258
+ "epoch": 0.44772386193096547,
1259
+ "grad_norm": 12.429741859436035,
1260
+ "learning_rate": 2.326986134194056e-05,
1261
+ "loss": 0.1273,
1262
+ "step": 4475
1263
+ },
1264
+ {
1265
+ "epoch": 0.4502251125562781,
1266
+ "grad_norm": 48.59264373779297,
1267
+ "learning_rate": 2.311471841955733e-05,
1268
+ "loss": 0.1184,
1269
+ "step": 4500
1270
+ },
1271
+ {
1272
+ "epoch": 0.4527263631815908,
1273
+ "grad_norm": 0.5290281176567078,
1274
+ "learning_rate": 2.2959383174396643e-05,
1275
+ "loss": 0.1004,
1276
+ "step": 4525
1277
+ },
1278
+ {
1279
+ "epoch": 0.45522761380690346,
1280
+ "grad_norm": 9.91138744354248,
1281
+ "learning_rate": 2.280386519785706e-05,
1282
+ "loss": 0.1409,
1283
+ "step": 4550
1284
+ },
1285
+ {
1286
+ "epoch": 0.4577288644322161,
1287
+ "grad_norm": 0.26398804783821106,
1288
+ "learning_rate": 2.2648174092620163e-05,
1289
+ "loss": 0.1154,
1290
+ "step": 4575
1291
+ },
1292
+ {
1293
+ "epoch": 0.46023011505752875,
1294
+ "grad_norm": 0.1168275848031044,
1295
+ "learning_rate": 2.2492319472057614e-05,
1296
+ "loss": 0.0812,
1297
+ "step": 4600
1298
+ },
1299
+ {
1300
+ "epoch": 0.4627313656828414,
1301
+ "grad_norm": 31.5048770904541,
1302
+ "learning_rate": 2.2336310959637567e-05,
1303
+ "loss": 0.2135,
1304
+ "step": 4625
1305
+ },
1306
+ {
1307
+ "epoch": 0.4652326163081541,
1308
+ "grad_norm": 0.07563710957765579,
1309
+ "learning_rate": 2.218015818833043e-05,
1310
+ "loss": 0.1062,
1311
+ "step": 4650
1312
+ },
1313
+ {
1314
+ "epoch": 0.46773386693346675,
1315
+ "grad_norm": 15.729762077331543,
1316
+ "learning_rate": 2.2023870800014117e-05,
1317
+ "loss": 0.1149,
1318
+ "step": 4675
1319
+ },
1320
+ {
1321
+ "epoch": 0.4702351175587794,
1322
+ "grad_norm": 0.04444985091686249,
1323
+ "learning_rate": 2.186745844487865e-05,
1324
+ "loss": 0.1457,
1325
+ "step": 4700
1326
+ },
1327
+ {
1328
+ "epoch": 0.47273636818409204,
1329
+ "grad_norm": 22.96498680114746,
1330
+ "learning_rate": 2.1710930780830286e-05,
1331
+ "loss": 0.1189,
1332
+ "step": 4725
1333
+ },
1334
+ {
1335
+ "epoch": 0.4752376188094047,
1336
+ "grad_norm": 0.06094487011432648,
1337
+ "learning_rate": 2.1554297472895228e-05,
1338
+ "loss": 0.1385,
1339
+ "step": 4750
1340
+ },
1341
+ {
1342
+ "epoch": 0.4777388694347174,
1343
+ "grad_norm": 0.097426638007164,
1344
+ "learning_rate": 2.139756819262279e-05,
1345
+ "loss": 0.0977,
1346
+ "step": 4775
1347
+ },
1348
+ {
1349
+ "epoch": 0.48024012006003003,
1350
+ "grad_norm": 2.2611753940582275,
1351
+ "learning_rate": 2.124075261748826e-05,
1352
+ "loss": 0.1512,
1353
+ "step": 4800
1354
+ },
1355
+ {
1356
+ "epoch": 0.4827413706853427,
1357
+ "grad_norm": 1.320090889930725,
1358
+ "learning_rate": 2.10838604302953e-05,
1359
+ "loss": 0.0863,
1360
+ "step": 4825
1361
+ },
1362
+ {
1363
+ "epoch": 0.4852426213106553,
1364
+ "grad_norm": 0.07149459421634674,
1365
+ "learning_rate": 2.092690131857811e-05,
1366
+ "loss": 0.0889,
1367
+ "step": 4850
1368
+ },
1369
+ {
1370
+ "epoch": 0.48774387193596797,
1371
+ "grad_norm": 0.34245261549949646,
1372
+ "learning_rate": 2.0769884974003242e-05,
1373
+ "loss": 0.1967,
1374
+ "step": 4875
1375
+ },
1376
+ {
1377
+ "epoch": 0.49024512256128067,
1378
+ "grad_norm": 24.065866470336914,
1379
+ "learning_rate": 2.0612821091771166e-05,
1380
+ "loss": 0.1375,
1381
+ "step": 4900
1382
+ },
1383
+ {
1384
+ "epoch": 0.4927463731865933,
1385
+ "grad_norm": 95.74565887451172,
1386
+ "learning_rate": 2.0455719370017642e-05,
1387
+ "loss": 0.0706,
1388
+ "step": 4925
1389
+ },
1390
+ {
1391
+ "epoch": 0.49524762381190596,
1392
+ "grad_norm": 0.6914840340614319,
1393
+ "learning_rate": 2.0298589509214875e-05,
1394
+ "loss": 0.1437,
1395
+ "step": 4950
1396
+ },
1397
+ {
1398
+ "epoch": 0.4977488744372186,
1399
+ "grad_norm": 0.11921434104442596,
1400
+ "learning_rate": 2.014144121157256e-05,
1401
+ "loss": 0.1332,
1402
+ "step": 4975
1403
+ },
1404
+ {
1405
+ "epoch": 0.5002501250625313,
1406
+ "grad_norm": 16.06453514099121,
1407
+ "learning_rate": 1.9984284180438794e-05,
1408
+ "loss": 0.0988,
1409
+ "step": 5000
1410
+ },
1411
+ {
1412
+ "epoch": 0.5027513756878439,
1413
+ "grad_norm": 51.186248779296875,
1414
+ "learning_rate": 1.982712811970097e-05,
1415
+ "loss": 0.234,
1416
+ "step": 5025
1417
+ },
1418
+ {
1419
+ "epoch": 0.5052526263131566,
1420
+ "grad_norm": 15.168620109558105,
1421
+ "learning_rate": 1.9669982733186515e-05,
1422
+ "loss": 0.1311,
1423
+ "step": 5050
1424
+ },
1425
+ {
1426
+ "epoch": 0.5077538769384692,
1427
+ "grad_norm": 25.940906524658203,
1428
+ "learning_rate": 1.9512857724063797e-05,
1429
+ "loss": 0.2212,
1430
+ "step": 5075
1431
+ },
1432
+ {
1433
+ "epoch": 0.5102551275637819,
1434
+ "grad_norm": 92.58007049560547,
1435
+ "learning_rate": 1.935576279424292e-05,
1436
+ "loss": 0.1482,
1437
+ "step": 5100
1438
+ },
1439
+ {
1440
+ "epoch": 0.5127563781890946,
1441
+ "grad_norm": 0.04388418793678284,
1442
+ "learning_rate": 1.919870764377673e-05,
1443
+ "loss": 0.1639,
1444
+ "step": 5125
1445
+ },
1446
+ {
1447
+ "epoch": 0.5152576288144072,
1448
+ "grad_norm": 40.801475524902344,
1449
+ "learning_rate": 1.9041701970261835e-05,
1450
+ "loss": 0.1455,
1451
+ "step": 5150
1452
+ },
1453
+ {
1454
+ "epoch": 0.5177588794397199,
1455
+ "grad_norm": 16.756343841552734,
1456
+ "learning_rate": 1.8884755468239786e-05,
1457
+ "loss": 0.0894,
1458
+ "step": 5175
1459
+ },
1460
+ {
1461
+ "epoch": 0.5202601300650325,
1462
+ "grad_norm": 0.08001682907342911,
1463
+ "learning_rate": 1.8727877828598547e-05,
1464
+ "loss": 0.1565,
1465
+ "step": 5200
1466
+ },
1467
+ {
1468
+ "epoch": 0.5227613806903452,
1469
+ "grad_norm": 0.22593358159065247,
1470
+ "learning_rate": 1.8571078737974036e-05,
1471
+ "loss": 0.148,
1472
+ "step": 5225
1473
+ },
1474
+ {
1475
+ "epoch": 0.5252626313156579,
1476
+ "grad_norm": 0.7297893762588501,
1477
+ "learning_rate": 1.8414367878152078e-05,
1478
+ "loss": 0.1254,
1479
+ "step": 5250
1480
+ },
1481
+ {
1482
+ "epoch": 0.5277638819409705,
1483
+ "grad_norm": 0.11556757241487503,
1484
+ "learning_rate": 1.825775492547056e-05,
1485
+ "loss": 0.1142,
1486
+ "step": 5275
1487
+ },
1488
+ {
1489
+ "epoch": 0.5302651325662832,
1490
+ "grad_norm": 12.832513809204102,
1491
+ "learning_rate": 1.8101249550221926e-05,
1492
+ "loss": 0.0533,
1493
+ "step": 5300
1494
+ },
1495
+ {
1496
+ "epoch": 0.5327663831915957,
1497
+ "grad_norm": 1.9056849479675293,
1498
+ "learning_rate": 1.7944861416056117e-05,
1499
+ "loss": 0.128,
1500
+ "step": 5325
1501
+ },
1502
+ {
1503
+ "epoch": 0.5352676338169085,
1504
+ "grad_norm": 140.72406005859375,
1505
+ "learning_rate": 1.7788600179383853e-05,
1506
+ "loss": 0.0849,
1507
+ "step": 5350
1508
+ },
1509
+ {
1510
+ "epoch": 0.5377688844422212,
1511
+ "grad_norm": 0.03620172664523125,
1512
+ "learning_rate": 1.763247548878037e-05,
1513
+ "loss": 0.214,
1514
+ "step": 5375
1515
+ },
1516
+ {
1517
+ "epoch": 0.5402701350675337,
1518
+ "grad_norm": 0.15090343356132507,
1519
+ "learning_rate": 1.74764969843897e-05,
1520
+ "loss": 0.116,
1521
+ "step": 5400
1522
+ },
1523
+ {
1524
+ "epoch": 0.5427713856928464,
1525
+ "grad_norm": 0.5586053133010864,
1526
+ "learning_rate": 1.732067429732936e-05,
1527
+ "loss": 0.101,
1528
+ "step": 5425
1529
+ },
1530
+ {
1531
+ "epoch": 0.545272636318159,
1532
+ "grad_norm": 0.20430028438568115,
1533
+ "learning_rate": 1.716501704909574e-05,
1534
+ "loss": 0.1096,
1535
+ "step": 5450
1536
+ },
1537
+ {
1538
+ "epoch": 0.5477738869434717,
1539
+ "grad_norm": 0.2240501046180725,
1540
+ "learning_rate": 1.700953485096993e-05,
1541
+ "loss": 0.0857,
1542
+ "step": 5475
1543
+ },
1544
+ {
1545
+ "epoch": 0.5502751375687844,
1546
+ "grad_norm": 23.223941802978516,
1547
+ "learning_rate": 1.6854237303424332e-05,
1548
+ "loss": 0.1763,
1549
+ "step": 5500
1550
+ },
1551
+ {
1552
+ "epoch": 0.552776388194097,
1553
+ "grad_norm": 0.17530131340026855,
1554
+ "learning_rate": 1.669913399552982e-05,
1555
+ "loss": 0.1503,
1556
+ "step": 5525
1557
+ },
1558
+ {
1559
+ "epoch": 0.5552776388194097,
1560
+ "grad_norm": 0.08448962867259979,
1561
+ "learning_rate": 1.654423450436365e-05,
1562
+ "loss": 0.1042,
1563
+ "step": 5550
1564
+ },
1565
+ {
1566
+ "epoch": 0.5577788894447223,
1567
+ "grad_norm": 12.912252426147461,
1568
+ "learning_rate": 1.6389548394418152e-05,
1569
+ "loss": 0.0874,
1570
+ "step": 5575
1571
+ },
1572
+ {
1573
+ "epoch": 0.560280140070035,
1574
+ "grad_norm": 29.86229705810547,
1575
+ "learning_rate": 1.6235085217010077e-05,
1576
+ "loss": 0.1623,
1577
+ "step": 5600
1578
+ },
1579
+ {
1580
+ "epoch": 0.5627813906953477,
1581
+ "grad_norm": 0.02766193449497223,
1582
+ "learning_rate": 1.6080854509690927e-05,
1583
+ "loss": 0.074,
1584
+ "step": 5625
1585
+ },
1586
+ {
1587
+ "epoch": 0.5652826413206603,
1588
+ "grad_norm": 15.517274856567383,
1589
+ "learning_rate": 1.5926865795657996e-05,
1590
+ "loss": 0.0544,
1591
+ "step": 5650
1592
+ },
1593
+ {
1594
+ "epoch": 0.567783891945973,
1595
+ "grad_norm": 12.18606185913086,
1596
+ "learning_rate": 1.5773128583166327e-05,
1597
+ "loss": 0.1071,
1598
+ "step": 5675
1599
+ },
1600
+ {
1601
+ "epoch": 0.5702851425712856,
1602
+ "grad_norm": 153.6747283935547,
1603
+ "learning_rate": 1.5619652364941676e-05,
1604
+ "loss": 0.0963,
1605
+ "step": 5700
1606
+ },
1607
+ {
1608
+ "epoch": 0.5727863931965983,
1609
+ "grad_norm": 69.23729705810547,
1610
+ "learning_rate": 1.54664466175943e-05,
1611
+ "loss": 0.1434,
1612
+ "step": 5725
1613
+ },
1614
+ {
1615
+ "epoch": 0.575287643821911,
1616
+ "grad_norm": 17.397064208984375,
1617
+ "learning_rate": 1.5313520801033857e-05,
1618
+ "loss": 0.1137,
1619
+ "step": 5750
1620
+ },
1621
+ {
1622
+ "epoch": 0.5777888944472236,
1623
+ "grad_norm": 16.64369773864746,
1624
+ "learning_rate": 1.5160884357885283e-05,
1625
+ "loss": 0.2049,
1626
+ "step": 5775
1627
+ },
1628
+ {
1629
+ "epoch": 0.5802901450725363,
1630
+ "grad_norm": 0.0811535120010376,
1631
+ "learning_rate": 1.5008546712905712e-05,
1632
+ "loss": 0.1685,
1633
+ "step": 5800
1634
+ },
1635
+ {
1636
+ "epoch": 0.5827913956978489,
1637
+ "grad_norm": 11.934816360473633,
1638
+ "learning_rate": 1.4856517272402581e-05,
1639
+ "loss": 0.1743,
1640
+ "step": 5825
1641
+ },
1642
+ {
1643
+ "epoch": 0.5852926463231616,
1644
+ "grad_norm": 0.07785484939813614,
1645
+ "learning_rate": 1.4704805423652772e-05,
1646
+ "loss": 0.1495,
1647
+ "step": 5850
1648
+ },
1649
+ {
1650
+ "epoch": 0.5877938969484743,
1651
+ "grad_norm": 32.940696716308594,
1652
+ "learning_rate": 1.4553420534323028e-05,
1653
+ "loss": 0.1114,
1654
+ "step": 5875
1655
+ },
1656
+ {
1657
+ "epoch": 0.5902951475737869,
1658
+ "grad_norm": 0.07510584592819214,
1659
+ "learning_rate": 1.4402371951891501e-05,
1660
+ "loss": 0.102,
1661
+ "step": 5900
1662
+ },
1663
+ {
1664
+ "epoch": 0.5927963981990996,
1665
+ "grad_norm": 0.5119954943656921,
1666
+ "learning_rate": 1.4251669003070589e-05,
1667
+ "loss": 0.044,
1668
+ "step": 5925
1669
+ },
1670
+ {
1671
+ "epoch": 0.5952976488244122,
1672
+ "grad_norm": 36.48051452636719,
1673
+ "learning_rate": 1.410132099323105e-05,
1674
+ "loss": 0.1606,
1675
+ "step": 5950
1676
+ },
1677
+ {
1678
+ "epoch": 0.5977988994497249,
1679
+ "grad_norm": 0.3757043778896332,
1680
+ "learning_rate": 1.3951337205827411e-05,
1681
+ "loss": 0.1091,
1682
+ "step": 5975
1683
+ },
1684
+ {
1685
+ "epoch": 0.6003001500750376,
1686
+ "grad_norm": 1.5349537134170532,
1687
+ "learning_rate": 1.380172690182477e-05,
1688
+ "loss": 0.0678,
1689
+ "step": 6000
1690
+ },
1691
+ {
1692
+ "epoch": 0.6028014007003502,
1693
+ "grad_norm": 0.07838419079780579,
1694
+ "learning_rate": 1.3652499319126963e-05,
1695
+ "loss": 0.1799,
1696
+ "step": 6025
1697
+ },
1698
+ {
1699
+ "epoch": 0.6053026513256629,
1700
+ "grad_norm": 16.763439178466797,
1701
+ "learning_rate": 1.3503663672006124e-05,
1702
+ "loss": 0.1576,
1703
+ "step": 6050
1704
+ },
1705
+ {
1706
+ "epoch": 0.6078039019509754,
1707
+ "grad_norm": 41.85237121582031,
1708
+ "learning_rate": 1.3355229150533782e-05,
1709
+ "loss": 0.1475,
1710
+ "step": 6075
1711
+ },
1712
+ {
1713
+ "epoch": 0.6103051525762881,
1714
+ "grad_norm": 0.1599896401166916,
1715
+ "learning_rate": 1.3207204920013367e-05,
1716
+ "loss": 0.1037,
1717
+ "step": 6100
1718
+ },
1719
+ {
1720
+ "epoch": 0.6128064032016008,
1721
+ "grad_norm": 21.789859771728516,
1722
+ "learning_rate": 1.3059600120414315e-05,
1723
+ "loss": 0.0829,
1724
+ "step": 6125
1725
+ },
1726
+ {
1727
+ "epoch": 0.6153076538269134,
1728
+ "grad_norm": 15.248113632202148,
1729
+ "learning_rate": 1.2912423865807697e-05,
1730
+ "loss": 0.0714,
1731
+ "step": 6150
1732
+ },
1733
+ {
1734
+ "epoch": 0.6178089044522261,
1735
+ "grad_norm": 0.8692852854728699,
1736
+ "learning_rate": 1.276568524380344e-05,
1737
+ "loss": 0.1136,
1738
+ "step": 6175
1739
+ },
1740
+ {
1741
+ "epoch": 0.6203101550775387,
1742
+ "grad_norm": 0.1354951560497284,
1743
+ "learning_rate": 1.261939331498924e-05,
1744
+ "loss": 0.1213,
1745
+ "step": 6200
1746
+ },
1747
+ {
1748
+ "epoch": 0.6228114057028514,
1749
+ "grad_norm": 11.165165901184082,
1750
+ "learning_rate": 1.2473557112371044e-05,
1751
+ "loss": 0.0663,
1752
+ "step": 6225
1753
+ },
1754
+ {
1755
+ "epoch": 0.6253126563281641,
1756
+ "grad_norm": 7.823516845703125,
1757
+ "learning_rate": 1.2328185640815362e-05,
1758
+ "loss": 0.1349,
1759
+ "step": 6250
1760
+ },
1761
+ {
1762
+ "epoch": 0.6278139069534767,
1763
+ "grad_norm": 0.13190744817256927,
1764
+ "learning_rate": 1.2183287876493206e-05,
1765
+ "loss": 0.1167,
1766
+ "step": 6275
1767
+ },
1768
+ {
1769
+ "epoch": 0.6303151575787894,
1770
+ "grad_norm": 34.02737045288086,
1771
+ "learning_rate": 1.2038872766325835e-05,
1772
+ "loss": 0.1443,
1773
+ "step": 6300
1774
+ },
1775
+ {
1776
+ "epoch": 0.632816408204102,
1777
+ "grad_norm": 0.10638221353292465,
1778
+ "learning_rate": 1.1894949227432354e-05,
1779
+ "loss": 0.121,
1780
+ "step": 6325
1781
+ },
1782
+ {
1783
+ "epoch": 0.6353176588294147,
1784
+ "grad_norm": 99.8073501586914,
1785
+ "learning_rate": 1.1751526146579074e-05,
1786
+ "loss": 0.1019,
1787
+ "step": 6350
1788
+ },
1789
+ {
1790
+ "epoch": 0.6378189094547274,
1791
+ "grad_norm": 0.041444331407547,
1792
+ "learning_rate": 1.1608612379630808e-05,
1793
+ "loss": 0.1534,
1794
+ "step": 6375
1795
+ },
1796
+ {
1797
+ "epoch": 0.64032016008004,
1798
+ "grad_norm": 2.1146433353424072,
1799
+ "learning_rate": 1.1466216751004064e-05,
1800
+ "loss": 0.0496,
1801
+ "step": 6400
1802
+ },
1803
+ {
1804
+ "epoch": 0.6428214107053527,
1805
+ "grad_norm": 0.40508678555488586,
1806
+ "learning_rate": 1.1324348053122123e-05,
1807
+ "loss": 0.108,
1808
+ "step": 6425
1809
+ },
1810
+ {
1811
+ "epoch": 0.6453226613306653,
1812
+ "grad_norm": 17.891565322875977,
1813
+ "learning_rate": 1.1183015045872198e-05,
1814
+ "loss": 0.109,
1815
+ "step": 6450
1816
+ },
1817
+ {
1818
+ "epoch": 0.647823911955978,
1819
+ "grad_norm": 3.4165303707122803,
1820
+ "learning_rate": 1.1042226456064484e-05,
1821
+ "loss": 0.1444,
1822
+ "step": 6475
1823
+ },
1824
+ {
1825
+ "epoch": 0.6503251625812907,
1826
+ "grad_norm": 0.0579494833946228,
1827
+ "learning_rate": 1.0901990976893357e-05,
1828
+ "loss": 0.1281,
1829
+ "step": 6500
1830
+ },
1831
+ {
1832
+ "epoch": 0.6528264132066033,
1833
+ "grad_norm": 0.04866335541009903,
1834
+ "learning_rate": 1.0762317267400582e-05,
1835
+ "loss": 0.1873,
1836
+ "step": 6525
1837
+ },
1838
+ {
1839
+ "epoch": 0.655327663831916,
1840
+ "grad_norm": 0.07915102690458298,
1841
+ "learning_rate": 1.0623213951940618e-05,
1842
+ "loss": 0.1431,
1843
+ "step": 6550
1844
+ },
1845
+ {
1846
+ "epoch": 0.6578289144572286,
1847
+ "grad_norm": 51.71140670776367,
1848
+ "learning_rate": 1.048468961964816e-05,
1849
+ "loss": 0.1925,
1850
+ "step": 6575
1851
+ },
1852
+ {
1853
+ "epoch": 0.6603301650825413,
1854
+ "grad_norm": 0.057003218680620193,
1855
+ "learning_rate": 1.0346752823907722e-05,
1856
+ "loss": 0.0705,
1857
+ "step": 6600
1858
+ },
1859
+ {
1860
+ "epoch": 0.662831415707854,
1861
+ "grad_norm": 19.64649772644043,
1862
+ "learning_rate": 1.0209412081825536e-05,
1863
+ "loss": 0.124,
1864
+ "step": 6625
1865
+ },
1866
+ {
1867
+ "epoch": 0.6653326663331666,
1868
+ "grad_norm": 0.3967299461364746,
1869
+ "learning_rate": 1.0072675873703654e-05,
1870
+ "loss": 0.0508,
1871
+ "step": 6650
1872
+ },
1873
+ {
1874
+ "epoch": 0.6678339169584793,
1875
+ "grad_norm": 36.68003463745117,
1876
+ "learning_rate": 9.936552642516291e-06,
1877
+ "loss": 0.1615,
1878
+ "step": 6675
1879
+ },
1880
+ {
1881
+ "epoch": 0.6703351675837919,
1882
+ "grad_norm": 0.15397252142429352,
1883
+ "learning_rate": 9.801050793388533e-06,
1884
+ "loss": 0.1065,
1885
+ "step": 6700
1886
+ },
1887
+ {
1888
+ "epoch": 0.6728364182091046,
1889
+ "grad_norm": 0.3287995159626007,
1890
+ "learning_rate": 9.666178693077313e-06,
1891
+ "loss": 0.0441,
1892
+ "step": 6725
1893
+ },
1894
+ {
1895
+ "epoch": 0.6753376688344173,
1896
+ "grad_norm": 0.8446998596191406,
1897
+ "learning_rate": 9.531944669454841e-06,
1898
+ "loss": 0.0344,
1899
+ "step": 6750
1900
+ },
1901
+ {
1902
+ "epoch": 0.6778389194597298,
1903
+ "grad_norm": 1.0446598529815674,
1904
+ "learning_rate": 9.398357010994356e-06,
1905
+ "loss": 0.1054,
1906
+ "step": 6775
1907
+ },
1908
+ {
1909
+ "epoch": 0.6803401700850426,
1910
+ "grad_norm": 1.310197114944458,
1911
+ "learning_rate": 9.265423966258329e-06,
1912
+ "loss": 0.2226,
1913
+ "step": 6800
1914
+ },
1915
+ {
1916
+ "epoch": 0.6828414207103551,
1917
+ "grad_norm": 0.16571302711963654,
1918
+ "learning_rate": 9.133153743389194e-06,
1919
+ "loss": 0.0858,
1920
+ "step": 6825
1921
+ },
1922
+ {
1923
+ "epoch": 0.6853426713356678,
1924
+ "grad_norm": 10.371700286865234,
1925
+ "learning_rate": 9.001554509602461e-06,
1926
+ "loss": 0.151,
1927
+ "step": 6850
1928
+ },
1929
+ {
1930
+ "epoch": 0.6878439219609805,
1931
+ "grad_norm": 0.03337986394762993,
1932
+ "learning_rate": 8.87063439068248e-06,
1933
+ "loss": 0.1369,
1934
+ "step": 6875
1935
+ },
1936
+ {
1937
+ "epoch": 0.6903451725862931,
1938
+ "grad_norm": 0.051453929394483566,
1939
+ "learning_rate": 8.740401470480669e-06,
1940
+ "loss": 0.1075,
1941
+ "step": 6900
1942
+ },
1943
+ {
1944
+ "epoch": 0.6928464232116058,
1945
+ "grad_norm": 0.1564313769340515,
1946
+ "learning_rate": 8.610863790416348e-06,
1947
+ "loss": 0.0922,
1948
+ "step": 6925
1949
+ },
1950
+ {
1951
+ "epoch": 0.6953476738369184,
1952
+ "grad_norm": 13.088805198669434,
1953
+ "learning_rate": 8.48202934898027e-06,
1954
+ "loss": 0.122,
1955
+ "step": 6950
1956
+ },
1957
+ {
1958
+ "epoch": 0.6978489244622311,
1959
+ "grad_norm": 17.881317138671875,
1960
+ "learning_rate": 8.353906101240667e-06,
1961
+ "loss": 0.1219,
1962
+ "step": 6975
1963
+ },
1964
+ {
1965
+ "epoch": 0.7003501750875438,
1966
+ "grad_norm": 17.250782012939453,
1967
+ "learning_rate": 8.226501958352127e-06,
1968
+ "loss": 0.0615,
1969
+ "step": 7000
1970
+ },
1971
+ {
1972
+ "epoch": 0.7028514257128564,
1973
+ "grad_norm": 0.606978714466095,
1974
+ "learning_rate": 8.099824787067047e-06,
1975
+ "loss": 0.1252,
1976
+ "step": 7025
1977
+ },
1978
+ {
1979
+ "epoch": 0.7053526763381691,
1980
+ "grad_norm": 1.121409296989441,
1981
+ "learning_rate": 7.973882409249917e-06,
1982
+ "loss": 0.0605,
1983
+ "step": 7050
1984
+ },
1985
+ {
1986
+ "epoch": 0.7078539269634817,
1987
+ "grad_norm": 19.130107879638672,
1988
+ "learning_rate": 7.848682601394366e-06,
1989
+ "loss": 0.1653,
1990
+ "step": 7075
1991
+ },
1992
+ {
1993
+ "epoch": 0.7103551775887944,
1994
+ "grad_norm": 19.746864318847656,
1995
+ "learning_rate": 7.724233094142943e-06,
1996
+ "loss": 0.1668,
1997
+ "step": 7100
1998
+ },
1999
+ {
2000
+ "epoch": 0.7128564282141071,
2001
+ "grad_norm": 0.02415120042860508,
2002
+ "learning_rate": 7.6005415718098275e-06,
2003
+ "loss": 0.0363,
2004
+ "step": 7125
2005
+ },
2006
+ {
2007
+ "epoch": 0.7153576788394197,
2008
+ "grad_norm": 0.41902098059654236,
2009
+ "learning_rate": 7.47761567190632e-06,
2010
+ "loss": 0.1031,
2011
+ "step": 7150
2012
+ },
2013
+ {
2014
+ "epoch": 0.7178589294647324,
2015
+ "grad_norm": 0.046191878616809845,
2016
+ "learning_rate": 7.355462984669251e-06,
2017
+ "loss": 0.1263,
2018
+ "step": 7175
2019
+ },
2020
+ {
2021
+ "epoch": 0.720360180090045,
2022
+ "grad_norm": 33.48991775512695,
2023
+ "learning_rate": 7.234091052592338e-06,
2024
+ "loss": 0.2257,
2025
+ "step": 7200
2026
+ },
2027
+ {
2028
+ "epoch": 0.7228614307153577,
2029
+ "grad_norm": 0.7338812947273254,
2030
+ "learning_rate": 7.113507369960428e-06,
2031
+ "loss": 0.1187,
2032
+ "step": 7225
2033
+ },
2034
+ {
2035
+ "epoch": 0.7253626813406704,
2036
+ "grad_norm": 0.556918203830719,
2037
+ "learning_rate": 6.993719382386786e-06,
2038
+ "loss": 0.0906,
2039
+ "step": 7250
2040
+ },
2041
+ {
2042
+ "epoch": 0.727863931965983,
2043
+ "grad_norm": 1.733824372291565,
2044
+ "learning_rate": 6.874734486353334e-06,
2045
+ "loss": 0.1204,
2046
+ "step": 7275
2047
+ },
2048
+ {
2049
+ "epoch": 0.7303651825912957,
2050
+ "grad_norm": 21.95977783203125,
2051
+ "learning_rate": 6.756560028753938e-06,
2052
+ "loss": 0.1113,
2053
+ "step": 7300
2054
+ },
2055
+ {
2056
+ "epoch": 0.7328664332166083,
2057
+ "grad_norm": 0.055026598274707794,
2058
+ "learning_rate": 6.639203306440798e-06,
2059
+ "loss": 0.14,
2060
+ "step": 7325
2061
+ },
2062
+ {
2063
+ "epoch": 0.735367683841921,
2064
+ "grad_norm": 0.0298034455627203,
2065
+ "learning_rate": 6.522671565773841e-06,
2066
+ "loss": 0.0447,
2067
+ "step": 7350
2068
+ },
2069
+ {
2070
+ "epoch": 0.7378689344672336,
2071
+ "grad_norm": 23.642621994018555,
2072
+ "learning_rate": 6.406972002173346e-06,
2073
+ "loss": 0.1672,
2074
+ "step": 7375
2075
+ },
2076
+ {
2077
+ "epoch": 0.7403701850925463,
2078
+ "grad_norm": 0.14251193404197693,
2079
+ "learning_rate": 6.292111759675588e-06,
2080
+ "loss": 0.0917,
2081
+ "step": 7400
2082
+ },
2083
+ {
2084
+ "epoch": 0.742871435717859,
2085
+ "grad_norm": 0.03559042140841484,
2086
+ "learning_rate": 6.17809793049178e-06,
2087
+ "loss": 0.1689,
2088
+ "step": 7425
2089
+ },
2090
+ {
2091
+ "epoch": 0.7453726863431716,
2092
+ "grad_norm": 17.436866760253906,
2093
+ "learning_rate": 6.064937554570103e-06,
2094
+ "loss": 0.1114,
2095
+ "step": 7450
2096
+ },
2097
+ {
2098
+ "epoch": 0.7478739369684843,
2099
+ "grad_norm": 0.2058028280735016,
2100
+ "learning_rate": 5.952637619161039e-06,
2101
+ "loss": 0.1778,
2102
+ "step": 7475
2103
+ },
2104
+ {
2105
+ "epoch": 0.7503751875937968,
2106
+ "grad_norm": 0.06251369416713715,
2107
+ "learning_rate": 5.84120505838595e-06,
2108
+ "loss": 0.1421,
2109
+ "step": 7500
2110
+ },
2111
+ {
2112
+ "epoch": 0.7528764382191095,
2113
+ "grad_norm": 0.5080142021179199,
2114
+ "learning_rate": 5.730646752808872e-06,
2115
+ "loss": 0.1241,
2116
+ "step": 7525
2117
+ },
2118
+ {
2119
+ "epoch": 0.7553776888444222,
2120
+ "grad_norm": 42.917415618896484,
2121
+ "learning_rate": 5.6209695290117195e-06,
2122
+ "loss": 0.1165,
2123
+ "step": 7550
2124
+ },
2125
+ {
2126
+ "epoch": 0.7578789394697348,
2127
+ "grad_norm": 0.012492408975958824,
2128
+ "learning_rate": 5.5121801591727355e-06,
2129
+ "loss": 0.1102,
2130
+ "step": 7575
2131
+ },
2132
+ {
2133
+ "epoch": 0.7603801900950475,
2134
+ "grad_norm": 0.34917545318603516,
2135
+ "learning_rate": 5.404285360648327e-06,
2136
+ "loss": 0.1787,
2137
+ "step": 7600
2138
+ },
2139
+ {
2140
+ "epoch": 0.7628814407203601,
2141
+ "grad_norm": 0.7456516623497009,
2142
+ "learning_rate": 5.297291795558328e-06,
2143
+ "loss": 0.1027,
2144
+ "step": 7625
2145
+ },
2146
+ {
2147
+ "epoch": 0.7653826913456728,
2148
+ "grad_norm": 0.09974823147058487,
2149
+ "learning_rate": 5.1912060703745924e-06,
2150
+ "loss": 0.1374,
2151
+ "step": 7650
2152
+ },
2153
+ {
2154
+ "epoch": 0.7678839419709855,
2155
+ "grad_norm": 10.36377239227295,
2156
+ "learning_rate": 5.086034735513113e-06,
2157
+ "loss": 0.1165,
2158
+ "step": 7675
2159
+ },
2160
+ {
2161
+ "epoch": 0.7703851925962981,
2162
+ "grad_norm": 0.20978087186813354,
2163
+ "learning_rate": 4.9817842849295226e-06,
2164
+ "loss": 0.1135,
2165
+ "step": 7700
2166
+ },
2167
+ {
2168
+ "epoch": 0.7728864432216108,
2169
+ "grad_norm": 2.8776891231536865,
2170
+ "learning_rate": 4.878461155718122e-06,
2171
+ "loss": 0.0795,
2172
+ "step": 7725
2173
+ },
2174
+ {
2175
+ "epoch": 0.7753876938469234,
2176
+ "grad_norm": 0.27750903367996216,
2177
+ "learning_rate": 4.776071727714433e-06,
2178
+ "loss": 0.2052,
2179
+ "step": 7750
2180
+ },
2181
+ {
2182
+ "epoch": 0.7778889444722361,
2183
+ "grad_norm": 0.12170270830392838,
2184
+ "learning_rate": 4.674622323101232e-06,
2185
+ "loss": 0.0744,
2186
+ "step": 7775
2187
+ },
2188
+ {
2189
+ "epoch": 0.7803901950975488,
2190
+ "grad_norm": 0.14298929274082184,
2191
+ "learning_rate": 4.5741192060182175e-06,
2192
+ "loss": 0.1222,
2193
+ "step": 7800
2194
+ },
2195
+ {
2196
+ "epoch": 0.7828914457228614,
2197
+ "grad_norm": 0.07546209543943405,
2198
+ "learning_rate": 4.4745685821751826e-06,
2199
+ "loss": 0.1334,
2200
+ "step": 7825
2201
+ },
2202
+ {
2203
+ "epoch": 0.7853926963481741,
2204
+ "grad_norm": 0.0769146978855133,
2205
+ "learning_rate": 4.375976598468857e-06,
2206
+ "loss": 0.0724,
2207
+ "step": 7850
2208
+ },
2209
+ {
2210
+ "epoch": 0.7878939469734867,
2211
+ "grad_norm": 7.697386741638184,
2212
+ "learning_rate": 4.278349342603365e-06,
2213
+ "loss": 0.0797,
2214
+ "step": 7875
2215
+ },
2216
+ {
2217
+ "epoch": 0.7903951975987994,
2218
+ "grad_norm": 0.2471470981836319,
2219
+ "learning_rate": 4.181692842714302e-06,
2220
+ "loss": 0.1416,
2221
+ "step": 7900
2222
+ },
2223
+ {
2224
+ "epoch": 0.7928964482241121,
2225
+ "grad_norm": 0.3923591077327728,
2226
+ "learning_rate": 4.086013066996548e-06,
2227
+ "loss": 0.1378,
2228
+ "step": 7925
2229
+ },
2230
+ {
2231
+ "epoch": 0.7953976988494247,
2232
+ "grad_norm": 0.18160080909729004,
2233
+ "learning_rate": 3.99131592333575e-06,
2234
+ "loss": 0.1151,
2235
+ "step": 7950
2236
+ },
2237
+ {
2238
+ "epoch": 0.7978989494747374,
2239
+ "grad_norm": 0.7933523058891296,
2240
+ "learning_rate": 3.897607258943499e-06,
2241
+ "loss": 0.0642,
2242
+ "step": 7975
2243
+ },
2244
+ {
2245
+ "epoch": 0.80040020010005,
2246
+ "grad_norm": 2.5555763244628906,
2247
+ "learning_rate": 3.804892859996332e-06,
2248
+ "loss": 0.0708,
2249
+ "step": 8000
2250
+ },
2251
+ {
2252
+ "epoch": 0.8029014507253627,
2253
+ "grad_norm": 0.03810553997755051,
2254
+ "learning_rate": 3.713178451278414e-06,
2255
+ "loss": 0.1382,
2256
+ "step": 8025
2257
+ },
2258
+ {
2259
+ "epoch": 0.8054027013506754,
2260
+ "grad_norm": 14.785103797912598,
2261
+ "learning_rate": 3.622469695828086e-06,
2262
+ "loss": 0.114,
2263
+ "step": 8050
2264
+ },
2265
+ {
2266
+ "epoch": 0.807903951975988,
2267
+ "grad_norm": 0.044979922473430634,
2268
+ "learning_rate": 3.532772194588181e-06,
2269
+ "loss": 0.0568,
2270
+ "step": 8075
2271
+ },
2272
+ {
2273
+ "epoch": 0.8104052026013007,
2274
+ "grad_norm": 0.34489861130714417,
2275
+ "learning_rate": 3.444091486060164e-06,
2276
+ "loss": 0.1411,
2277
+ "step": 8100
2278
+ },
2279
+ {
2280
+ "epoch": 0.8129064532266133,
2281
+ "grad_norm": 0.5522716045379639,
2282
+ "learning_rate": 3.356433045962195e-06,
2283
+ "loss": 0.2045,
2284
+ "step": 8125
2285
+ },
2286
+ {
2287
+ "epoch": 0.815407703851926,
2288
+ "grad_norm": 12.038531303405762,
2289
+ "learning_rate": 3.2698022868909707e-06,
2290
+ "loss": 0.1963,
2291
+ "step": 8150
2292
+ },
2293
+ {
2294
+ "epoch": 0.8179089544772387,
2295
+ "grad_norm": 0.5839369297027588,
2296
+ "learning_rate": 3.184204557987565e-06,
2297
+ "loss": 0.1427,
2298
+ "step": 8175
2299
+ },
2300
+ {
2301
+ "epoch": 0.8204102051025512,
2302
+ "grad_norm": 0.07668005675077438,
2303
+ "learning_rate": 3.0996451446070954e-06,
2304
+ "loss": 0.0979,
2305
+ "step": 8200
2306
+ },
2307
+ {
2308
+ "epoch": 0.822911455727864,
2309
+ "grad_norm": 0.045677296817302704,
2310
+ "learning_rate": 3.016129267992407e-06,
2311
+ "loss": 0.1383,
2312
+ "step": 8225
2313
+ },
2314
+ {
2315
+ "epoch": 0.8254127063531765,
2316
+ "grad_norm": 0.33600151538848877,
2317
+ "learning_rate": 2.933662084951656e-06,
2318
+ "loss": 0.1169,
2319
+ "step": 8250
2320
+ },
2321
+ {
2322
+ "epoch": 0.8279139569784892,
2323
+ "grad_norm": 1.0308929681777954,
2324
+ "learning_rate": 2.852248687539896e-06,
2325
+ "loss": 0.1042,
2326
+ "step": 8275
2327
+ },
2328
+ {
2329
+ "epoch": 0.8304152076038019,
2330
+ "grad_norm": 11.349611282348633,
2331
+ "learning_rate": 2.771894102744681e-06,
2332
+ "loss": 0.0643,
2333
+ "step": 8300
2334
+ },
2335
+ {
2336
+ "epoch": 0.8329164582291145,
2337
+ "grad_norm": 17.793420791625977,
2338
+ "learning_rate": 2.692603292175655e-06,
2339
+ "loss": 0.1641,
2340
+ "step": 8325
2341
+ },
2342
+ {
2343
+ "epoch": 0.8354177088544272,
2344
+ "grad_norm": 8.768617630004883,
2345
+ "learning_rate": 2.614381151758172e-06,
2346
+ "loss": 0.1196,
2347
+ "step": 8350
2348
+ },
2349
+ {
2350
+ "epoch": 0.8379189594797398,
2351
+ "grad_norm": 0.2629653215408325,
2352
+ "learning_rate": 2.537232511431027e-06,
2353
+ "loss": 0.0861,
2354
+ "step": 8375
2355
+ },
2356
+ {
2357
+ "epoch": 0.8404202101050525,
2358
+ "grad_norm": 0.49821341037750244,
2359
+ "learning_rate": 2.4611621348481895e-06,
2360
+ "loss": 0.1124,
2361
+ "step": 8400
2362
+ },
2363
+ {
2364
+ "epoch": 0.8429214607303652,
2365
+ "grad_norm": 13.863968849182129,
2366
+ "learning_rate": 2.3861747190846906e-06,
2367
+ "loss": 0.1258,
2368
+ "step": 8425
2369
+ },
2370
+ {
2371
+ "epoch": 0.8454227113556778,
2372
+ "grad_norm": 6.703268051147461,
2373
+ "learning_rate": 2.312274894346587e-06,
2374
+ "loss": 0.0206,
2375
+ "step": 8450
2376
+ },
2377
+ {
2378
+ "epoch": 0.8479239619809905,
2379
+ "grad_norm": 0.04758615419268608,
2380
+ "learning_rate": 2.2394672236850456e-06,
2381
+ "loss": 0.0834,
2382
+ "step": 8475
2383
+ },
2384
+ {
2385
+ "epoch": 0.8504252126063031,
2386
+ "grad_norm": 0.1348254382610321,
2387
+ "learning_rate": 2.167756202714624e-06,
2388
+ "loss": 0.198,
2389
+ "step": 8500
2390
+ },
2391
+ {
2392
+ "epoch": 0.8529264632316158,
2393
+ "grad_norm": 0.07473251968622208,
2394
+ "learning_rate": 2.0971462593356453e-06,
2395
+ "loss": 0.1304,
2396
+ "step": 8525
2397
+ },
2398
+ {
2399
+ "epoch": 0.8554277138569285,
2400
+ "grad_norm": 1.9822126626968384,
2401
+ "learning_rate": 2.027641753460825e-06,
2402
+ "loss": 0.0344,
2403
+ "step": 8550
2404
+ },
2405
+ {
2406
+ "epoch": 0.8579289644822411,
2407
+ "grad_norm": 0.5429161787033081,
2408
+ "learning_rate": 1.9592469767460454e-06,
2409
+ "loss": 0.1259,
2410
+ "step": 8575
2411
+ },
2412
+ {
2413
+ "epoch": 0.8604302151075538,
2414
+ "grad_norm": 74.30850982666016,
2415
+ "learning_rate": 1.8919661523253552e-06,
2416
+ "loss": 0.1762,
2417
+ "step": 8600
2418
+ },
2419
+ {
2420
+ "epoch": 0.8629314657328664,
2421
+ "grad_norm": 0.0993456244468689,
2422
+ "learning_rate": 1.8258034345502152e-06,
2423
+ "loss": 0.0855,
2424
+ "step": 8625
2425
+ },
2426
+ {
2427
+ "epoch": 0.8654327163581791,
2428
+ "grad_norm": 0.02168981172144413,
2429
+ "learning_rate": 1.7607629087329891e-06,
2430
+ "loss": 0.0631,
2431
+ "step": 8650
2432
+ },
2433
+ {
2434
+ "epoch": 0.8679339669834918,
2435
+ "grad_norm": 15.653523445129395,
2436
+ "learning_rate": 1.6968485908946642e-06,
2437
+ "loss": 0.0845,
2438
+ "step": 8675
2439
+ },
2440
+ {
2441
+ "epoch": 0.8704352176088044,
2442
+ "grad_norm": 9.449881553649902,
2443
+ "learning_rate": 1.6340644275169105e-06,
2444
+ "loss": 0.1455,
2445
+ "step": 8700
2446
+ },
2447
+ {
2448
+ "epoch": 0.8729364682341171,
2449
+ "grad_norm": 0.01863708347082138,
2450
+ "learning_rate": 1.5724142952983702e-06,
2451
+ "loss": 0.1357,
2452
+ "step": 8725
2453
+ },
2454
+ {
2455
+ "epoch": 0.8754377188594297,
2456
+ "grad_norm": 0.10595374554395676,
2457
+ "learning_rate": 1.5119020009153063e-06,
2458
+ "loss": 0.1075,
2459
+ "step": 8750
2460
+ },
2461
+ {
2462
+ "epoch": 0.8779389694847424,
2463
+ "grad_norm": 0.02794618532061577,
2464
+ "learning_rate": 1.4525312807865332e-06,
2465
+ "loss": 0.0654,
2466
+ "step": 8775
2467
+ },
2468
+ {
2469
+ "epoch": 0.8804402201100551,
2470
+ "grad_norm": 19.833410263061523,
2471
+ "learning_rate": 1.394305800842728e-06,
2472
+ "loss": 0.1077,
2473
+ "step": 8800
2474
+ },
2475
+ {
2476
+ "epoch": 0.8829414707353677,
2477
+ "grad_norm": 30.750102996826172,
2478
+ "learning_rate": 1.337229156300064e-06,
2479
+ "loss": 0.1717,
2480
+ "step": 8825
2481
+ },
2482
+ {
2483
+ "epoch": 0.8854427213606804,
2484
+ "grad_norm": 0.35137736797332764,
2485
+ "learning_rate": 1.2813048714382048e-06,
2486
+ "loss": 0.0268,
2487
+ "step": 8850
2488
+ },
2489
+ {
2490
+ "epoch": 0.887943971985993,
2491
+ "grad_norm": 0.08239385485649109,
2492
+ "learning_rate": 1.2265363993827183e-06,
2493
+ "loss": 0.1426,
2494
+ "step": 8875
2495
+ },
2496
+ {
2497
+ "epoch": 0.8904452226113057,
2498
+ "grad_norm": 1.2187860012054443,
2499
+ "learning_rate": 1.1729271218918336e-06,
2500
+ "loss": 0.0681,
2501
+ "step": 8900
2502
+ },
2503
+ {
2504
+ "epoch": 0.8929464732366184,
2505
+ "grad_norm": 0.17180290818214417,
2506
+ "learning_rate": 1.1204803491476479e-06,
2507
+ "loss": 0.0818,
2508
+ "step": 8925
2509
+ },
2510
+ {
2511
+ "epoch": 0.8954477238619309,
2512
+ "grad_norm": 14.796649932861328,
2513
+ "learning_rate": 1.069199319551728e-06,
2514
+ "loss": 0.2259,
2515
+ "step": 8950
2516
+ },
2517
+ {
2518
+ "epoch": 0.8979489744872436,
2519
+ "grad_norm": 7.8411664962768555,
2520
+ "learning_rate": 1.0190871995251462e-06,
2521
+ "loss": 0.1775,
2522
+ "step": 8975
2523
+ },
2524
+ {
2525
+ "epoch": 0.9004502251125562,
2526
+ "grad_norm": 315.6330261230469,
2527
+ "learning_rate": 9.70147083312969e-07,
2528
+ "loss": 0.1481,
2529
+ "step": 9000
2530
+ },
2531
+ {
2532
+ "epoch": 0.9029514757378689,
2533
+ "grad_norm": 0.08610853552818298,
2534
+ "learning_rate": 9.223819927932043e-07,
2535
+ "loss": 0.1322,
2536
+ "step": 9025
2537
+ },
2538
+ {
2539
+ "epoch": 0.9054527263631816,
2540
+ "grad_norm": 34.506168365478516,
2541
+ "learning_rate": 8.757948772901925e-07,
2542
+ "loss": 0.0948,
2543
+ "step": 9050
2544
+ },
2545
+ {
2546
+ "epoch": 0.9079539769884942,
2547
+ "grad_norm": 17.29035186767578,
2548
+ "learning_rate": 8.303886133925277e-07,
2549
+ "loss": 0.1157,
2550
+ "step": 9075
2551
+ },
2552
+ {
2553
+ "epoch": 0.9104552276138069,
2554
+ "grad_norm": 0.2581048607826233,
2555
+ "learning_rate": 7.861660047753994e-07,
2556
+ "loss": 0.071,
2557
+ "step": 9100
2558
+ },
2559
+ {
2560
+ "epoch": 0.9129564782391195,
2561
+ "grad_norm": 72.8903579711914,
2562
+ "learning_rate": 7.431297820275163e-07,
2563
+ "loss": 0.1359,
2564
+ "step": 9125
2565
+ },
2566
+ {
2567
+ "epoch": 0.9154577288644322,
2568
+ "grad_norm": 0.05470387637615204,
2569
+ "learning_rate": 7.012826024824626e-07,
2570
+ "loss": 0.1699,
2571
+ "step": 9150
2572
+ },
2573
+ {
2574
+ "epoch": 0.9179589794897449,
2575
+ "grad_norm": 0.017510315403342247,
2576
+ "learning_rate": 6.606270500546497e-07,
2577
+ "loss": 0.0979,
2578
+ "step": 9175
2579
+ },
2580
+ {
2581
+ "epoch": 0.9204602301150575,
2582
+ "grad_norm": 0.3917577862739563,
2583
+ "learning_rate": 6.211656350797545e-07,
2584
+ "loss": 0.1467,
2585
+ "step": 9200
2586
+ },
2587
+ {
2588
+ "epoch": 0.9229614807403702,
2589
+ "grad_norm": 0.04495830833911896,
2590
+ "learning_rate": 5.829007941597065e-07,
2591
+ "loss": 0.1169,
2592
+ "step": 9225
2593
+ },
2594
+ {
2595
+ "epoch": 0.9254627313656828,
2596
+ "grad_norm": 28.853130340576172,
2597
+ "learning_rate": 5.458348900122601e-07,
2598
+ "loss": 0.164,
2599
+ "step": 9250
2600
+ },
2601
+ {
2602
+ "epoch": 0.9279639819909955,
2603
+ "grad_norm": 0.23987655341625214,
2604
+ "learning_rate": 5.099702113250726e-07,
2605
+ "loss": 0.0982,
2606
+ "step": 9275
2607
+ },
2608
+ {
2609
+ "epoch": 0.9304652326163082,
2610
+ "grad_norm": 0.8962395787239075,
2611
+ "learning_rate": 4.753089726144211e-07,
2612
+ "loss": 0.1424,
2613
+ "step": 9300
2614
+ },
2615
+ {
2616
+ "epoch": 0.9329664832416208,
2617
+ "grad_norm": 0.415727823972702,
2618
+ "learning_rate": 4.418533140884429e-07,
2619
+ "loss": 0.1227,
2620
+ "step": 9325
2621
+ },
2622
+ {
2623
+ "epoch": 0.9354677338669335,
2624
+ "grad_norm": 0.5393103957176208,
2625
+ "learning_rate": 4.096053015149792e-07,
2626
+ "loss": 0.0967,
2627
+ "step": 9350
2628
+ },
2629
+ {
2630
+ "epoch": 0.9379689844922461,
2631
+ "grad_norm": 0.07052933424711227,
2632
+ "learning_rate": 3.785669260940439e-07,
2633
+ "loss": 0.08,
2634
+ "step": 9375
2635
+ },
2636
+ {
2637
+ "epoch": 0.9404702351175588,
2638
+ "grad_norm": 29.633092880249023,
2639
+ "learning_rate": 3.4874010433485705e-07,
2640
+ "loss": 0.1614,
2641
+ "step": 9400
2642
+ },
2643
+ {
2644
+ "epoch": 0.9429714857428715,
2645
+ "grad_norm": 3.8124756813049316,
2646
+ "learning_rate": 3.2012667793751117e-07,
2647
+ "loss": 0.1536,
2648
+ "step": 9425
2649
+ },
2650
+ {
2651
+ "epoch": 0.9454727363681841,
2652
+ "grad_norm": 29.93558692932129,
2653
+ "learning_rate": 2.92728413679253e-07,
2654
+ "loss": 0.1484,
2655
+ "step": 9450
2656
+ },
2657
+ {
2658
+ "epoch": 0.9479739869934968,
2659
+ "grad_norm": 0.22469304502010345,
2660
+ "learning_rate": 2.6654700330539296e-07,
2661
+ "loss": 0.0845,
2662
+ "step": 9475
2663
+ },
2664
+ {
2665
+ "epoch": 0.9504752376188094,
2666
+ "grad_norm": 0.14743413031101227,
2667
+ "learning_rate": 2.4158406342484895e-07,
2668
+ "loss": 0.0676,
2669
+ "step": 9500
2670
+ },
2671
+ {
2672
+ "epoch": 0.9529764882441221,
2673
+ "grad_norm": 9.711565971374512,
2674
+ "learning_rate": 2.178411354103127e-07,
2675
+ "loss": 0.1451,
2676
+ "step": 9525
2677
+ },
2678
+ {
2679
+ "epoch": 0.9554777388694348,
2680
+ "grad_norm": 0.24179774522781372,
2681
+ "learning_rate": 1.9531968530309253e-07,
2682
+ "loss": 0.0913,
2683
+ "step": 9550
2684
+ },
2685
+ {
2686
+ "epoch": 0.9579789894947474,
2687
+ "grad_norm": 8.4110107421875,
2688
+ "learning_rate": 1.7402110372258363e-07,
2689
+ "loss": 0.1134,
2690
+ "step": 9575
2691
+ },
2692
+ {
2693
+ "epoch": 0.9604802401200601,
2694
+ "grad_norm": 0.060376670211553574,
2695
+ "learning_rate": 1.539467057803945e-07,
2696
+ "loss": 0.062,
2697
+ "step": 9600
2698
+ },
2699
+ {
2700
+ "epoch": 0.9629814907453726,
2701
+ "grad_norm": 0.6000999808311462,
2702
+ "learning_rate": 1.350977309991608e-07,
2703
+ "loss": 0.1876,
2704
+ "step": 9625
2705
+ },
2706
+ {
2707
+ "epoch": 0.9654827413706853,
2708
+ "grad_norm": 0.03490222617983818,
2709
+ "learning_rate": 1.1747534323599097e-07,
2710
+ "loss": 0.2073,
2711
+ "step": 9650
2712
+ },
2713
+ {
2714
+ "epoch": 0.967983991995998,
2715
+ "grad_norm": 33.68151092529297,
2716
+ "learning_rate": 1.0108063061061268e-07,
2717
+ "loss": 0.1388,
2718
+ "step": 9675
2719
+ },
2720
+ {
2721
+ "epoch": 0.9704852426213106,
2722
+ "grad_norm": 38.022003173828125,
2723
+ "learning_rate": 8.59146054381843e-08,
2724
+ "loss": 0.0748,
2725
+ "step": 9700
2726
+ },
2727
+ {
2728
+ "epoch": 0.9729864932466233,
2729
+ "grad_norm": 2.4522223472595215,
2730
+ "learning_rate": 7.197820416678491e-08,
2731
+ "loss": 0.1243,
2732
+ "step": 9725
2733
+ },
2734
+ {
2735
+ "epoch": 0.9754877438719359,
2736
+ "grad_norm": 0.07022317498922348,
2737
+ "learning_rate": 5.927228731959611e-08,
2738
+ "loss": 0.1193,
2739
+ "step": 9750
2740
+ },
2741
+ {
2742
+ "epoch": 0.9779889944972486,
2743
+ "grad_norm": 0.11506835371255875,
2744
+ "learning_rate": 4.779763944176452e-08,
2745
+ "loss": 0.0924,
2746
+ "step": 9775
2747
+ },
2748
+ {
2749
+ "epoch": 0.9804902451225613,
2750
+ "grad_norm": 0.8983033299446106,
2751
+ "learning_rate": 3.755496905196054e-08,
2752
+ "loss": 0.1009,
2753
+ "step": 9800
2754
+ },
2755
+ {
2756
+ "epoch": 0.9829914957478739,
2757
+ "grad_norm": 46.71489334106445,
2758
+ "learning_rate": 2.8544908598626687e-08,
2759
+ "loss": 0.0941,
2760
+ "step": 9825
2761
+ },
2762
+ {
2763
+ "epoch": 0.9854927463731866,
2764
+ "grad_norm": 24.528202056884766,
2765
+ "learning_rate": 2.0768014420926573e-08,
2766
+ "loss": 0.1154,
2767
+ "step": 9850
2768
+ },
2769
+ {
2770
+ "epoch": 0.9879939969984992,
2771
+ "grad_norm": 1.271466612815857,
2772
+ "learning_rate": 1.4224766714405757e-08,
2773
+ "loss": 0.167,
2774
+ "step": 9875
2775
+ },
2776
+ {
2777
+ "epoch": 0.9904952476238119,
2778
+ "grad_norm": 0.06269615888595581,
2779
+ "learning_rate": 8.915569501317668e-09,
2780
+ "loss": 0.0793,
2781
+ "step": 9900
2782
+ },
2783
+ {
2784
+ "epoch": 0.9929964982491246,
2785
+ "grad_norm": 10.672134399414062,
2786
+ "learning_rate": 4.840750605699107e-09,
2787
+ "loss": 0.1615,
2788
+ "step": 9925
2789
+ },
2790
+ {
2791
+ "epoch": 0.9954977488744372,
2792
+ "grad_norm": 0.07192069292068481,
2793
+ "learning_rate": 2.000561633110909e-09,
2794
+ "loss": 0.1043,
2795
+ "step": 9950
2796
+ },
2797
+ {
2798
+ "epoch": 0.9979989994997499,
2799
+ "grad_norm": 0.06853734701871872,
2800
+ "learning_rate": 3.951779551192303e-10,
2801
+ "loss": 0.1132,
2802
+ "step": 9975
2803
+ },
2804
+ {
2805
+ "epoch": 1.0,
2806
+ "eval_accuracy": 0.9664333666619055,
2807
+ "eval_auc": 0.98709272099551,
2808
+ "eval_f1": 0.9695398574206092,
2809
+ "eval_loss": 0.16676104068756104,
2810
+ "eval_precision": 0.9626769626769627,
2811
+ "eval_recall": 0.9765013054830287,
2812
+ "eval_runtime": 2140.3447,
2813
+ "eval_samples_per_second": 6.542,
2814
+ "eval_steps_per_second": 0.273,
2815
+ "step": 9995
2816
+ }
2817
+ ],
2818
+ "logging_steps": 25,
2819
+ "max_steps": 9995,
2820
+ "num_input_tokens_seen": 0,
2821
+ "num_train_epochs": 1,
2822
+ "save_steps": 500,
2823
+ "stateful_callbacks": {
2824
+ "EarlyStoppingCallback": {
2825
+ "args": {
2826
+ "early_stopping_patience": 5,
2827
+ "early_stopping_threshold": 0.01
2828
+ },
2829
+ "attributes": {
2830
+ "early_stopping_patience_counter": 0
2831
+ }
2832
+ },
2833
+ "TrainerControl": {
2834
+ "args": {
2835
+ "should_epoch_stop": false,
2836
+ "should_evaluate": false,
2837
+ "should_log": false,
2838
+ "should_save": true,
2839
+ "should_training_stop": true
2840
+ },
2841
+ "attributes": {}
2842
+ }
2843
+ },
2844
+ "total_flos": 2.7618647936683475e+19,
2845
+ "train_batch_size": 12,
2846
+ "trial_name": null,
2847
+ "trial_params": null
2848
+ }
checkpoint-9995/training_args.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:d4563a12d893eda3aa6cfdde337d780ac4d66583317f75410be311ad744d89a7
3
+ size 5304
config.json ADDED
@@ -0,0 +1,68 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "haywoodsloan/autotrain-ai-image-detect-20241115-0304",
3
+ "_num_labels": 2,
4
+ "architectures": [
5
+ "Swinv2ForImageClassification"
6
+ ],
7
+ "attention_probs_dropout_prob": 0.0,
8
+ "depths": [
9
+ 2,
10
+ 2,
11
+ 18,
12
+ 2
13
+ ],
14
+ "drop_path_rate": 0.1,
15
+ "embed_dim": 192,
16
+ "encoder_stride": 32,
17
+ "hidden_act": "gelu",
18
+ "hidden_dropout_prob": 0.0,
19
+ "hidden_size": 1536,
20
+ "id2label": {
21
+ "0": "artificial",
22
+ "1": "real"
23
+ },
24
+ "image_size": 256,
25
+ "initializer_range": 0.02,
26
+ "label2id": {
27
+ "artificial": 0,
28
+ "real": 1
29
+ },
30
+ "layer_norm_eps": 1e-05,
31
+ "mlp_ratio": 4.0,
32
+ "model_type": "swinv2",
33
+ "num_channels": 3,
34
+ "num_heads": [
35
+ 6,
36
+ 12,
37
+ 24,
38
+ 48
39
+ ],
40
+ "num_layers": 4,
41
+ "out_features": [
42
+ "stage4"
43
+ ],
44
+ "out_indices": [
45
+ 4
46
+ ],
47
+ "patch_size": 4,
48
+ "path_norm": true,
49
+ "pretrained_window_sizes": [
50
+ 12,
51
+ 12,
52
+ 12,
53
+ 6
54
+ ],
55
+ "problem_type": "single_label_classification",
56
+ "qkv_bias": true,
57
+ "stage_names": [
58
+ "stem",
59
+ "stage1",
60
+ "stage2",
61
+ "stage3",
62
+ "stage4"
63
+ ],
64
+ "torch_dtype": "float32",
65
+ "transformers_version": "4.46.2",
66
+ "use_absolute_embeddings": false,
67
+ "window_size": 16
68
+ }
model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:6323b7ff6c71ea01f428fbbe60565f441b73d23e801c90768936cb675c8e39e9
3
+ size 780886280
preprocessor_config.json ADDED
@@ -0,0 +1,22 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "do_normalize": true,
3
+ "do_rescale": true,
4
+ "do_resize": true,
5
+ "image_mean": [
6
+ 0.485,
7
+ 0.456,
8
+ 0.406
9
+ ],
10
+ "image_processor_type": "ViTImageProcessor",
11
+ "image_std": [
12
+ 0.229,
13
+ 0.224,
14
+ 0.225
15
+ ],
16
+ "resample": 3,
17
+ "rescale_factor": 0.00392156862745098,
18
+ "size": {
19
+ "height": 256,
20
+ "width": 256
21
+ }
22
+ }
runs/Nov16_04-05-32_f7e69925ac96/events.out.tfevents.1731729939.f7e69925ac96.61.0 ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:317a02af9fc6a10c644c75fc802b5b34ad5e8126b39accc2cb3b09b3806b6253
3
+ size 90686
runs/Nov16_04-05-32_f7e69925ac96/events.out.tfevents.1731757902.f7e69925ac96.61.1 ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:3c2424a0282e46664776c6fbc7bc8419d98a13854601b03eeda666974908e071
3
+ size 607
training_args.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:d4563a12d893eda3aa6cfdde337d780ac4d66583317f75410be311ad744d89a7
3
+ size 5304
training_params.json ADDED
@@ -0,0 +1,29 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "data_path": "haywoodsloan/ai-images",
3
+ "model": "haywoodsloan/autotrain-ai-image-detect-20241115-0304",
4
+ "username": "haywoodsloan",
5
+ "lr": 4e-05,
6
+ "epochs": 1,
7
+ "batch_size": 12,
8
+ "warmup_ratio": 0.0,
9
+ "gradient_accumulation": 1,
10
+ "optimizer": "adamw_torch",
11
+ "scheduler": "cosine",
12
+ "weight_decay": 0.001,
13
+ "max_grad_norm": 1.0,
14
+ "seed": 1287,
15
+ "train_split": "train",
16
+ "valid_split": "test",
17
+ "logging_steps": -1,
18
+ "project_name": "autotrain-ai-image-detect-20241115-2250",
19
+ "auto_find_batch_size": true,
20
+ "mixed_precision": "bf16",
21
+ "save_total_limit": 10,
22
+ "push_to_hub": true,
23
+ "eval_strategy": "epoch",
24
+ "image_column": "image",
25
+ "target_column": "label",
26
+ "log": "tensorboard",
27
+ "early_stopping_patience": 5,
28
+ "early_stopping_threshold": 0.01
29
+ }