Training in progress, step 3000

pytorch_model.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:a7469f6ee953696180d23d25617c9fdd2e37f857039349f9db3edff5c808b3b5
+oid sha256:d83ee014c714172b4c9148fd38dff1ed7b90b959504d9eaff26bd110687030a9
 size 1262083569

wandb/run-20220202_140930-21azk117/files/output.log

@@ -2748,3 +2748,554 @@ Configuration saved in ./checkpoint-2500/config.json
 {'eval_loss': 0.45677438378334045, 'eval_wer': 0.3824053452115813, 'eval_runtime': 136.9902, 'eval_samples_per_second': 19.045, 'eval_steps_per_second': 0.27, 'epoch': 62.5}
 Model weights saved in ./checkpoint-2500/pytorch_model.bin
 Configuration saved in ./checkpoint-2500/preprocessor_config.json
+Configuration saved in ./preprocessor_config.json
+Several commits (2) will be pushed upstream.
+02/02/2022 21:14:19 - WARNING - huggingface_hub.repository - Several commits (2) will be pushed upstream.
+Deleting older checkpoint [checkpoint-2000] due to args.save_total_limit
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 65%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                         | 2599/4000 [7:20:54<3:37:33,  9.32s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 67%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                     | 2699/4000 [7:37:08<3:30:32,  9.71s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                 | 2799/4000 [7:53:26<3:04:34,  9.22s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                             | 2899/4000 [8:09:43<3:00:06,  9.82s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 75%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                         | 3000/4000 [8:26:05<2:05:21,  7.52s/it]The following columns in the evaluation set  don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length.
+***** Running Evaluation *****
+  Num examples = 2609
+  Batch size = 72
+{'loss': 0.0527, 'learning_rate': 0.00018860610975594382, 'epoch': 75.0}
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [02:12<00:00,  2.77s/it]
+
+Configuration saved in ./checkpoint-3000/config.json
+Model weights saved in ./checkpoint-3000/pytorch_model.bin
+Configuration saved in ./checkpoint-3000/preprocessor_config.json

wandb/run-20220202_140930-21azk117/run-21azk117.wandb

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:8603ccd8e532bddc3921f83c49062eccf50e4e66433ed445af033912153dbe4b
-size 18190542
+oid sha256:2cd01b54953630e54996f13892f45a24a492b27214c02b195fafd51651b0ad2f
+size 21831477