File size: 34,431 Bytes
f127ed6
 
 
1afe72a
f127ed6
1afe72a
 
f127ed6
 
 
 
 
 
 
 
 
 
 
1afe72a
f127ed6
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
---

library_name: transformers
license: other
base_model: nvidia/segformer-b1-finetuned-cityscapes-1024-1024
tags:
- vision
- image-segmentation
- generated_from_trainer
model-index:
- name: SegFormer_b3
  results: []
---


<!-- This model card has been generated automatically according to the information the Trainer had access to. You
should probably proofread and complete it, then remove this comment. -->

# SegFormer_b3



This model is a fine-tuned version of [nvidia/segformer-b1-finetuned-cityscapes-1024-1024](https://huggingface.co/nvidia/segformer-b1-finetuned-cityscapes-1024-1024) on the Cityscapes dataset.

It achieves the following results on the evaluation set:

- Loss: 0.2005

- Mean Iou: 0.3978

- Mean Accuracy: 0.4656

- Overall Accuracy: 0.8945

- Accuracy Unlabeled: nan

- Accuracy Ego vehicle: nan

- Accuracy Rectification border: nan

- Accuracy Out of roi: nan

- Accuracy Static: nan

- Accuracy Dynamic: nan

- Accuracy Ground: nan

- Accuracy Road: 0.9799

- Accuracy Sidewalk: 0.8107

- Accuracy Parking: nan

- Accuracy Rail track: nan

- Accuracy Building: 0.9339

- Accuracy Wall: 0.0010

- Accuracy Fence: 0.2453

- Accuracy Guard rail: nan

- Accuracy Bridge: nan

- Accuracy Tunnel: nan

- Accuracy Pole: 0.4987

- Accuracy Polegroup: nan

- Accuracy Traffic light: 0.5398

- Accuracy Traffic sign: 0.5906

- Accuracy Vegetation: 0.9314

- Accuracy Terrain: 0.5339

- Accuracy Sky: nan

- Accuracy Person: 0.7090

- Accuracy Rider: 0.0

- Accuracy Car: 0.9405

- Accuracy Truck: 0.0

- Accuracy Bus: 0.0

- Accuracy Caravan: nan

- Accuracy Trailer: nan

- Accuracy Train: 0.0

- Accuracy Motorcycle: 0.0

- Accuracy Bicycle: 0.6671

- Accuracy License plate: nan

- Iou Unlabeled: nan

- Iou Ego vehicle: nan

- Iou Rectification border: nan

- Iou Out of roi: nan

- Iou Static: nan

- Iou Dynamic: nan

- Iou Ground: nan

- Iou Road: 0.9529

- Iou Sidewalk: 0.6897

- Iou Parking: nan

- Iou Rail track: nan

- Iou Building: 0.7837

- Iou Wall: 0.0010

- Iou Fence: 0.2191

- Iou Guard rail: nan

- Iou Bridge: nan

- Iou Tunnel: nan

- Iou Pole: 0.3783

- Iou Polegroup: nan

- Iou Traffic light: 0.4123

- Iou Traffic sign: 0.5102

- Iou Vegetation: 0.8518

- Iou Terrain: 0.4632

- Iou Sky: nan

- Iou Person: 0.5619

- Iou Rider: 0.0

- Iou Car: 0.8270

- Iou Truck: 0.0

- Iou Bus: 0.0

- Iou Caravan: nan

- Iou Trailer: nan

- Iou Train: 0.0

- Iou Motorcycle: 0.0

- Iou Bicycle: 0.5085

- Iou License plate: nan



## Model description



More information needed



## Intended uses & limitations



More information needed



## Training and evaluation data



More information needed



## Training procedure



### Training hyperparameters



The following hyperparameters were used during training:

- learning_rate: 0.0006
- train_batch_size: 2
- eval_batch_size: 2
- seed: 42
- gradient_accumulation_steps: 4
- total_train_batch_size: 8

- optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments

- lr_scheduler_type: linear

- lr_scheduler_warmup_steps: 500
- num_epochs: 30

- mixed_precision_training: Native AMP



### Training results



| Training Loss | Epoch   | Step | Validation Loss | Mean Iou | Mean Accuracy | Overall Accuracy | Accuracy Unlabeled | Accuracy Ego vehicle | Accuracy Rectification border | Accuracy Out of roi | Accuracy Static | Accuracy Dynamic | Accuracy Ground | Accuracy Road | Accuracy Sidewalk | Accuracy Parking | Accuracy Rail track | Accuracy Building | Accuracy Wall | Accuracy Fence | Accuracy Guard rail | Accuracy Bridge | Accuracy Tunnel | Accuracy Pole | Accuracy Polegroup | Accuracy Traffic light | Accuracy Traffic sign | Accuracy Vegetation | Accuracy Terrain | Accuracy Sky | Accuracy Person | Accuracy Rider | Accuracy Car | Accuracy Truck | Accuracy Bus | Accuracy Caravan | Accuracy Trailer | Accuracy Train | Accuracy Motorcycle | Accuracy Bicycle | Accuracy License plate | Iou Unlabeled | Iou Ego vehicle | Iou Rectification border | Iou Out of roi | Iou Static | Iou Dynamic | Iou Ground | Iou Road | Iou Sidewalk | Iou Parking | Iou Rail track | Iou Building | Iou Wall | Iou Fence | Iou Guard rail | Iou Bridge | Iou Tunnel | Iou Pole | Iou Polegroup | Iou Traffic light | Iou Traffic sign | Iou Vegetation | Iou Terrain | Iou Sky | Iou Person | Iou Rider | Iou Car | Iou Truck | Iou Bus | Iou Caravan | Iou Trailer | Iou Train | Iou Motorcycle | Iou Bicycle | Iou License plate |

|:-------------:|:-------:|:----:|:---------------:|:--------:|:-------------:|:----------------:|:------------------:|:--------------------:|:-----------------------------:|:-------------------:|:---------------:|:----------------:|:---------------:|:-------------:|:-----------------:|:----------------:|:-------------------:|:-----------------:|:-------------:|:--------------:|:-------------------:|:---------------:|:---------------:|:-------------:|:------------------:|:----------------------:|:---------------------:|:-------------------:|:----------------:|:------------:|:---------------:|:--------------:|:------------:|:--------------:|:------------:|:----------------:|:----------------:|:--------------:|:-------------------:|:----------------:|:----------------------:|:-------------:|:---------------:|:------------------------:|:--------------:|:----------:|:-----------:|:----------:|:--------:|:------------:|:-----------:|:--------------:|:------------:|:--------:|:---------:|:--------------:|:----------:|:----------:|:--------:|:-------------:|:-----------------:|:----------------:|:--------------:|:-----------:|:-------:|:----------:|:---------:|:-------:|:---------:|:-------:|:-----------:|:-----------:|:---------:|:--------------:|:-----------:|:-----------------:|

| 3.6819        | 1.3333  | 100  | 0.9097          | 0.1916   | 0.2569        | 0.8080           | nan                | nan                  | nan                           | nan                 | nan             | nan              | nan             | 0.8821        | 0.9677            | nan              | nan                 | 0.8524            | 0.0           | 0.0            | nan                 | nan             | nan             | 0.0           | nan                | 0.0                    | 0.0                   | 0.9497              | 0.0136           | nan          | 0.0             | 0.0            | 0.9592       | 0.0            | 0.0          | nan              | nan              | 0.0            | 0.0                 | 0.0              | nan                    | nan           | nan             | nan                      | nan            | nan        | nan         | nan        | 0.8746   | 0.4414       | nan         | nan            | 0.7096       | 0.0      | 0.0       | nan            | nan        | nan        | 0.0      | nan           | 0.0               | 0.0              | 0.7285         | 0.0136      | nan     | 0.0        | 0.0       | 0.6806  | 0.0       | 0.0     | nan         | nan         | 0.0       | 0.0            | 0.0         | nan               |

| 3.5168        | 2.6667  | 200  | 0.8720          | 0.2888   | 0.3680        | 0.8630           | nan                | nan                  | nan                           | nan                 | nan             | nan              | nan             | 0.9708        | 0.8932            | nan              | nan                 | 0.8868            | 0.0           | 0.0            | nan                 | nan             | nan             | 0.1774        | nan                | 0.0                    | 0.5643                | 0.9552              | 0.6478           | nan          | 0.0595          | 0.0            | 0.9307       | 0.0            | 0.0          | nan              | nan              | 0.0            | 0.0                 | 0.5380           | nan                    | nan           | nan             | nan                      | nan            | nan        | nan         | nan        | 0.9471   | 0.6558       | nan         | nan            | 0.7944       | 0.0      | 0.0       | nan            | nan        | nan        | 0.0831   | nan           | 0.0               | 0.3769           | 0.7971         | 0.3345      | nan     | 0.0592     | 0.0       | 0.7911  | 0.0       | 0.0     | nan         | nan         | 0.0       | 0.0            | 0.3599      | nan               |

| 3.3612        | 4.0     | 300  | 0.8334          | 0.3763   | 0.4903        | 0.8702           | nan                | nan                  | nan                           | nan                 | nan             | nan              | nan             | 0.9601        | 0.8312            | nan              | nan                 | 0.8265            | 0.1725        | 0.5157         | nan                 | nan             | nan             | 0.6467        | nan                | 0.5563                 | 0.6298                | 0.9128              | 0.4616           | nan          | 0.8358          | 0.0            | 0.9139       | 0.0            | 0.0          | nan              | nan              | 0.0            | 0.0                 | 0.5616           | nan                    | nan           | nan             | nan                      | nan            | nan        | nan         | nan        | 0.9478   | 0.6524       | nan         | nan            | 0.7465       | 0.1284   | 0.2961    | nan            | nan        | nan        | 0.2945   | nan           | 0.2809            | 0.4369           | 0.8234         | 0.3469      | nan     | 0.5131     | 0.0       | 0.8322  | 0.0       | 0.0     | nan         | nan         | 0.0       | 0.0            | 0.4733      | nan               |

| 3.2937        | 5.3333  | 400  | 0.8253          | 0.3850   | 0.4920        | 0.8821           | nan                | nan                  | nan                           | nan                 | nan             | nan              | nan             | 0.9746        | 0.7559            | nan              | nan                 | 0.9173            | 0.2725        | 0.4995         | nan                 | nan             | nan             | 0.4240        | nan                | 0.5192                 | 0.5974                | 0.8877              | 0.4622           | nan          | 0.6364          | 0.2025         | 0.9565       | 0.0            | 0.0          | nan              | nan              | 0.0            | 0.0                 | 0.7504           | nan                    | nan           | nan             | nan                      | nan            | nan        | nan         | nan        | 0.9401   | 0.6195       | nan         | nan            | 0.8095       | 0.2138   | 0.2816    | nan            | nan        | nan        | 0.3319   | nan           | 0.3291            | 0.4741           | 0.8330         | 0.3227      | nan     | 0.5108     | 0.0834    | 0.7902  | 0.0       | 0.0     | nan         | nan         | 0.0       | 0.0            | 0.3900      | nan               |

| 3.431         | 6.6667  | 500  | 0.8247          | 0.3945   | 0.5105        | 0.8820           | nan                | nan                  | nan                           | nan                 | nan             | nan              | nan             | 0.9640        | 0.7894            | nan              | nan                 | 0.8835            | 0.4637        | 0.5429         | nan                 | nan             | nan             | 0.4049        | nan                | 0.4102                 | 0.5474                | 0.9152              | 0.6722           | nan          | 0.8082          | 0.1119         | 0.9502       | 0.0            | 0.0          | nan              | nan              | 0.0            | 0.0001              | 0.7252           | nan                    | nan           | nan             | nan                      | nan            | nan        | nan         | nan        | 0.9509   | 0.6575       | nan         | nan            | 0.8100       | 0.2296   | 0.2290    | nan            | nan        | nan        | 0.3135   | nan           | 0.3120            | 0.4647           | 0.8335         | 0.4121      | nan     | 0.5200     | 0.0838    | 0.7982  | 0.0       | 0.0     | nan         | nan         | 0.0       | 0.0001         | 0.4857      | nan               |

| 3.3843        | 8.0     | 600  | 0.8209          | 0.4022   | 0.5317        | 0.8772           | nan                | nan                  | nan                           | nan                 | nan             | nan              | nan             | 0.9641        | 0.8445            | nan              | nan                 | 0.8527            | 0.5229        | 0.3995         | nan                 | nan             | nan             | 0.5189        | nan                | 0.5287                 | 0.6258                | 0.9159              | 0.5684           | nan          | 0.7938          | 0.2234         | 0.8978       | 0.0            | 0.0          | nan              | nan              | 0.0            | 0.1760              | 0.7375           | nan                    | nan           | nan             | nan                      | nan            | nan        | nan         | nan        | 0.9459   | 0.6402       | nan         | nan            | 0.7783       | 0.2110   | 0.2458    | nan            | nan        | nan        | 0.3486   | nan           | 0.3414            | 0.3898           | 0.8342         | 0.3566      | nan     | 0.5556     | 0.1658    | 0.8100  | 0.0       | 0.0     | nan         | nan         | 0.0       | 0.0988         | 0.5177      | nan               |

| 3.3182        | 9.3333  | 700  | 0.8220          | 0.3985   | 0.5052        | 0.8785           | nan                | nan                  | nan                           | nan                 | nan             | nan              | nan             | 0.9733        | 0.7402            | nan              | nan                 | 0.9542            | 0.5008        | 0.1732         | nan                 | nan             | nan             | 0.4701        | nan                | 0.5893                 | 0.5403                | 0.8605              | 0.5030           | nan          | 0.5798          | 0.4709         | 0.9061       | 0.0            | 0.0009       | nan              | nan              | 0.0            | 0.1806              | 0.6511           | nan                    | nan           | nan             | nan                      | nan            | nan        | nan         | nan        | 0.9451   | 0.6274       | nan         | nan            | 0.7736       | 0.2133   | 0.1386    | nan            | nan        | nan        | 0.3440   | nan           | 0.3535            | 0.4812           | 0.8217         | 0.3869      | nan     | 0.4984     | 0.2059    | 0.8303  | 0.0       | 0.0009  | nan         | nan         | 0.0       | 0.1124         | 0.4407      | nan               |

| 3.3125        | 10.6667 | 800  | 0.8112          | 0.4382   | 0.5617        | 0.8918           | nan                | nan                  | nan                           | nan                 | nan             | nan              | nan             | 0.9826        | 0.7279            | nan              | nan                 | 0.9156            | 0.4140        | 0.3158         | nan                 | nan             | nan             | 0.4967        | nan                | 0.5814                 | 0.6258                | 0.9157              | 0.4678           | nan          | 0.7503          | 0.2826         | 0.9170       | 0.0            | 0.7746       | nan              | nan              | 0.0            | 0.2892              | 0.6542           | nan                    | nan           | nan             | nan                      | nan            | nan        | nan         | nan        | 0.9465   | 0.6321       | nan         | nan            | 0.8218       | 0.2656   | 0.2318    | nan            | nan        | nan        | 0.3616   | nan           | 0.3687            | 0.5101           | 0.8457         | 0.3502      | nan     | 0.5828     | 0.1900    | 0.8452  | 0.0       | 0.2774  | nan         | nan         | 0.0       | 0.1888         | 0.4696      | nan               |

| 3.2327        | 12.0    | 900  | 0.8133          | 0.4324   | 0.5705        | 0.8916           | nan                | nan                  | nan                           | nan                 | nan             | nan              | nan             | 0.9786        | 0.7767            | nan              | nan                 | 0.9054            | 0.4437        | 0.4810         | nan                 | nan             | nan             | 0.4592        | nan                | 0.5330                 | 0.5706                | 0.9423              | 0.4758           | nan          | 0.5410          | 0.5342         | 0.9070       | 0.0001         | 0.5615       | nan              | nan              | 0.0            | 0.3271              | 0.8319           | nan                    | nan           | nan             | nan                      | nan            | nan        | nan         | nan        | 0.9527   | 0.6790       | nan         | nan            | 0.8201       | 0.2626   | 0.2969    | nan            | nan        | nan        | 0.3529   | nan           | 0.3645            | 0.5033           | 0.8486         | 0.4007      | nan     | 0.4813     | 0.1780    | 0.8190  | 0.0000    | 0.2336  | nan         | nan         | 0.0       | 0.1436         | 0.4468      | nan               |

| 3.2772        | 13.3333 | 1000 | 0.8118          | 0.4461   | 0.5848        | 0.8900           | nan                | nan                  | nan                           | nan                 | nan             | nan              | nan             | 0.9675        | 0.8022            | nan              | nan                 | 0.9057            | 0.4430        | 0.3203         | nan                 | nan             | nan             | 0.5423        | nan                | 0.5617                 | 0.5703                | 0.9277              | 0.4807           | nan          | 0.7258          | 0.3603         | 0.8927       | 0.0017         | 0.8502       | nan              | nan              | 0.0            | 0.4148              | 0.7587           | nan                    | nan           | nan             | nan                      | nan            | nan        | nan         | nan        | 0.9486   | 0.6491       | nan         | nan            | 0.8153       | 0.2935   | 0.2347    | nan            | nan        | nan        | 0.3722   | nan           | 0.3910            | 0.4541           | 0.8485         | 0.3527      | nan     | 0.5648     | 0.2529    | 0.8409  | 0.0015    | 0.2668  | nan         | nan         | 0.0       | 0.2401         | 0.5032      | nan               |

| 3.2655        | 14.6667 | 1100 | 0.8134          | 0.4439   | 0.5657        | 0.8912           | nan                | nan                  | nan                           | nan                 | nan             | nan              | nan             | 0.9790        | 0.6983            | nan              | nan                 | 0.9361            | 0.4543        | 0.1532         | nan                 | nan             | nan             | 0.4737        | nan                | 0.4873                 | 0.6551                | 0.9270              | 0.5869           | nan          | 0.6551          | 0.4939         | 0.9260       | 0.0390         | 0.5783       | nan              | nan              | 0.0            | 0.5178              | 0.6208           | nan                    | nan           | nan             | nan                      | nan            | nan        | nan         | nan        | 0.9466   | 0.6239       | nan         | nan            | 0.8147       | 0.3047   | 0.1252    | nan            | nan        | nan        | 0.3603   | nan           | 0.3455            | 0.5015           | 0.8533         | 0.4609      | nan     | 0.5469     | 0.2600    | 0.8242  | 0.0258    | 0.2700  | nan         | nan         | 0.0       | 0.2401         | 0.4863      | nan               |

| 3.2841        | 16.0    | 1200 | 0.8083          | 0.4463   | 0.5656        | 0.8928           | nan                | nan                  | nan                           | nan                 | nan             | nan              | nan             | 0.9794        | 0.7238            | nan              | nan                 | 0.9171            | 0.2941        | 0.4156         | nan                 | nan             | nan             | 0.5504        | nan                | 0.4989                 | 0.5591                | 0.9202              | 0.5055           | nan          | 0.7092          | 0.4410         | 0.9395       | 0.0169         | 0.5307       | nan              | nan              | 0.0            | 0.4149              | 0.7651           | nan                    | nan           | nan             | nan                      | nan            | nan        | nan         | nan        | 0.9494   | 0.6429       | nan         | nan            | 0.8227       | 0.2275   | 0.2485    | nan            | nan        | nan        | 0.3844   | nan           | 0.3722            | 0.4937           | 0.8490         | 0.4041      | nan     | 0.5726     | 0.2636    | 0.8250  | 0.0150    | 0.2424  | nan         | nan         | 0.0       | 0.2208         | 0.4995      | nan               |

| 3.1519        | 17.3333 | 1300 | 0.8058          | 0.4663   | 0.5814        | 0.9007           | nan                | nan                  | nan                           | nan                 | nan             | nan              | nan             | 0.9814        | 0.7657            | nan              | nan                 | 0.9227            | 0.4211        | 0.4617         | nan                 | nan             | nan             | 0.5054        | nan                | 0.5578                 | 0.5573                | 0.9293              | 0.5936           | nan          | 0.7432          | 0.4163         | 0.9427       | 0.0927         | 0.4866       | nan              | nan              | 0.0            | 0.3694              | 0.7185           | nan                    | nan           | nan             | nan                      | nan            | nan        | nan         | nan        | 0.9553   | 0.6833       | nan         | nan            | 0.8361       | 0.2555   | 0.3345    | nan            | nan        | nan        | 0.3743   | nan           | 0.3935            | 0.4795           | 0.8537         | 0.4020      | nan     | 0.5869     | 0.2941    | 0.8247  | 0.0773    | 0.2855  | nan         | nan         | 0.0       | 0.2297         | 0.5272      | nan               |

| 3.1031        | 18.6667 | 1400 | 0.8049          | 0.4777   | 0.5844        | 0.9010           | nan                | nan                  | nan                           | nan                 | nan             | nan              | nan             | 0.9722        | 0.8071            | nan              | nan                 | 0.9325            | 0.6270        | 0.2349         | nan                 | nan             | nan             | 0.5282        | nan                | 0.5145                 | 0.5929                | 0.9352              | 0.5315           | nan          | 0.7478          | 0.2931         | 0.9271       | 0.3230         | 0.5858       | nan              | nan              | 0.0            | 0.3171              | 0.6497           | nan                    | nan           | nan             | nan                      | nan            | nan        | nan         | nan        | 0.9538   | 0.6760       | nan         | nan            | 0.8228       | 0.3377   | 0.1927    | nan            | nan        | nan        | 0.3939   | nan           | 0.3957            | 0.5162           | 0.8635         | 0.4307      | nan     | 0.5945     | 0.2419    | 0.8541  | 0.2123    | 0.3833  | nan         | nan         | 0.0       | 0.2205         | 0.5101      | nan               |

| 3.3333        | 20.0    | 1500 | 0.8054          | 0.4811   | 0.6115        | 0.8993           | nan                | nan                  | nan                           | nan                 | nan             | nan              | nan             | 0.9740        | 0.7904            | nan              | nan                 | 0.9272            | 0.5676        | 0.2824         | nan                 | nan             | nan             | 0.5457        | nan                | 0.6234                 | 0.6561                | 0.9349              | 0.5165           | nan          | 0.6369          | 0.5465         | 0.9158       | 0.3922         | 0.6308       | nan              | nan              | 0.0            | 0.3288              | 0.7371           | nan                    | nan           | nan             | nan                      | nan            | nan        | nan         | nan        | 0.9563   | 0.6802       | nan         | nan            | 0.8143       | 0.3653   | 0.2124    | nan            | nan        | nan        | 0.3904   | nan           | 0.4002            | 0.5414           | 0.8629         | 0.4470      | nan     | 0.5301     | 0.2112    | 0.8527  | 0.2724    | 0.3989  | nan         | nan         | 0.0       | 0.2117         | 0.5119      | nan               |

| 3.2362        | 21.3333 | 1600 | 0.7991          | 0.5111   | 0.6532        | 0.9070           | nan                | nan                  | nan                           | nan                 | nan             | nan              | nan             | 0.9774        | 0.8026            | nan              | nan                 | 0.9248            | 0.5749        | 0.3866         | nan                 | nan             | nan             | 0.5371        | nan                | 0.5863                 | 0.6434                | 0.9322              | 0.6463           | nan          | 0.7627          | 0.5056         | 0.9236       | 0.6663         | 0.8069       | nan              | nan              | 0.0            | 0.3910              | 0.6892           | nan                    | nan           | nan             | nan                      | nan            | nan        | nan         | nan        | 0.9594   | 0.7125       | nan         | nan            | 0.8367       | 0.3918   | 0.3015    | nan            | nan        | nan        | 0.3901   | nan           | 0.4282            | 0.5436           | 0.8612         | 0.4851      | nan     | 0.6028     | 0.2690    | 0.8571  | 0.3622    | 0.3994  | nan         | nan         | 0.0       | 0.2828         | 0.5153      | nan               |

| 3.1479        | 22.6667 | 1700 | 0.7992          | 0.5170   | 0.6476        | 0.9075           | nan                | nan                  | nan                           | nan                 | nan             | nan              | nan             | 0.9795        | 0.7672            | nan              | nan                 | 0.9306            | 0.4524        | 0.4345         | nan                 | nan             | nan             | 0.5213        | nan                | 0.6093                 | 0.6431                | 0.9351              | 0.6041           | nan          | 0.7803          | 0.4262         | 0.9326       | 0.7119         | 0.6591       | nan              | nan              | 0.0            | 0.4828              | 0.7877           | nan                    | nan           | nan             | nan                      | nan            | nan        | nan         | nan        | 0.9557   | 0.6830       | nan         | nan            | 0.8324       | 0.3471   | 0.3533    | nan            | nan        | nan        | 0.3993   | nan           | 0.4305            | 0.5529           | 0.8670         | 0.4730      | nan     | 0.6137     | 0.2879    | 0.8525  | 0.3981    | 0.4231  | nan         | nan         | 0.0       | 0.3000         | 0.5371      | nan               |

| 3.1489        | 24.0    | 1800 | 0.7998          | 0.5173   | 0.6436        | 0.9081           | nan                | nan                  | nan                           | nan                 | nan             | nan              | nan             | 0.9784        | 0.8081            | nan              | nan                 | 0.9230            | 0.5567        | 0.4600         | nan                 | nan             | nan             | 0.5262        | nan                | 0.5991                 | 0.6540                | 0.9431              | 0.5327           | nan          | 0.7243          | 0.4144         | 0.9283       | 0.6236         | 0.7156       | nan              | nan              | 0.0            | 0.4618              | 0.7360           | nan                    | nan           | nan             | nan                      | nan            | nan        | nan         | nan        | 0.9599   | 0.7100       | nan         | nan            | 0.8320       | 0.4076   | 0.3320    | nan            | nan        | nan        | 0.3948   | nan           | 0.4360            | 0.5497           | 0.8660         | 0.4444      | nan     | 0.5999     | 0.3002    | 0.8548  | 0.3613    | 0.3867  | nan         | nan         | 0.0       | 0.3235         | 0.5534      | nan               |

| 3.1682        | 25.3333 | 1900 | 0.7934          | 0.5162   | 0.6289        | 0.9098           | nan                | nan                  | nan                           | nan                 | nan             | nan              | nan             | 0.9806        | 0.8194            | nan              | nan                 | 0.9214            | 0.5199        | 0.4103         | nan                 | nan             | nan             | 0.5419        | nan                | 0.6013                 | 0.6294                | 0.9476              | 0.5769           | nan          | 0.7706          | 0.4091         | 0.9344       | 0.5272         | 0.5265       | nan              | nan              | 0.0            | 0.4416              | 0.7617           | nan                    | nan           | nan             | nan                      | nan            | nan        | nan         | nan        | 0.9611   | 0.7184       | nan         | nan            | 0.8347       | 0.4072   | 0.3174    | nan            | nan        | nan        | 0.3991   | nan           | 0.4310            | 0.5486           | 0.8625         | 0.4611      | nan     | 0.6253     | 0.2987    | 0.8488  | 0.3765    | 0.3712  | nan         | nan         | 0.0       | 0.2830         | 0.5464      | nan               |

| 0.78          | 26.6667 | 2000 | 0.2157          | 0.3595   | 0.4159        | 0.8783           | nan                | nan                  | nan                           | nan                 | nan             | nan              | nan             | 0.9785        | 0.7979            | nan              | nan                 | 0.9516            | 0.0           | 0.0343         | nan                 | nan             | nan             | 0.4658        | nan                | 0.4259                 | 0.5335                | 0.8972              | 0.5503           | nan          | 0.4089          | 0.0            | 0.9063       | 0.0            | 0.0          | nan              | nan              | 0.0            | 0.0                 | 0.5356           | nan                    | nan           | nan             | nan                      | nan            | nan        | nan         | nan        | 0.9412   | 0.6504       | nan         | nan            | 0.7485       | 0.0      | 0.0341    | nan            | nan        | nan        | 0.3506   | nan           | 0.3703            | 0.4682           | 0.8372         | 0.4311      | nan     | 0.3803     | 0.0       | 0.7895  | 0.0       | 0.0     | nan         | nan         | 0.0       | 0.0            | 0.4696      | nan               |

| 0.8695        | 28.0    | 2100 | 0.2042          | 0.3952   | 0.4621        | 0.8932           | nan                | nan                  | nan                           | nan                 | nan             | nan              | nan             | 0.9799        | 0.8181            | nan              | nan                 | 0.9340            | 0.0009        | 0.3852         | nan                 | nan             | nan             | 0.4783        | nan                | 0.4604                 | 0.5427                | 0.9258              | 0.5914           | nan          | 0.6337          | 0.0            | 0.9350       | 0.0            | 0.0          | nan              | nan              | 0.0            | 0.0                 | 0.6333           | nan                    | nan           | nan             | nan                      | nan            | nan        | nan         | nan        | 0.9504   | 0.6841       | nan         | nan            | 0.7884       | 0.0009   | 0.3059    | nan            | nan        | nan        | 0.3685   | nan           | 0.3815            | 0.4831           | 0.8517         | 0.4688      | nan     | 0.5246     | 0.0       | 0.8075  | 0.0       | 0.0     | nan         | nan         | 0.0       | 0.0            | 0.4978      | nan               |

| 0.6709        | 29.3333 | 2200 | 0.2005          | 0.3978   | 0.4656        | 0.8945           | nan                | nan                  | nan                           | nan                 | nan             | nan              | nan             | 0.9799        | 0.8107            | nan              | nan                 | 0.9339            | 0.0010        | 0.2453         | nan                 | nan             | nan             | 0.4987        | nan                | 0.5398                 | 0.5906                | 0.9314              | 0.5339           | nan          | 0.7090          | 0.0            | 0.9405       | 0.0            | 0.0          | nan              | nan              | 0.0            | 0.0                 | 0.6671           | nan                    | nan           | nan             | nan                      | nan            | nan        | nan         | nan        | 0.9529   | 0.6897       | nan         | nan            | 0.7837       | 0.0010   | 0.2191    | nan            | nan        | nan        | 0.3783   | nan           | 0.4123            | 0.5102           | 0.8518         | 0.4632      | nan     | 0.5619     | 0.0       | 0.8270  | 0.0       | 0.0     | nan         | nan         | 0.0       | 0.0            | 0.5085      | nan               |





### Framework versions



- Transformers 4.47.1

- Pytorch 2.5.1+cu121

- Datasets 3.2.0

- Tokenizers 0.21.0