robbert-2023-dutch-large_deprel

This model is a fine-tuned version of DTAI-KULeuven/robbert-2023-dutch-large on the universal_dependencies dataset. It achieves the following results on the evaluation set:

• Loss: 0.5230
• : {'precision': 0.5, 'recall': 0.25, 'f1': 0.3333333333333333, 'number': 8}
• Arataxis: {'precision': 0.5368421052631579, 'recall': 0.425, 'f1': 0.4744186046511628, 'number': 120}
• Ark: {'precision': 0.8985507246376812, 'recall': 0.8266666666666667, 'f1': 0.8611111111111112, 'number': 300}
• Ase: {'precision': 0.91232423490488, 'recall': 0.8760921366163622, 'f1': 0.8938411669367909, 'number': 1259}
• Bj: {'precision': 0.8254847645429363, 'recall': 0.7904509283819628, 'f1': 0.8075880758807589, 'number': 377}
• Bl: {'precision': 0.8537549407114624, 'recall': 0.7779111644657863, 'f1': 0.814070351758794, 'number': 833}
• Bl:agent: {'precision': 1.0, 'recall': 0.8, 'f1': 0.888888888888889, 'number': 15}
• C: {'precision': 0.8598130841121495, 'recall': 0.8141592920353983, 'f1': 0.8363636363636363, 'number': 226}
• Cl: {'precision': 0.6285714285714286, 'recall': 0.5945945945945946, 'f1': 0.611111111111111, 'number': 37}
• Cl:relcl: {'precision': 0.7647058823529411, 'recall': 0.6933333333333334, 'f1': 0.7272727272727272, 'number': 75}
• Comp: {'precision': 0.8509316770186336, 'recall': 0.6372093023255814, 'f1': 0.7287234042553191, 'number': 215}
• Dvcl: {'precision': 0.7415730337078652, 'recall': 0.6666666666666666, 'f1': 0.7021276595744681, 'number': 99}
• Dvmod: {'precision': 0.8043912175648703, 'recall': 0.7917485265225933, 'f1': 0.798019801980198, 'number': 509}
• Et: {'precision': 0.9318181818181818, 'recall': 0.8913043478260869, 'f1': 0.9111111111111111, 'number': 1288}
• Ixed: {'precision': 0.5869565217391305, 'recall': 0.42857142857142855, 'f1': 0.49541284403669733, 'number': 126}
• Lat: {'precision': 0.8333333333333334, 'recall': 0.7627118644067796, 'f1': 0.7964601769911505, 'number': 236}
• Mod: {'precision': 0.8282078472958643, 'recall': 0.7664376840039254, 'f1': 0.7961264016309888, 'number': 1019}
• Mod:poss: {'precision': 0.9553571428571429, 'recall': 0.8991596638655462, 'f1': 0.9264069264069265, 'number': 119}
• Obj: {'precision': 0.8461538461538461, 'recall': 0.4782608695652174, 'f1': 0.6111111111111112, 'number': 23}
• Ompound:prt: {'precision': 0.784, 'recall': 0.7153284671532847, 'f1': 0.748091603053435, 'number': 137}
• Onj: {'precision': 0.8093023255813954, 'recall': 0.6444444444444445, 'f1': 0.7175257731958764, 'number': 270}
• Oot: {'precision': 0.9084604715672677, 'recall': 0.9122562674094707, 'f1': 0.9103544127866574, 'number': 718}
• Op: {'precision': 0.8731343283582089, 'recall': 0.9, 'f1': 0.8863636363636365, 'number': 130}
• Ppos: {'precision': 0.8905109489051095, 'recall': 0.8079470198675497, 'f1': 0.8472222222222221, 'number': 151}
• Rphan: {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}
• Subj: {'precision': 0.9165739710789766, 'recall': 0.9094922737306843, 'f1': 0.9130193905817174, 'number': 906}
• Subj:pass: {'precision': 0.859375, 'recall': 0.7638888888888888, 'f1': 0.8088235294117647, 'number': 72}
• Ummod: {'precision': 0.8345323741007195, 'recall': 0.7682119205298014, 'f1': 0.8, 'number': 151}
• Unct: {'precision': 0.9050042408821035, 'recall': 0.8375196232339089, 'f1': 0.8699551569506727, 'number': 1274}
• Ux: {'precision': 0.8817204301075269, 'recall': 0.8367346938775511, 'f1': 0.8586387434554974, 'number': 196}
• Ux:pass: {'precision': 0.8611111111111112, 'recall': 0.7654320987654321, 'f1': 0.8104575163398693, 'number': 81}
• Xpl: {'precision': 0.8571428571428571, 'recall': 0.8, 'f1': 0.8275862068965518, 'number': 15}
• Xpl:pv: {'precision': 0.7619047619047619, 'recall': 0.64, 'f1': 0.6956521739130435, 'number': 25}
• Overall Precision: 0.8729
• Overall Recall: 0.8164
• Overall F1: 0.8437
• Overall Accuracy: 0.8598

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 32
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss		Arataxis	Ark	Ase	Bj	Bl	Bl:agent	C	Cl	Cl:relcl	Comp	Dvcl	Dvmod	Et	Ixed	Lat	Mod	Mod:poss	Obj	Ompound:prt	Onj	Oot	Op	Ppos	Rphan	Subj	Subj:pass	Ummod	Unct	Ux	Ux:pass	Xpl	Xpl:pv	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
No log	1.0	384	0.9977	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 8}	{'precision': 0.27586206896551724, 'recall': 0.06666666666666667, 'f1': 0.10738255033557047, 'number': 120}	{'precision': 0.5698529411764706, 'recall': 0.5166666666666667, 'f1': 0.541958041958042, 'number': 300}	{'precision': 0.6748898678414097, 'recall': 0.6084193804606831, 'f1': 0.6399331662489558, 'number': 1259}	{'precision': 0.7230769230769231, 'recall': 0.4986737400530504, 'f1': 0.5902668759811617, 'number': 377}	{'precision': 0.7421487603305785, 'recall': 0.539015606242497, 'f1': 0.6244784422809458, 'number': 833}	{'precision': 0.5714285714285714, 'recall': 0.26666666666666666, 'f1': 0.36363636363636365, 'number': 15}	{'precision': 0.6272189349112426, 'recall': 0.4690265486725664, 'f1': 0.5367088607594936, 'number': 226}	{'precision': 0.2, 'recall': 0.05405405405405406, 'f1': 0.0851063829787234, 'number': 37}	{'precision': 0.4883720930232558, 'recall': 0.28, 'f1': 0.35593220338983056, 'number': 75}	{'precision': 0.73, 'recall': 0.3395348837209302, 'f1': 0.46349206349206346, 'number': 215}	{'precision': 0.4642857142857143, 'recall': 0.26262626262626265, 'f1': 0.33548387096774196, 'number': 99}	{'precision': 0.6232227488151659, 'recall': 0.5166994106090373, 'f1': 0.564983888292159, 'number': 509}	{'precision': 0.7591304347826087, 'recall': 0.6777950310559007, 'f1': 0.716160787530763, 'number': 1288}	{'precision': 0.4, 'recall': 0.1746031746031746, 'f1': 0.24309392265193372, 'number': 126}	{'precision': 0.6262626262626263, 'recall': 0.5254237288135594, 'f1': 0.5714285714285715, 'number': 236}	{'precision': 0.6475300400534045, 'recall': 0.4759568204121688, 'f1': 0.5486425339366516, 'number': 1019}	{'precision': 0.5327102803738317, 'recall': 0.4789915966386555, 'f1': 0.504424778761062, 'number': 119}	{'precision': 0.625, 'recall': 0.21739130434782608, 'f1': 0.3225806451612903, 'number': 23}	{'precision': 0.423728813559322, 'recall': 0.36496350364963503, 'f1': 0.39215686274509803, 'number': 137}	{'precision': 0.5133333333333333, 'recall': 0.2851851851851852, 'f1': 0.36666666666666664, 'number': 270}	{'precision': 0.7860394537177542, 'recall': 0.7214484679665738, 'f1': 0.7523602033405955, 'number': 718}	{'precision': 0.7592592592592593, 'recall': 0.6307692307692307, 'f1': 0.6890756302521008, 'number': 130}	{'precision': 0.75, 'recall': 0.4966887417218543, 'f1': 0.597609561752988, 'number': 151}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.9165467625899281, 'recall': 0.7030905077262694, 'f1': 0.7957526545908807, 'number': 906}	{'precision': 0.6764705882352942, 'recall': 0.6388888888888888, 'f1': 0.6571428571428571, 'number': 72}	{'precision': 0.64, 'recall': 0.423841059602649, 'f1': 0.5099601593625498, 'number': 151}	{'precision': 0.7648936170212766, 'recall': 0.5643642072213501, 'f1': 0.6495031616982836, 'number': 1274}	{'precision': 0.7315436241610739, 'recall': 0.5561224489795918, 'f1': 0.6318840579710145, 'number': 196}	{'precision': 0.5, 'recall': 0.49382716049382713, 'f1': 0.4968944099378882, 'number': 81}	{'precision': 0.8181818181818182, 'recall': 0.6, 'f1': 0.6923076923076923, 'number': 15}	{'precision': 0.3333333333333333, 'recall': 0.36, 'f1': 0.34615384615384615, 'number': 25}	0.7065	0.5505	0.6189	0.6709
1.4946	2.0	768	0.7431	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 8}	{'precision': 0.4594594594594595, 'recall': 0.14166666666666666, 'f1': 0.21656050955414013, 'number': 120}	{'precision': 0.8160919540229885, 'recall': 0.71, 'f1': 0.7593582887700535, 'number': 300}	{'precision': 0.7743055555555556, 'recall': 0.7084988085782367, 'f1': 0.7399419328079635, 'number': 1259}	{'precision': 0.7601351351351351, 'recall': 0.596816976127321, 'f1': 0.6686478454680534, 'number': 377}	{'precision': 0.7822822822822822, 'recall': 0.6254501800720288, 'f1': 0.695130086724483, 'number': 833}	{'precision': 0.8333333333333334, 'recall': 0.6666666666666666, 'f1': 0.7407407407407408, 'number': 15}	{'precision': 0.6802030456852792, 'recall': 0.5929203539823009, 'f1': 0.6335697399527187, 'number': 226}	{'precision': 0.5, 'recall': 0.2702702702702703, 'f1': 0.3508771929824562, 'number': 37}	{'precision': 0.6190476190476191, 'recall': 0.52, 'f1': 0.5652173913043478, 'number': 75}	{'precision': 0.7217391304347827, 'recall': 0.386046511627907, 'f1': 0.5030303030303029, 'number': 215}	{'precision': 0.5526315789473685, 'recall': 0.42424242424242425, 'f1': 0.48000000000000004, 'number': 99}	{'precision': 0.6798336798336798, 'recall': 0.6424361493123772, 'f1': 0.6606060606060606, 'number': 509}	{'precision': 0.8742249778565102, 'recall': 0.7663043478260869, 'f1': 0.8167149358709144, 'number': 1288}	{'precision': 0.45569620253164556, 'recall': 0.2857142857142857, 'f1': 0.35121951219512193, 'number': 126}	{'precision': 0.6650943396226415, 'recall': 0.597457627118644, 'f1': 0.6294642857142858, 'number': 236}	{'precision': 0.7642079806529625, 'recall': 0.620215897939156, 'f1': 0.684723726977248, 'number': 1019}	{'precision': 0.6694915254237288, 'recall': 0.6638655462184874, 'f1': 0.6666666666666667, 'number': 119}	{'precision': 0.4117647058823529, 'recall': 0.30434782608695654, 'f1': 0.35, 'number': 23}	{'precision': 0.6826923076923077, 'recall': 0.5182481751824818, 'f1': 0.5892116182572614, 'number': 137}	{'precision': 0.5652173913043478, 'recall': 0.43333333333333335, 'f1': 0.49056603773584906, 'number': 270}	{'precision': 0.8451704545454546, 'recall': 0.8286908077994429, 'f1': 0.8368495077355838, 'number': 718}	{'precision': 0.8305084745762712, 'recall': 0.7538461538461538, 'f1': 0.7903225806451613, 'number': 130}	{'precision': 0.744, 'recall': 0.6158940397350994, 'f1': 0.6739130434782609, 'number': 151}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.8554641598119859, 'recall': 0.8035320088300221, 'f1': 0.8286852589641434, 'number': 906}	{'precision': 0.8245614035087719, 'recall': 0.6527777777777778, 'f1': 0.7286821705426356, 'number': 72}	{'precision': 0.5874125874125874, 'recall': 0.5562913907284768, 'f1': 0.5714285714285714, 'number': 151}	{'precision': 0.8047016274864376, 'recall': 0.6985871271585558, 'f1': 0.7478991596638656, 'number': 1274}	{'precision': 0.7797619047619048, 'recall': 0.6683673469387755, 'f1': 0.7197802197802198, 'number': 196}	{'precision': 0.7183098591549296, 'recall': 0.6296296296296297, 'f1': 0.6710526315789473, 'number': 81}	{'precision': 0.8, 'recall': 0.8, 'f1': 0.8000000000000002, 'number': 15}	{'precision': 0.5, 'recall': 0.6, 'f1': 0.5454545454545454, 'number': 25}	0.7748	0.6654	0.7159	0.7567
0.7831	3.0	1152	0.6912	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 8}	{'precision': 0.627906976744186, 'recall': 0.225, 'f1': 0.33128834355828224, 'number': 120}	{'precision': 0.7949640287769785, 'recall': 0.7366666666666667, 'f1': 0.7647058823529412, 'number': 300}	{'precision': 0.808298755186722, 'recall': 0.7736298649722002, 'f1': 0.7905844155844157, 'number': 1259}	{'precision': 0.7478753541076487, 'recall': 0.7002652519893899, 'f1': 0.7232876712328767, 'number': 377}	{'precision': 0.7656458055925432, 'recall': 0.6902761104441777, 'f1': 0.726010101010101, 'number': 833}	{'precision': 0.7692307692307693, 'recall': 0.6666666666666666, 'f1': 0.7142857142857142, 'number': 15}	{'precision': 0.7259615384615384, 'recall': 0.668141592920354, 'f1': 0.695852534562212, 'number': 226}	{'precision': 0.5555555555555556, 'recall': 0.40540540540540543, 'f1': 0.46875, 'number': 37}	{'precision': 0.6, 'recall': 0.6, 'f1': 0.6, 'number': 75}	{'precision': 0.6395939086294417, 'recall': 0.586046511627907, 'f1': 0.6116504854368932, 'number': 215}	{'precision': 0.6125, 'recall': 0.494949494949495, 'f1': 0.547486033519553, 'number': 99}	{'precision': 0.7311608961303462, 'recall': 0.7053045186640472, 'f1': 0.718, 'number': 509}	{'precision': 0.8752079866888519, 'recall': 0.8167701863354038, 'f1': 0.8449799196787149, 'number': 1288}	{'precision': 0.582089552238806, 'recall': 0.30952380952380953, 'f1': 0.4041450777202073, 'number': 126}	{'precision': 0.6891891891891891, 'recall': 0.6483050847457628, 'f1': 0.6681222707423581, 'number': 236}	{'precision': 0.7838150289017342, 'recall': 0.6653581943081452, 'f1': 0.7197452229299364, 'number': 1019}	{'precision': 0.8230088495575221, 'recall': 0.7815126050420168, 'f1': 0.8017241379310344, 'number': 119}	{'precision': 0.8181818181818182, 'recall': 0.391304347826087, 'f1': 0.5294117647058824, 'number': 23}	{'precision': 0.7368421052631579, 'recall': 0.6131386861313869, 'f1': 0.6693227091633466, 'number': 137}	{'precision': 0.7301587301587301, 'recall': 0.5111111111111111, 'f1': 0.6013071895424835, 'number': 270}	{'precision': 0.8583333333333333, 'recall': 0.8607242339832869, 'f1': 0.8595271210013907, 'number': 718}	{'precision': 0.7878787878787878, 'recall': 0.8, 'f1': 0.7938931297709925, 'number': 130}	{'precision': 0.7777777777777778, 'recall': 0.7417218543046358, 'f1': 0.759322033898305, 'number': 151}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.9057714958775029, 'recall': 0.8487858719646799, 'f1': 0.8763532763532764, 'number': 906}	{'precision': 0.85, 'recall': 0.7083333333333334, 'f1': 0.7727272727272727, 'number': 72}	{'precision': 0.7841726618705036, 'recall': 0.7218543046357616, 'f1': 0.7517241379310345, 'number': 151}	{'precision': 0.8784956605593057, 'recall': 0.7150706436420722, 'f1': 0.7884032886196451, 'number': 1274}	{'precision': 0.7978142076502732, 'recall': 0.7448979591836735, 'f1': 0.7704485488126649, 'number': 196}	{'precision': 0.7631578947368421, 'recall': 0.7160493827160493, 'f1': 0.7388535031847134, 'number': 81}	{'precision': 0.9166666666666666, 'recall': 0.7333333333333333, 'f1': 0.8148148148148148, 'number': 15}	{'precision': 0.6296296296296297, 'recall': 0.68, 'f1': 0.6538461538461539, 'number': 25}	0.8062	0.7236	0.7627	0.7899
0.5765	4.0	1536	0.6819	{'precision': 1.0, 'recall': 0.125, 'f1': 0.2222222222222222, 'number': 8}	{'precision': 0.6785714285714286, 'recall': 0.31666666666666665, 'f1': 0.4318181818181818, 'number': 120}	{'precision': 0.8211678832116789, 'recall': 0.75, 'f1': 0.7839721254355401, 'number': 300}	{'precision': 0.8288444830582102, 'recall': 0.7577442414614773, 'f1': 0.7917012448132779, 'number': 1259}	{'precision': 0.7050147492625368, 'recall': 0.6339522546419099, 'f1': 0.6675977653631284, 'number': 377}	{'precision': 0.7864214992927864, 'recall': 0.6674669867947179, 'f1': 0.7220779220779221, 'number': 833}	{'precision': 0.7692307692307693, 'recall': 0.6666666666666666, 'f1': 0.7142857142857142, 'number': 15}	{'precision': 0.7294685990338164, 'recall': 0.668141592920354, 'f1': 0.697459584295612, 'number': 226}	{'precision': 0.5652173913043478, 'recall': 0.35135135135135137, 'f1': 0.43333333333333335, 'number': 37}	{'precision': 0.6428571428571429, 'recall': 0.48, 'f1': 0.5496183206106872, 'number': 75}	{'precision': 0.7482993197278912, 'recall': 0.5116279069767442, 'f1': 0.6077348066298344, 'number': 215}	{'precision': 0.6455696202531646, 'recall': 0.5151515151515151, 'f1': 0.5730337078651686, 'number': 99}	{'precision': 0.7857142857142857, 'recall': 0.6915520628683693, 'f1': 0.7356321839080461, 'number': 509}	{'precision': 0.8957055214723927, 'recall': 0.7934782608695652, 'f1': 0.8414985590778099, 'number': 1288}	{'precision': 0.4329896907216495, 'recall': 0.3333333333333333, 'f1': 0.37668161434977576, 'number': 126}	{'precision': 0.743455497382199, 'recall': 0.6016949152542372, 'f1': 0.6651053864168618, 'number': 236}	{'precision': 0.7790432801822323, 'recall': 0.6712463199214916, 'f1': 0.7211386399578281, 'number': 1019}	{'precision': 0.8691588785046729, 'recall': 0.7815126050420168, 'f1': 0.8230088495575221, 'number': 119}	{'precision': 0.625, 'recall': 0.43478260869565216, 'f1': 0.5128205128205128, 'number': 23}	{'precision': 0.5615384615384615, 'recall': 0.5328467153284672, 'f1': 0.5468164794007492, 'number': 137}	{'precision': 0.7287234042553191, 'recall': 0.5074074074074074, 'f1': 0.5982532751091703, 'number': 270}	{'precision': 0.8871428571428571, 'recall': 0.8649025069637883, 'f1': 0.8758815232722144, 'number': 718}	{'precision': 0.8188976377952756, 'recall': 0.8, 'f1': 0.8093385214007781, 'number': 130}	{'precision': 0.803030303030303, 'recall': 0.7019867549668874, 'f1': 0.7491166077738516, 'number': 151}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.9379474940334129, 'recall': 0.8675496688741722, 'f1': 0.9013761467889908, 'number': 906}	{'precision': 0.8688524590163934, 'recall': 0.7361111111111112, 'f1': 0.7969924812030076, 'number': 72}	{'precision': 0.8387096774193549, 'recall': 0.6887417218543046, 'f1': 0.7563636363636363, 'number': 151}	{'precision': 0.6973795435333897, 'recall': 0.6475667189952904, 'f1': 0.6715506715506716, 'number': 1274}	{'precision': 0.8238636363636364, 'recall': 0.7397959183673469, 'f1': 0.7795698924731183, 'number': 196}	{'precision': 0.8088235294117647, 'recall': 0.6790123456790124, 'f1': 0.7382550335570469, 'number': 81}	{'precision': 0.6875, 'recall': 0.7333333333333333, 'f1': 0.7096774193548386, 'number': 15}	{'precision': 0.5925925925925926, 'recall': 0.64, 'f1': 0.6153846153846153, 'number': 25}	0.8004	0.7052	0.7498	0.7835
0.5765	5.0	1920	0.5603	{'precision': 1.0, 'recall': 0.25, 'f1': 0.4, 'number': 8}	{'precision': 0.5915492957746479, 'recall': 0.35, 'f1': 0.43979057591623033, 'number': 120}	{'precision': 0.8888888888888888, 'recall': 0.8266666666666667, 'f1': 0.8566493955094991, 'number': 300}	{'precision': 0.9064869418702611, 'recall': 0.8546465448768864, 'f1': 0.8798037612428454, 'number': 1259}	{'precision': 0.8427299703264095, 'recall': 0.753315649867374, 'f1': 0.795518207282913, 'number': 377}	{'precision': 0.8467635402906208, 'recall': 0.7695078031212484, 'f1': 0.8062893081761006, 'number': 833}	{'precision': 1.0, 'recall': 0.8666666666666667, 'f1': 0.9285714285714286, 'number': 15}	{'precision': 0.8202764976958525, 'recall': 0.7876106194690266, 'f1': 0.8036117381489842, 'number': 226}	{'precision': 0.625, 'recall': 0.5405405405405406, 'f1': 0.5797101449275363, 'number': 37}	{'precision': 0.7611940298507462, 'recall': 0.68, 'f1': 0.7183098591549296, 'number': 75}	{'precision': 0.75, 'recall': 0.641860465116279, 'f1': 0.6917293233082705, 'number': 215}	{'precision': 0.6956521739130435, 'recall': 0.6464646464646465, 'f1': 0.6701570680628272, 'number': 99}	{'precision': 0.7955911823647295, 'recall': 0.7799607072691552, 'f1': 0.7876984126984128, 'number': 509}	{'precision': 0.9199346405228758, 'recall': 0.8742236024844721, 'f1': 0.8964968152866242, 'number': 1288}	{'precision': 0.6578947368421053, 'recall': 0.3968253968253968, 'f1': 0.4950495049504951, 'number': 126}	{'precision': 0.8136363636363636, 'recall': 0.7584745762711864, 'f1': 0.7850877192982456, 'number': 236}	{'precision': 0.8302702702702702, 'recall': 0.7536800785083415, 'f1': 0.7901234567901234, 'number': 1019}	{'precision': 0.9545454545454546, 'recall': 0.8823529411764706, 'f1': 0.9170305676855895, 'number': 119}	{'precision': 0.6470588235294118, 'recall': 0.4782608695652174, 'f1': 0.55, 'number': 23}	{'precision': 0.8543689320388349, 'recall': 0.6423357664233577, 'f1': 0.7333333333333334, 'number': 137}	{'precision': 0.7909090909090909, 'recall': 0.6444444444444445, 'f1': 0.7102040816326531, 'number': 270}	{'precision': 0.9226361031518625, 'recall': 0.8969359331476323, 'f1': 0.9096045197740112, 'number': 718}	{'precision': 0.8947368421052632, 'recall': 0.9153846153846154, 'f1': 0.9049429657794676, 'number': 130}	{'precision': 0.7905405405405406, 'recall': 0.7748344370860927, 'f1': 0.7826086956521738, 'number': 151}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.9348571428571428, 'recall': 0.9028697571743929, 'f1': 0.9185850645704661, 'number': 906}	{'precision': 0.782608695652174, 'recall': 0.75, 'f1': 0.7659574468085107, 'number': 72}	{'precision': 0.8308823529411765, 'recall': 0.7483443708609272, 'f1': 0.7874564459930313, 'number': 151}	{'precision': 0.842809364548495, 'recall': 0.7912087912087912, 'f1': 0.8161943319838058, 'number': 1274}	{'precision': 0.8793103448275862, 'recall': 0.7806122448979592, 'f1': 0.827027027027027, 'number': 196}	{'precision': 0.7976190476190477, 'recall': 0.8271604938271605, 'f1': 0.8121212121212122, 'number': 81}	{'precision': 0.8571428571428571, 'recall': 0.8, 'f1': 0.8275862068965518, 'number': 15}	{'precision': 0.75, 'recall': 0.72, 'f1': 0.7346938775510204, 'number': 25}	0.8620	0.7972	0.8283	0.8478
0.4525	6.0	2304	0.5230	{'precision': 0.5, 'recall': 0.25, 'f1': 0.3333333333333333, 'number': 8}	{'precision': 0.5368421052631579, 'recall': 0.425, 'f1': 0.4744186046511628, 'number': 120}	{'precision': 0.8985507246376812, 'recall': 0.8266666666666667, 'f1': 0.8611111111111112, 'number': 300}	{'precision': 0.91232423490488, 'recall': 0.8760921366163622, 'f1': 0.8938411669367909, 'number': 1259}	{'precision': 0.8254847645429363, 'recall': 0.7904509283819628, 'f1': 0.8075880758807589, 'number': 377}	{'precision': 0.8537549407114624, 'recall': 0.7779111644657863, 'f1': 0.814070351758794, 'number': 833}	{'precision': 1.0, 'recall': 0.8, 'f1': 0.888888888888889, 'number': 15}	{'precision': 0.8598130841121495, 'recall': 0.8141592920353983, 'f1': 0.8363636363636363, 'number': 226}	{'precision': 0.6285714285714286, 'recall': 0.5945945945945946, 'f1': 0.611111111111111, 'number': 37}	{'precision': 0.7647058823529411, 'recall': 0.6933333333333334, 'f1': 0.7272727272727272, 'number': 75}	{'precision': 0.8509316770186336, 'recall': 0.6372093023255814, 'f1': 0.7287234042553191, 'number': 215}	{'precision': 0.7415730337078652, 'recall': 0.6666666666666666, 'f1': 0.7021276595744681, 'number': 99}	{'precision': 0.8043912175648703, 'recall': 0.7917485265225933, 'f1': 0.798019801980198, 'number': 509}	{'precision': 0.9318181818181818, 'recall': 0.8913043478260869, 'f1': 0.9111111111111111, 'number': 1288}	{'precision': 0.5869565217391305, 'recall': 0.42857142857142855, 'f1': 0.49541284403669733, 'number': 126}	{'precision': 0.8333333333333334, 'recall': 0.7627118644067796, 'f1': 0.7964601769911505, 'number': 236}	{'precision': 0.8282078472958643, 'recall': 0.7664376840039254, 'f1': 0.7961264016309888, 'number': 1019}	{'precision': 0.9553571428571429, 'recall': 0.8991596638655462, 'f1': 0.9264069264069265, 'number': 119}	{'precision': 0.8461538461538461, 'recall': 0.4782608695652174, 'f1': 0.6111111111111112, 'number': 23}	{'precision': 0.784, 'recall': 0.7153284671532847, 'f1': 0.748091603053435, 'number': 137}	{'precision': 0.8093023255813954, 'recall': 0.6444444444444445, 'f1': 0.7175257731958764, 'number': 270}	{'precision': 0.9084604715672677, 'recall': 0.9122562674094707, 'f1': 0.9103544127866574, 'number': 718}	{'precision': 0.8731343283582089, 'recall': 0.9, 'f1': 0.8863636363636365, 'number': 130}	{'precision': 0.8905109489051095, 'recall': 0.8079470198675497, 'f1': 0.8472222222222221, 'number': 151}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.9165739710789766, 'recall': 0.9094922737306843, 'f1': 0.9130193905817174, 'number': 906}	{'precision': 0.859375, 'recall': 0.7638888888888888, 'f1': 0.8088235294117647, 'number': 72}	{'precision': 0.8345323741007195, 'recall': 0.7682119205298014, 'f1': 0.8, 'number': 151}	{'precision': 0.9050042408821035, 'recall': 0.8375196232339089, 'f1': 0.8699551569506727, 'number': 1274}	{'precision': 0.8817204301075269, 'recall': 0.8367346938775511, 'f1': 0.8586387434554974, 'number': 196}	{'precision': 0.8611111111111112, 'recall': 0.7654320987654321, 'f1': 0.8104575163398693, 'number': 81}	{'precision': 0.8571428571428571, 'recall': 0.8, 'f1': 0.8275862068965518, 'number': 15}	{'precision': 0.7619047619047619, 'recall': 0.64, 'f1': 0.6956521739130435, 'number': 25}	0.8729	0.8164	0.8437	0.8598
0.3543	7.0	2688	0.5747	{'precision': 1.0, 'recall': 0.125, 'f1': 0.2222222222222222, 'number': 8}	{'precision': 0.6, 'recall': 0.375, 'f1': 0.4615384615384615, 'number': 120}	{'precision': 0.8807017543859649, 'recall': 0.8366666666666667, 'f1': 0.8581196581196582, 'number': 300}	{'precision': 0.8928571428571429, 'recall': 0.8737092930897538, 'f1': 0.8831794460056203, 'number': 1259}	{'precision': 0.8157181571815718, 'recall': 0.7984084880636605, 'f1': 0.8069705093833781, 'number': 377}	{'precision': 0.8432642487046632, 'recall': 0.7815126050420168, 'f1': 0.8112149532710281, 'number': 833}	{'precision': 1.0, 'recall': 0.8666666666666667, 'f1': 0.9285714285714286, 'number': 15}	{'precision': 0.8440366972477065, 'recall': 0.8141592920353983, 'f1': 0.8288288288288288, 'number': 226}	{'precision': 0.55, 'recall': 0.5945945945945946, 'f1': 0.5714285714285715, 'number': 37}	{'precision': 0.7538461538461538, 'recall': 0.6533333333333333, 'f1': 0.7, 'number': 75}	{'precision': 0.8106508875739645, 'recall': 0.6372093023255814, 'f1': 0.7135416666666666, 'number': 215}	{'precision': 0.7021276595744681, 'recall': 0.6666666666666666, 'f1': 0.6839378238341969, 'number': 99}	{'precision': 0.7918367346938775, 'recall': 0.762278978388998, 'f1': 0.7767767767767767, 'number': 509}	{'precision': 0.9215210355987055, 'recall': 0.8843167701863354, 'f1': 0.9025356576862124, 'number': 1288}	{'precision': 0.5666666666666667, 'recall': 0.40476190476190477, 'f1': 0.4722222222222222, 'number': 126}	{'precision': 0.7896995708154506, 'recall': 0.7796610169491526, 'f1': 0.7846481876332623, 'number': 236}	{'precision': 0.8178010471204189, 'recall': 0.7664376840039254, 'f1': 0.7912867274569403, 'number': 1019}	{'precision': 0.9210526315789473, 'recall': 0.8823529411764706, 'f1': 0.9012875536480687, 'number': 119}	{'precision': 0.6470588235294118, 'recall': 0.4782608695652174, 'f1': 0.55, 'number': 23}	{'precision': 0.744, 'recall': 0.6788321167883211, 'f1': 0.7099236641221374, 'number': 137}	{'precision': 0.8111587982832618, 'recall': 0.7, 'f1': 0.7514910536779323, 'number': 270}	{'precision': 0.9232914923291492, 'recall': 0.9220055710306406, 'f1': 0.9226480836236933, 'number': 718}	{'precision': 0.8592592592592593, 'recall': 0.8923076923076924, 'f1': 0.8754716981132076, 'number': 130}	{'precision': 0.8187919463087249, 'recall': 0.8079470198675497, 'f1': 0.8133333333333334, 'number': 151}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.9147286821705426, 'recall': 0.9116997792494481, 'f1': 0.9132117191818685, 'number': 906}	{'precision': 0.8656716417910447, 'recall': 0.8055555555555556, 'f1': 0.8345323741007193, 'number': 72}	{'precision': 0.8206896551724138, 'recall': 0.7880794701986755, 'f1': 0.8040540540540541, 'number': 151}	{'precision': 0.925569176882662, 'recall': 0.8296703296703297, 'f1': 0.875, 'number': 1274}	{'precision': 0.8272251308900523, 'recall': 0.8061224489795918, 'f1': 0.8165374677002584, 'number': 196}	{'precision': 0.8571428571428571, 'recall': 0.8148148148148148, 'f1': 0.8354430379746836, 'number': 81}	{'precision': 0.8571428571428571, 'recall': 0.8, 'f1': 0.8275862068965518, 'number': 15}	{'precision': 0.6538461538461539, 'recall': 0.68, 'f1': 0.6666666666666666, 'number': 25}	0.8635	0.8150	0.8386	0.8555
0.2901	8.0	3072	0.5319	{'precision': 1.0, 'recall': 0.375, 'f1': 0.5454545454545454, 'number': 8}	{'precision': 0.6, 'recall': 0.475, 'f1': 0.5302325581395348, 'number': 120}	{'precision': 0.9087719298245615, 'recall': 0.8633333333333333, 'f1': 0.8854700854700854, 'number': 300}	{'precision': 0.9160554197229014, 'recall': 0.8927720413026211, 'f1': 0.9042638777152051, 'number': 1259}	{'precision': 0.839142091152815, 'recall': 0.830238726790451, 'f1': 0.8346666666666668, 'number': 377}	{'precision': 0.8473091364205256, 'recall': 0.8127250900360145, 'f1': 0.829656862745098, 'number': 833}	{'precision': 1.0, 'recall': 0.8666666666666667, 'f1': 0.9285714285714286, 'number': 15}	{'precision': 0.8909952606635071, 'recall': 0.831858407079646, 'f1': 0.8604118993135011, 'number': 226}	{'precision': 0.6666666666666666, 'recall': 0.7027027027027027, 'f1': 0.6842105263157895, 'number': 37}	{'precision': 0.8028169014084507, 'recall': 0.76, 'f1': 0.7808219178082192, 'number': 75}	{'precision': 0.8369565217391305, 'recall': 0.7162790697674418, 'f1': 0.7719298245614035, 'number': 215}	{'precision': 0.6767676767676768, 'recall': 0.6767676767676768, 'f1': 0.6767676767676768, 'number': 99}	{'precision': 0.8346774193548387, 'recall': 0.8133595284872298, 'f1': 0.8238805970149253, 'number': 509}	{'precision': 0.9476650563607085, 'recall': 0.9138198757763976, 'f1': 0.9304347826086957, 'number': 1288}	{'precision': 0.5934065934065934, 'recall': 0.42857142857142855, 'f1': 0.4976958525345623, 'number': 126}	{'precision': 0.8416289592760181, 'recall': 0.788135593220339, 'f1': 0.8140043763676148, 'number': 236}	{'precision': 0.8510182207931404, 'recall': 0.7791952894995093, 'f1': 0.8135245901639344, 'number': 1019}	{'precision': 0.9557522123893806, 'recall': 0.907563025210084, 'f1': 0.9310344827586208, 'number': 119}	{'precision': 0.9166666666666666, 'recall': 0.4782608695652174, 'f1': 0.6285714285714286, 'number': 23}	{'precision': 0.7692307692307693, 'recall': 0.7299270072992701, 'f1': 0.7490636704119851, 'number': 137}	{'precision': 0.8225108225108225, 'recall': 0.7037037037037037, 'f1': 0.7584830339321358, 'number': 270}	{'precision': 0.9364406779661016, 'recall': 0.9233983286908078, 'f1': 0.9298737727910239, 'number': 718}	{'precision': 0.8740740740740741, 'recall': 0.9076923076923077, 'f1': 0.8905660377358491, 'number': 130}	{'precision': 0.8811188811188811, 'recall': 0.8344370860927153, 'f1': 0.8571428571428572, 'number': 151}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.9431438127090301, 'recall': 0.9337748344370861, 'f1': 0.9384359400998337, 'number': 906}	{'precision': 0.9090909090909091, 'recall': 0.8333333333333334, 'f1': 0.8695652173913043, 'number': 72}	{'precision': 0.8695652173913043, 'recall': 0.7947019867549668, 'f1': 0.8304498269896193, 'number': 151}	{'precision': 0.9263598326359833, 'recall': 0.868916797488226, 'f1': 0.8967193195625759, 'number': 1274}	{'precision': 0.91005291005291, 'recall': 0.8775510204081632, 'f1': 0.8935064935064934, 'number': 196}	{'precision': 0.8918918918918919, 'recall': 0.8148148148148148, 'f1': 0.8516129032258065, 'number': 81}	{'precision': 0.9333333333333333, 'recall': 0.9333333333333333, 'f1': 0.9333333333333333, 'number': 15}	{'precision': 0.7368421052631579, 'recall': 0.56, 'f1': 0.6363636363636364, 'number': 25}	0.8880	0.8426	0.8647	0.8781
0.2901	9.0	3456	0.5499	{'precision': 1.0, 'recall': 0.375, 'f1': 0.5454545454545454, 'number': 8}	{'precision': 0.6190476190476191, 'recall': 0.43333333333333335, 'f1': 0.5098039215686274, 'number': 120}	{'precision': 0.926829268292683, 'recall': 0.8866666666666667, 'f1': 0.9063032367972744, 'number': 300}	{'precision': 0.9370400654129191, 'recall': 0.9102462271644162, 'f1': 0.9234488315874295, 'number': 1259}	{'precision': 0.8524590163934426, 'recall': 0.8275862068965517, 'f1': 0.8398384925975774, 'number': 377}	{'precision': 0.8541147132169576, 'recall': 0.8223289315726291, 'f1': 0.8379204892966362, 'number': 833}	{'precision': 1.0, 'recall': 0.8666666666666667, 'f1': 0.9285714285714286, 'number': 15}	{'precision': 0.8858447488584474, 'recall': 0.8584070796460177, 'f1': 0.8719101123595505, 'number': 226}	{'precision': 0.6666666666666666, 'recall': 0.7027027027027027, 'f1': 0.6842105263157895, 'number': 37}	{'precision': 0.7534246575342466, 'recall': 0.7333333333333333, 'f1': 0.7432432432432433, 'number': 75}	{'precision': 0.8579545454545454, 'recall': 0.7023255813953488, 'f1': 0.7723785166240409, 'number': 215}	{'precision': 0.7422680412371134, 'recall': 0.7272727272727273, 'f1': 0.7346938775510204, 'number': 99}	{'precision': 0.8522267206477733, 'recall': 0.8271119842829077, 'f1': 0.839481555333998, 'number': 509}	{'precision': 0.9408, 'recall': 0.9130434782608695, 'f1': 0.9267139479905436, 'number': 1288}	{'precision': 0.6463414634146342, 'recall': 0.42063492063492064, 'f1': 0.5096153846153847, 'number': 126}	{'precision': 0.8281938325991189, 'recall': 0.7966101694915254, 'f1': 0.8120950323974083, 'number': 236}	{'precision': 0.8547368421052631, 'recall': 0.7968596663395485, 'f1': 0.8247841543930928, 'number': 1019}	{'precision': 0.9491525423728814, 'recall': 0.9411764705882353, 'f1': 0.9451476793248945, 'number': 119}	{'precision': 0.6666666666666666, 'recall': 0.5217391304347826, 'f1': 0.5853658536585366, 'number': 23}	{'precision': 0.7692307692307693, 'recall': 0.7299270072992701, 'f1': 0.7490636704119851, 'number': 137}	{'precision': 0.7808764940239044, 'recall': 0.725925925925926, 'f1': 0.7523992322456814, 'number': 270}	{'precision': 0.9290681502086231, 'recall': 0.9303621169916435, 'f1': 0.9297146833681281, 'number': 718}	{'precision': 0.9097744360902256, 'recall': 0.9307692307692308, 'f1': 0.920152091254753, 'number': 130}	{'precision': 0.8639455782312925, 'recall': 0.8410596026490066, 'f1': 0.8523489932885905, 'number': 151}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.9429530201342282, 'recall': 0.9304635761589404, 'f1': 0.9366666666666668, 'number': 906}	{'precision': 0.9076923076923077, 'recall': 0.8194444444444444, 'f1': 0.8613138686131386, 'number': 72}	{'precision': 0.831081081081081, 'recall': 0.8145695364238411, 'f1': 0.822742474916388, 'number': 151}	{'precision': 0.9354304635761589, 'recall': 0.8869701726844584, 'f1': 0.9105560032232072, 'number': 1274}	{'precision': 0.8877551020408163, 'recall': 0.8877551020408163, 'f1': 0.8877551020408163, 'number': 196}	{'precision': 0.8918918918918919, 'recall': 0.8148148148148148, 'f1': 0.8516129032258065, 'number': 81}	{'precision': 0.8235294117647058, 'recall': 0.9333333333333333, 'f1': 0.8749999999999999, 'number': 15}	{'precision': 0.7083333333333334, 'recall': 0.68, 'f1': 0.6938775510204083, 'number': 25}	0.8917	0.8525	0.8717	0.8826
0.232	10.0	3840	0.5454	{'precision': 1.0, 'recall': 0.375, 'f1': 0.5454545454545454, 'number': 8}	{'precision': 0.611764705882353, 'recall': 0.43333333333333335, 'f1': 0.5073170731707317, 'number': 120}	{'precision': 0.8931034482758621, 'recall': 0.8633333333333333, 'f1': 0.8779661016949152, 'number': 300}	{'precision': 0.93042071197411, 'recall': 0.9134233518665608, 'f1': 0.9218436873747494, 'number': 1259}	{'precision': 0.8575342465753425, 'recall': 0.830238726790451, 'f1': 0.8436657681940701, 'number': 377}	{'precision': 0.8578616352201258, 'recall': 0.8187274909963985, 'f1': 0.8378378378378378, 'number': 833}	{'precision': 1.0, 'recall': 0.8666666666666667, 'f1': 0.9285714285714286, 'number': 15}	{'precision': 0.8986175115207373, 'recall': 0.8628318584070797, 'f1': 0.8803611738148983, 'number': 226}	{'precision': 0.6857142857142857, 'recall': 0.6486486486486487, 'f1': 0.6666666666666667, 'number': 37}	{'precision': 0.7368421052631579, 'recall': 0.7466666666666667, 'f1': 0.7417218543046358, 'number': 75}	{'precision': 0.8216216216216217, 'recall': 0.7069767441860465, 'f1': 0.7599999999999999, 'number': 215}	{'precision': 0.7604166666666666, 'recall': 0.7373737373737373, 'f1': 0.7487179487179487, 'number': 99}	{'precision': 0.8539553752535497, 'recall': 0.8271119842829077, 'f1': 0.8403193612774451, 'number': 509}	{'precision': 0.9518845228548516, 'recall': 0.921583850931677, 'f1': 0.9364891518737672, 'number': 1288}	{'precision': 0.6309523809523809, 'recall': 0.42063492063492064, 'f1': 0.5047619047619047, 'number': 126}	{'precision': 0.8458149779735683, 'recall': 0.8135593220338984, 'f1': 0.8293736501079915, 'number': 236}	{'precision': 0.8539094650205762, 'recall': 0.8145240431795878, 'f1': 0.8337518834756403, 'number': 1019}	{'precision': 0.9572649572649573, 'recall': 0.9411764705882353, 'f1': 0.9491525423728814, 'number': 119}	{'precision': 0.75, 'recall': 0.5217391304347826, 'f1': 0.6153846153846153, 'number': 23}	{'precision': 0.8, 'recall': 0.7299270072992701, 'f1': 0.7633587786259542, 'number': 137}	{'precision': 0.8361344537815126, 'recall': 0.737037037037037, 'f1': 0.7834645669291338, 'number': 270}	{'precision': 0.9343575418994413, 'recall': 0.9317548746518106, 'f1': 0.9330543933054393, 'number': 718}	{'precision': 0.8962962962962963, 'recall': 0.9307692307692308, 'f1': 0.9132075471698113, 'number': 130}	{'precision': 0.8951048951048951, 'recall': 0.847682119205298, 'f1': 0.8707482993197279, 'number': 151}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}	{'precision': 0.9418994413407821, 'recall': 0.9304635761589404, 'f1': 0.9361465852304275, 'number': 906}	{'precision': 0.9, 'recall': 0.875, 'f1': 0.8873239436619719, 'number': 72}	{'precision': 0.8378378378378378, 'recall': 0.8211920529801324, 'f1': 0.8294314381270902, 'number': 151}	{'precision': 0.9332234130255564, 'recall': 0.8885400313971743, 'f1': 0.9103337354242058, 'number': 1274}	{'precision': 0.9, 'recall': 0.8724489795918368, 'f1': 0.8860103626943006, 'number': 196}	{'precision': 0.8831168831168831, 'recall': 0.8395061728395061, 'f1': 0.860759493670886, 'number': 81}	{'precision': 0.8666666666666667, 'recall': 0.8666666666666667, 'f1': 0.8666666666666667, 'number': 15}	{'precision': 0.7083333333333334, 'recall': 0.68, 'f1': 0.6938775510204083, 'number': 25}	0.8943	0.8561	0.8748	0.8863

Framework versions

• Transformers 4.44.2
• Pytorch 2.4.1+cu121
• Datasets 3.0.1
• Tokenizers 0.19.1