yoonshik1205 commited on
Commit
c84c2df
·
1 Parent(s): 4989f2a

add gemma 3

Browse files
Files changed (1) hide show
  1. leaderboard_data.csv +3 -0
leaderboard_data.csv CHANGED
@@ -30,6 +30,7 @@ Idefics3-8B-Llama3,2024-12-11,8462086384.0,True,HuggingFaceM4/Idefics3-8B-Llama3
30
  MAmmoTH-VL-8B,2024-12-16,8027488800.0,True,MAmmoTH-VL/MAmmoTH-VL-8B,25.96363636363636,36.333333333333336,60.0,0.0,17.333333333333336,5.0,33.11111111111111,24.33333333333333,5.333333333333333,42.0,10.0
31
  internlm-xcomposer2d5-7b,2024-12-05,11095734272.0,True,internlm/internlm-xcomposer2d5-7b,8.327272727272728,14.0,20.0,0.0,3.333333333333333,5.0,10.888888888888888,6.666666666666666,0.0,5.333333333333333,20.0
32
  Qwen2.5-VL-72B-Instruct,2025-02-05,73410777344.0,True,Qwen/Qwen2.5-VL-72B-Instruct,80.10909090909092,81.83333333333334,90.0,45.0,63.66666666666666,95.0,85.33333333333333,83.33333333333334,84.0,76.66666666666667,80.0
 
33
  gemini-2.0-flash-lite-preview-02-05,2025-02-12,,False,,65.23636363636363,59.833333333333336,75.0,60.0,43.66666666666666,68.0,72.66666666666667,80.33333333333333,71.66666666666667,63.33333333333333,60.0
34
  claude-3-sonnet-20240229,2024-12-13,,False,,31.854545454545452,28.5,20.0,0.0,32.0,27.5,30.22222222222222,38.0,49.333333333333336,42.0,10.0
35
  InternVL2_5-26B,2024-12-16,25514186112.0,True,OpenGVLab/InternVL2_5-26B,44.94545454545454,57.5,25.0,10.0,34.0,55.0,60.66666666666666,32.0,39.66666666666667,40.0,36.0
@@ -39,9 +40,11 @@ Qwen2-VL-2B-Instruct,2024-12-11,2208985600.0,True,Qwen/Qwen2-VL-2B-Instruct,43.7
39
  Qwen2-VL-7B-Instruct,2024-12-05,8291375616.0,True,Qwen/Qwen2-VL-7B-Instruct,63.16363636363637,73.16666666666666,50.0,40.0,56.0,70.0,74.88888888888889,64.33333333333334,50.0,53.33333333333333,60.0
40
  InternVL2_5-8B,2024-12-09,8075365376.0,True,OpenGVLab/InternVL2_5-8B,44.18181818181818,56.333333333333336,25.0,5.0,40.66666666666666,30.0,57.333333333333336,44.0,21.33333333333333,56.66666666666667,41.0
41
  SmolVLM-Instruct,2024-12-11,2246272880.0,True,HuggingFaceTB/SmolVLM-Instruct,21.30909090909091,14.0,0.0,5.0,36.333333333333336,5.0,31.33333333333333,21.0,8.666666666666668,36.66666666666666,38.0
 
42
  llava-onevision-qwen2-72b-ov-sft,2024-12-09,73173689888.0,True,lmms-lab/llava-onevision-qwen2-72b-ov-sft,54.14545454545454,77.83333333333333,65.0,5.0,71.0,5.0,79.33333333333334,23.0,18.33333333333333,54.0,86.0
43
  Pixtral-12B-2409,2024-12-05,12682739712.0,True,mistralai/Pixtral-12B-2409,44.61818181818182,61.66666666666667,65.0,10.0,45.66666666666666,10.0,65.11111111111111,17.666666666666664,23.666666666666668,56.0,40.0
44
  Ovis2-34B,2025-02-12,34872912886.0,True,AIDC-AI/Ovis2-34B,64.32727272727273,81.0,80.0,35.0,77.0,45.0,80.88888888888889,37.66666666666666,40.0,60.0,70.0
 
45
  gpt-4-turbo-2024-04-09,2024-12-05,,False,,65.19999999999999,76.66666666666667,90.0,60.0,76.33333333333334,30.0,80.0,47.333333333333336,39.33333333333333,64.66666666666667,80.0
46
  Llama-3.2-11B-Vision-Instruct,2024-12-05,10670220835.0,True,meta-llama/Llama-3.2-11B-Vision-Instruct,50.36363636363636,55.5,80.0,25.0,62.0,62.5,58.66666666666666,36.0,24.666666666666668,46.66666666666667,50.0
47
  claude-3-haiku-20240307,2024-12-05,,False,,50.47272727272727,59.833333333333336,70.0,0.0,57.333333333333336,50.0,73.55555555555556,26.666666666666664,25.33333333333333,46.66666666666667,60.0
 
30
  MAmmoTH-VL-8B,2024-12-16,8027488800.0,True,MAmmoTH-VL/MAmmoTH-VL-8B,25.96363636363636,36.333333333333336,60.0,0.0,17.333333333333336,5.0,33.11111111111111,24.33333333333333,5.333333333333333,42.0,10.0
31
  internlm-xcomposer2d5-7b,2024-12-05,11095734272.0,True,internlm/internlm-xcomposer2d5-7b,8.327272727272728,14.0,20.0,0.0,3.333333333333333,5.0,10.888888888888888,6.666666666666666,0.0,5.333333333333333,20.0
32
  Qwen2.5-VL-72B-Instruct,2025-02-05,73410777344.0,True,Qwen/Qwen2.5-VL-72B-Instruct,80.10909090909092,81.83333333333334,90.0,45.0,63.66666666666666,95.0,85.33333333333333,83.33333333333334,84.0,76.66666666666667,80.0
33
+ gemma-3-12b-it,2025-03-13,12187325040.0,True,google/gemma-3-12b-it,65.92727272727272,67.66666666666667,85.0,10.0,64.66666666666667,67.5,84.44444444444444,57.333333333333336,52.333333333333336,71.33333333333334,60.0
34
  gemini-2.0-flash-lite-preview-02-05,2025-02-12,,False,,65.23636363636363,59.833333333333336,75.0,60.0,43.66666666666666,68.0,72.66666666666667,80.33333333333333,71.66666666666667,63.33333333333333,60.0
35
  claude-3-sonnet-20240229,2024-12-13,,False,,31.854545454545452,28.5,20.0,0.0,32.0,27.5,30.22222222222222,38.0,49.333333333333336,42.0,10.0
36
  InternVL2_5-26B,2024-12-16,25514186112.0,True,OpenGVLab/InternVL2_5-26B,44.94545454545454,57.5,25.0,10.0,34.0,55.0,60.66666666666666,32.0,39.66666666666667,40.0,36.0
 
40
  Qwen2-VL-7B-Instruct,2024-12-05,8291375616.0,True,Qwen/Qwen2-VL-7B-Instruct,63.16363636363637,73.16666666666666,50.0,40.0,56.0,70.0,74.88888888888889,64.33333333333334,50.0,53.33333333333333,60.0
41
  InternVL2_5-8B,2024-12-09,8075365376.0,True,OpenGVLab/InternVL2_5-8B,44.18181818181818,56.333333333333336,25.0,5.0,40.66666666666666,30.0,57.333333333333336,44.0,21.33333333333333,56.66666666666667,41.0
42
  SmolVLM-Instruct,2024-12-11,2246272880.0,True,HuggingFaceTB/SmolVLM-Instruct,21.30909090909091,14.0,0.0,5.0,36.333333333333336,5.0,31.33333333333333,21.0,8.666666666666668,36.66666666666666,38.0
43
+ gemma-3-27b-it,2025-03-13,27432406640.0,True,google/gemma-3-27b-it,67.56363636363636,66.33333333333334,90.0,40.0,68.0,85.0,83.77777777777779,47.333333333333336,55.66666666666666,73.33333333333333,50.0
44
  llava-onevision-qwen2-72b-ov-sft,2024-12-09,73173689888.0,True,lmms-lab/llava-onevision-qwen2-72b-ov-sft,54.14545454545454,77.83333333333333,65.0,5.0,71.0,5.0,79.33333333333334,23.0,18.33333333333333,54.0,86.0
45
  Pixtral-12B-2409,2024-12-05,12682739712.0,True,mistralai/Pixtral-12B-2409,44.61818181818182,61.66666666666667,65.0,10.0,45.66666666666666,10.0,65.11111111111111,17.666666666666664,23.666666666666668,56.0,40.0
46
  Ovis2-34B,2025-02-12,34872912886.0,True,AIDC-AI/Ovis2-34B,64.32727272727273,81.0,80.0,35.0,77.0,45.0,80.88888888888889,37.66666666666666,40.0,60.0,70.0
47
+ gemma-3-4b-it,2025-03-13,4300079472.0,True,google/gemma-3-4b-it,49.2,68.83333333333334,75.0,5.0,45.66666666666666,30.0,78.44444444444444,23.0,18.0,48.66666666666666,41.0
48
  gpt-4-turbo-2024-04-09,2024-12-05,,False,,65.19999999999999,76.66666666666667,90.0,60.0,76.33333333333334,30.0,80.0,47.333333333333336,39.33333333333333,64.66666666666667,80.0
49
  Llama-3.2-11B-Vision-Instruct,2024-12-05,10670220835.0,True,meta-llama/Llama-3.2-11B-Vision-Instruct,50.36363636363636,55.5,80.0,25.0,62.0,62.5,58.66666666666666,36.0,24.666666666666668,46.66666666666667,50.0
50
  claude-3-haiku-20240307,2024-12-05,,False,,50.47272727272727,59.833333333333336,70.0,0.0,57.333333333333336,50.0,73.55555555555556,26.666666666666664,25.33333333333333,46.66666666666667,60.0