yoonshik1205 commited on
Commit
642b52f
ยท
1 Parent(s): 7036416

add maal-v v0.1

Browse files
Files changed (2) hide show
  1. content.py +3 -1
  2. leaderboard_data.csv +2 -1
content.py CHANGED
@@ -14,7 +14,9 @@ about_md = f'''
14
 
15
  # About
16
 
17
- {benchname} ๋ฒค์น˜๋งˆํฌ๋Š” ํ•œ๊ตญ์–ด ์‚ฌ์šฉ ํ™˜๊ฒฝ์—์„œ VLM์˜ ๋‹ค๋ฐฉ๋ฉด ์„ฑ๋Šฅ์„ ์ธก์ •ํ•˜๊ณ  ๋น„๊ตํ•˜๊ธฐ ์œ„ํ•œ ๋ฒค์น˜๋งˆํฌ์ž…๋‹ˆ๋‹ค. ์ด ๋ฒค์น˜๋งˆํฌ๋Š” 10๊ฐœ task์—์„œ์˜ ์ด 275๊ฐœ์˜ ํ•œ๊ตญ์–ด ์งˆ๋ฌธ์ด ์žˆ์œผ๋ฉฐ, ๊ฐ๊ด€์  ์ •๋‹ต์ด ์žˆ์ง€๋งŒ ํ˜•์‹์˜ ์ œํ•œ์€ ์—†๋Š” ์„œ์ˆ ํ˜• ๋ฌธํ•ญ์œผ๋กœ ๊ตฌ์„ฑ๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค.
 
 
18
 
19
  ## News
20
 
 
14
 
15
  # About
16
 
17
+ {benchname} ๋ฒค์น˜๋งˆํฌ๋Š” ํ•œ๊ตญ์–ด ์‚ฌ์šฉ ํ™˜๊ฒฝ์—์„œ VLM์˜ ๋‹ค๋ฐฉ๋ฉด ์„ฑ๋Šฅ์„ ์ธก์ •ํ•˜๊ณ  ๋น„๊ตํ•˜๊ธฐ ์œ„ํ•œ ๋ฒค์น˜๋งˆํฌ์ž…๋‹ˆ๋‹ค.
18
+
19
+ ์ด ๋ฒค์น˜๋งˆํฌ๋Š” 10๊ฐœ task์—์„œ์˜ ์ด 275๊ฐœ์˜ ํ•œ๊ตญ์–ด ์งˆ๋ฌธ์ด ์žˆ์œผ๋ฉฐ, ๊ฐ๊ด€์  ์ •๋‹ต์ด ์žˆ์ง€๋งŒ ํ˜•์‹์˜ ์ œํ•œ์€ ์—†๋Š” ์„œ์ˆ ํ˜• ๋ฌธํ•ญ(Free-form VQA)์œผ๋กœ ๊ตฌ์„ฑ๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค.
20
 
21
  ## News
22
 
leaderboard_data.csv CHANGED
@@ -10,11 +10,12 @@ VARCO-VISION-14B,2024-12-05,15195926048.0,True,NCSOFT/VARCO-VISION-14B,66.690909
10
  gpt-4o-2024-11-20,2024-12-05,,False,,81.96363636363637,78.33333333333333,90.0,85.0,80.0,91.5,85.55555555555556,86.66666666666666,82.33333333333333,74.66666666666667,70.0
11
  gpt-4o-mini-2024-07-18,2024-12-05,,False,,68.2909090909091,71.33333333333334,80.0,35.0,66.33333333333334,100.0,77.77777777777777,63.0,47.66666666666666,61.333333333333336,70.0
12
  Ovis1.6-Gemma2-27B,2024-12-05,28863552566.0,True,AIDC-AI/Ovis1.6-Gemma2-27B,53.92727272727272,86.16666666666667,80.0,0.0,61.333333333333336,5.0,78.0,32.333333333333336,11.333333333333332,46.66666666666667,70.0
 
13
  MiniCPM-V-2_6,2024-12-05,8099175152.0,True,openbmb/MiniCPM-V-2_6,32.69090909090909,56.0,35.0,0.0,33.666666666666664,5.0,59.77777777777778,20.666666666666668,5.333333333333333,16.666666666666668,20.0
14
  gemini-1.5-pro-002,2024-12-05,,False,,77.23636363636363,71.33333333333334,90.0,60.0,69.33333333333334,62.5,83.33333333333334,94.66666666666669,80.0,84.66666666666667,60.0
15
  internlm-xcomposer2d5-7b,2024-12-05,11095734272.0,True,internlm/internlm-xcomposer2d5-7b,41.6,67.83333333333333,35.0,0.0,53.0,5.0,66.0,21.33333333333333,8.666666666666668,35.33333333333333,40.0
16
  Qwen2-VL-7B-Instruct,2024-12-05,8291375616.0,True,Qwen/Qwen2-VL-7B-Instruct,63.52727272727272,73.16666666666666,50.0,40.0,56.0,75.0,74.88888888888889,64.33333333333334,50.0,53.33333333333333,60.0
17
- Pixtral-12B-2409,2024-12-05,12682739712.0,False,,44.61818181818182,61.66666666666667,65.0,10.0,45.66666666666666,10.0,65.11111111111111,17.666666666666664,23.666666666666668,56.0,40.0
18
  gpt-4-turbo-2024-04-09,2024-12-05,,False,,65.19999999999999,76.66666666666667,90.0,60.0,76.33333333333334,30.0,80.0,47.333333333333336,39.33333333333333,64.66666666666667,80.0
19
  Llama-3.2-11B-Vision-Instruct,2024-12-05,10670220835.0,True,meta-llama/Llama-3.2-11B-Vision-Instruct,50.36363636363636,55.5,80.0,25.0,62.0,62.5,58.66666666666666,36.0,24.666666666666668,46.66666666666667,50.0
20
  claude-3-haiku-20240307,2024-12-05,,False,,50.47272727272727,59.833333333333336,70.0,0.0,57.333333333333336,50.0,73.55555555555556,26.666666666666664,25.33333333333333,46.66666666666667,60.0
 
10
  gpt-4o-2024-11-20,2024-12-05,,False,,81.96363636363637,78.33333333333333,90.0,85.0,80.0,91.5,85.55555555555556,86.66666666666666,82.33333333333333,74.66666666666667,70.0
11
  gpt-4o-mini-2024-07-18,2024-12-05,,False,,68.2909090909091,71.33333333333334,80.0,35.0,66.33333333333334,100.0,77.77777777777777,63.0,47.66666666666666,61.333333333333336,70.0
12
  Ovis1.6-Gemma2-27B,2024-12-05,28863552566.0,True,AIDC-AI/Ovis1.6-Gemma2-27B,53.92727272727272,86.16666666666667,80.0,0.0,61.333333333333336,5.0,78.0,32.333333333333336,11.333333333333332,46.66666666666667,70.0
13
+ Llama-3.2-MAAL-11B-Vision-v0.1,2024-12-05,11142080035.0,True,maum-ai/Llama-3.2-MAAL-11B-Vision-v0.1,61.127272727272725,78.0,65.0,5.0,51.66666666666667,63.0,77.33333333333333,53.0,45.0,50.0,70.0
14
  MiniCPM-V-2_6,2024-12-05,8099175152.0,True,openbmb/MiniCPM-V-2_6,32.69090909090909,56.0,35.0,0.0,33.666666666666664,5.0,59.77777777777778,20.666666666666668,5.333333333333333,16.666666666666668,20.0
15
  gemini-1.5-pro-002,2024-12-05,,False,,77.23636363636363,71.33333333333334,90.0,60.0,69.33333333333334,62.5,83.33333333333334,94.66666666666669,80.0,84.66666666666667,60.0
16
  internlm-xcomposer2d5-7b,2024-12-05,11095734272.0,True,internlm/internlm-xcomposer2d5-7b,41.6,67.83333333333333,35.0,0.0,53.0,5.0,66.0,21.33333333333333,8.666666666666668,35.33333333333333,40.0
17
  Qwen2-VL-7B-Instruct,2024-12-05,8291375616.0,True,Qwen/Qwen2-VL-7B-Instruct,63.52727272727272,73.16666666666666,50.0,40.0,56.0,75.0,74.88888888888889,64.33333333333334,50.0,53.33333333333333,60.0
18
+ Pixtral-12B-2409,2024-12-05,12682739712.0,True,mistralai/Pixtral-12B-2409,44.61818181818182,61.66666666666667,65.0,10.0,45.66666666666666,10.0,65.11111111111111,17.666666666666664,23.666666666666668,56.0,40.0
19
  gpt-4-turbo-2024-04-09,2024-12-05,,False,,65.19999999999999,76.66666666666667,90.0,60.0,76.33333333333334,30.0,80.0,47.333333333333336,39.33333333333333,64.66666666666667,80.0
20
  Llama-3.2-11B-Vision-Instruct,2024-12-05,10670220835.0,True,meta-llama/Llama-3.2-11B-Vision-Instruct,50.36363636363636,55.5,80.0,25.0,62.0,62.5,58.66666666666666,36.0,24.666666666666668,46.66666666666667,50.0
21
  claude-3-haiku-20240307,2024-12-05,,False,,50.47272727272727,59.833333333333336,70.0,0.0,57.333333333333336,50.0,73.55555555555556,26.666666666666664,25.33333333333333,46.66666666666667,60.0