dragonkue commited on
Commit
35e3754
·
verified ·
1 Parent(s): 10262c4

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +7 -3
README.md CHANGED
@@ -239,7 +239,7 @@ model = SentenceTransformer("dragonkue/bge-m3-ko")
239
  sentences = [
240
  '수급권자 중 근로 능력이 없는 임산부는 몇 종에 해당하니?',
241
  '내년부터 저소득층 1세 미만 아동의 \n의료비 부담이 더 낮아진다!\n의료급여제도 개요\n□ (목적) 생활유지 능력이 없거나 생활이 어려운 국민들에게 발생하는 질병, 부상, 출산 등에 대해 국가가 의료서비스 제공\n□ (지원대상) 국민기초생활보장 수급권자, 타 법에 의한 수급권자 등\n\n| 구분 | 국민기초생활보장법에 의한 수급권자 | 국민기초생활보장법 이외의 타 법에 의한 수급권자 |\n| --- | --- | --- |\n| 1종 | ○ 국민기초생활보장 수급권자 중 근로능력이 없는 자만으로 구성된 가구 - 18세 미만, 65세 이상 - 4급 이내 장애인 - 임산부, 병역의무이행자 등 | ○ 이재민(재해구호법) ○ 의상자 및 의사자의 유족○ 국내 입양된 18세 미만 아동○ 국가유공자 및 그 유족․가족○ 국가무형문화재 보유자 및 그 가족○ 새터민(북한이탈주민)과 그 가족○ 5․18 민주화운동 관련자 및 그 유가족○ 노숙인 ※ 행려환자 (의료급여법 시행령) |\n| 2종 | ○ 국민기초생활보장 수급권자 중 근로능력이 있는 가구 | - |\n',
242
- '문재인 대통령의 국정수행 지지율과 더불어민주당의 지지율이 2주 연속 상승했다는 여론조사 결과가 나왔다. 한미정상회담의 효과로 풀이된다. \n한국갤럽은 25~27일 전국 만 18세 이상 1,003명에게 문 대통령의 직무수행 평가를 조사한 결과(표본오차 95% 신뢰수준에 ±3.1%포인트), 37%가 긍정 평가했다고 28일 밝혔다. \n긍정 평가는 지난주보다 3%포인트 올랐다. 부정 평가는 52%로 지난주보다 6%포인트 떨어졌다. 최근 60%대를 넘나들던 부정 평가가 50%대 초반으로 하락했다. 10%는 의견을 유보했다. \n지역별로 보면 서울과 인천·경기의 긍정 평가가 각각 37%란 점이 눈에 띈다. 부산·울산·경남도 33%로, 대구·경북(25%)과 달리 30%대로 나타났다. 연령별로는 40대가 49%로 가장 높았고, 18~29세는 31%로 집계됐다. 정치적 이념·성향이 중도라고 응답자의 34%는 긍정 평가했다. \n◇긍정 평가 이유 ‘외교·국제 관계’ 26%P 상승 \n문 대통령의 지지율 상승은 한미정상회담 성과가 영향을 미친 것으로 보인다. 긍정 평가 이유로는 ‘외교·국제 관계’가 가장 높았다. 30%로 지난주보다 26%포인트나 올랐다. 15개월간 ‘신종 코로나바이러스 감염증(코로나19) 대처’가 1위였는데, 한미정상회담 이후 외교·국제 관계로 순위가 바뀌었다. \n다음으로 ‘코로나19 대처’ 22%, ‘최선을 다함·열심히 한다’ 6%, ‘북한 관계’ 4%, ‘전반적으로 잘한다’ 4% 순이었다. \n부정 평가 이유로는 ‘부동산 정책’이 29%로 가장 높았다. 다음으로 ‘경제·민생 문제 해결 부족’ 10%, ‘코로나19 대처 미흡’ 5%, ‘공정하지 못함·내로남불’ 5%, ‘인사 문제’ 4% 순이었다. \n민주당 지지율 역시 문 대통령 지지율과 마찬가지로 2주 연속 상승했다. 정당 지지도 조사에서 민주당은 34%로 지난주보다 2%포인트 올랐다. \n국민의힘은 27%로 지난주보다 1%포인트 올랐다. 민주당과 국민의힘의 지지율 격차는 7%포인트로, 오차범위 밖을 벗어났다. 다음으로 정의당 5%, 열린민주당 3%, 국민의당 3% 순이었다. 무당층은 27%로 조사됐다. \n※자세한 내용은 한국갤럽 또는 중앙선거여론조사심의위원회 홈페이지를 참조하면 된다.',
243
  ]
244
  embeddings = model.encode(sentences)
245
  print(embeddings.shape)
@@ -307,6 +307,7 @@ This is a benchmark of Korean embedding models.
307
  | kf-deberta-multitask | 0.4561 | 0.4561 | 0.4561 | 0.4561 | 0.4561 | 0.4561 |
308
  | gte-multilingual-base | 0.5877 | 0.5877 | 0.5877 | 0.5877 | 0.5877 | 0.5877 |
309
  | BGE-m3 | 0.6578 | 0.6578 | 0.6578 | 0.6578 | 0.6578 | 0.6578 |
 
310
  | **BGE-m3-ko** | **0.7456** | **0.7456** | **0.7456** | **0.7456** | **0.7456** | **0.7456** |
311
 
312
  - Top-k 3
@@ -328,6 +329,7 @@ This is a benchmark of Korean embedding models.
328
  | kf-deberta-multitask | 0.3158 | 0.6316 | 0.2105 | 0.2792 | 0.2792 | 0.3679 |
329
  | gte-multilingual-base | 0.4035 | 0.8070 | 0.2690 | 0.3450 | 0.3450 | 0.4614 |
330
  | BGE-m3 | 0.4254 | 0.8508 | 0.2836 | 0.3421 | 0.3421 | 0.4701 |
 
331
  | **BGE-m3-ko** | **0.4517** | **0.9035** | **0.3011** | 0.3494 | 0.3494 | **0.4886** |
332
 
333
  - Top-k 5
@@ -348,7 +350,8 @@ This is a benchmark of Korean embedding models.
348
  | KU-HIAI-ONTHEIT-large-v1.1 | **0.3099** | **0.9298** | **0.1860** | 0.2148 | 0.2148 | **0.3834** |
349
  | kf-deberta-multitask | 0.2281 | 0.6842 | 0.1368 | 0.1724 | 0.1724 | 0.2939 |
350
  | gte-multilingual-base | 0.2865 | 0.8596 | 0.1719 | 0.2096 | 0.2096 | 0.3637 |
351
- | BGE-m3 | 0.4254 | 0.8508 | 0.2836 | 0.3421 | 0.3421 | 0.4701 |
 
352
  | **BGE-m3-ko** | **0.3099** | **0.9298** | **0.1860** | 0.2098 | 0.2098 | 0.3793 |
353
 
354
  - Top-k 10
@@ -369,7 +372,8 @@ This is a benchmark of Korean embedding models.
369
  | KU-HIAI-ONTHEIT-large-v1.1 | 0.1722 | 0.9474 | 0.0947 | 0.1033 | 0.1033 | 0.2822 |
370
  | kf-deberta-multitask | 0.1388 | 0.7632 | 0.0763 | 0.1 | 0.1 | 0.2422 |
371
  | gte-multilingual-base | 0.1675 | 0.9211 | 0.0921 | 0.1066 | 0.1066 | 0.2805 |
372
- | BGE-m3 | 0.4254 | 0.8508 | 0.2836 | 0.3421 | 0.3421 | 0.4701 |
 
373
  | **BGE-m3-ko** | **0.1770** | **0.9736** | **0.0974** | 0.1097 | 0.1097 | **0.2932** |
374
 
375
 
 
239
  sentences = [
240
  '수급권자 중 근로 능력이 없는 임산부는 몇 종에 해당하니?',
241
  '내년부터 저소득층 1세 미만 아동의 \n의료비 부담이 더 낮아진다!\n의료급여제도 개요\n□ (목적) 생활유지 능력이 없거나 생활이 어려운 국민들에게 발생하는 질병, 부상, 출산 등에 대해 국가가 의료서비스 제공\n□ (지원대상) 국민기초생활보장 수급권자, 타 법에 의한 수급권자 등\n\n| 구분 | 국민기초생활보장법에 의한 수급권자 | 국민기초생활보장법 이외의 타 법에 의한 수급권자 |\n| --- | --- | --- |\n| 1종 | ○ 국민기초생활보장 수급권자 중 근로능력이 없는 자만으로 구성된 가구 - 18세 미만, 65세 이상 - 4급 이내 장애인 - 임산부, 병역의무이행자 등 | ○ 이재민(재해구호법) ○ 의상자 및 의사자의 유족○ 국내 입양된 18세 미만 아동○ 국가유공자 및 그 유족․가족○ 국가무형문화재 보유자 및 그 가족○ 새터민(북한이탈주민)과 그 가족○ 5․18 민주화운동 관련자 및 그 유가족○ 노숙인 ※ 행려환자 (의료급여법 시행령) |\n| 2종 | ○ 국민기초생활보장 수급권자 중 근로능력이 있는 가구 | - |\n',
242
+ '이어 이날 오후 130분부터 열릴 예정이던 스노보드 여자 슬로프스타일 예선 경기는 연기를 거듭하다 취소됐다. 조직위는 예선 없이 다음 결선에서 참가자 27명이 한번에 경기해 순위를 가리기로 했다.',
243
  ]
244
  embeddings = model.encode(sentences)
245
  print(embeddings.shape)
 
307
  | kf-deberta-multitask | 0.4561 | 0.4561 | 0.4561 | 0.4561 | 0.4561 | 0.4561 |
308
  | gte-multilingual-base | 0.5877 | 0.5877 | 0.5877 | 0.5877 | 0.5877 | 0.5877 |
309
  | BGE-m3 | 0.6578 | 0.6578 | 0.6578 | 0.6578 | 0.6578 | 0.6578 |
310
+ | bge-m3-korean | 0.5351 | 0.5351 | 0.5351 | 0.5351 | 0.5351 | 0.5351 |
311
  | **BGE-m3-ko** | **0.7456** | **0.7456** | **0.7456** | **0.7456** | **0.7456** | **0.7456** |
312
 
313
  - Top-k 3
 
329
  | kf-deberta-multitask | 0.3158 | 0.6316 | 0.2105 | 0.2792 | 0.2792 | 0.3679 |
330
  | gte-multilingual-base | 0.4035 | 0.8070 | 0.2690 | 0.3450 | 0.3450 | 0.4614 |
331
  | BGE-m3 | 0.4254 | 0.8508 | 0.2836 | 0.3421 | 0.3421 | 0.4701 |
332
+ | bge-m3-korean | 0.3684 | 0.7368 | 0.2456 | 0.3143 | 0.3143 | 0.4207 |
333
  | **BGE-m3-ko** | **0.4517** | **0.9035** | **0.3011** | 0.3494 | 0.3494 | **0.4886** |
334
 
335
  - Top-k 5
 
350
  | KU-HIAI-ONTHEIT-large-v1.1 | **0.3099** | **0.9298** | **0.1860** | 0.2148 | 0.2148 | **0.3834** |
351
  | kf-deberta-multitask | 0.2281 | 0.6842 | 0.1368 | 0.1724 | 0.1724 | 0.2939 |
352
  | gte-multilingual-base | 0.2865 | 0.8596 | 0.1719 | 0.2096 | 0.2096 | 0.3637 |
353
+ | BGE-m3 | 0.3041 | 0.9123 | 0.1825 | 0.2193 | 0.2193 | 0.3832 |
354
+ | bge-m3-korean | 0.2661 | 0.7982 | 0.1596 | 0.2116 | 0.2116 | 0.3504 |
355
  | **BGE-m3-ko** | **0.3099** | **0.9298** | **0.1860** | 0.2098 | 0.2098 | 0.3793 |
356
 
357
  - Top-k 10
 
372
  | KU-HIAI-ONTHEIT-large-v1.1 | 0.1722 | 0.9474 | 0.0947 | 0.1033 | 0.1033 | 0.2822 |
373
  | kf-deberta-multitask | 0.1388 | 0.7632 | 0.0763 | 0.1 | 0.1 | 0.2422 |
374
  | gte-multilingual-base | 0.1675 | 0.9211 | 0.0921 | 0.1066 | 0.1066 | 0.2805 |
375
+ | BGE-m3 | 0.1707 | 0.9386 | 0.0939 | 0.1130 | 0.1130 | 0.2884 |
376
+ | bge-m3-korean | 0.1579 | 0.8684 | 0.0868 | 0.1093 | 0.1093 | 0.2721 |
377
  | **BGE-m3-ko** | **0.1770** | **0.9736** | **0.0974** | 0.1097 | 0.1097 | **0.2932** |
378
 
379