Update README.md
Browse files
README.md
CHANGED
@@ -9,11 +9,12 @@ tags:
|
|
9 |
|
10 |
์ด ๋ชจ๋ธ์ KM-BERT์ ๋ชจ๋ธ์ ๋ค์ด ๋ฐ์, ์์๋ก ํ๊น
ํ์ด์ค ๋ชจ๋ธ์ ํํ๋ก ์ฌ์ฉํ๊ธฐ ์ข๊ฒ ๋ณํํ ๋ชจ๋ธ ์
๋๋ค.
|
11 |
<br>
|
12 |
-
|
13 |
-
<br>
|
14 |
-
<br>
|
15 |
๋ชจ๋ธ์ ๊ทธ๋๋ก์ด๋, ํ ํฌ๋์ด์ ๋ฅผ ํ๊น
ํ์ด์ค์ ๋ง๊ฒ ์กฐ์ ํ๋ ๊ณผ์ ์์ ์ค๋ฅ๊ฐ ์์ ์๋ ์์์ ์๋ฆฝ๋๋ค.
|
|
|
|
|
16 |
KM-BERT๋ฅผ ์ฌ์ฉํด๋ณผ ์ ์๊ฒ ๊ณต์ ํด์ฃผ์ ์ ์๋ถ๊ป ๊ฐ์ฌ๋๋ฆฝ๋๋ค.
|
|
|
17 |
|
18 |
|
19 |
## Model Details
|
@@ -23,36 +24,36 @@ bing ํ์ฉ ์์ฝ:
|
|
23 |
|
24 |
์ด ๋ฌธ์๋ ๋ค์๊ณผ ๊ฐ์ ๋ด์ฉ์ ๋ค๋ฃน๋๋ค:
|
25 |
|
26 |
-
ํ๊ตญ์ด ์๋ฃ ์์ฐ์ด ์ฒ๋ฆฌ๋ฅผ ์ํ ์ฌ์ ํ๋ จ๋ BERT ๋ชจ๋ธ.
|
27 |
-
์ด ๋ชจ๋ธ์ ์๋ฃ ๋ถ์ผ์์ ์ฌ์ฉ๋๋ ํ๊ตญ์ด ํ
์คํธ๋ฅผ ๋ถ์ํ๊ธฐ ์ํด KR-BERT ๋ชจ๋ธ์ ๊ธฐ๋ฐ์ผ๋ก ํ๊ตญ์ด ์๋ฃ ์ฝํผ์ค๋ก ์ฌ์ ํ๋ จํ KM-BERT๋ผ๊ณ ํฉ๋๋ค.
|
28 |
-
์ด ๋ชจ๋ธ์ ์๋ฃ ๊ต๊ณผ์, ๊ฑด๊ฐ ์ ๋ณด ๋ด์ค, ์๋ฃ ์ฐ๊ตฌ ๋
ผ๋ฌธ ๋ฑ ์ธ ๊ฐ์ง ์ ํ์ ๋ฌธ์๋ก ๊ตฌ์ฑ๋ ์ฝ 1์ต 1์ฒ 6๋ฐฑ๋ง ๋จ์ด์ ํ๊ตญ์ด ์๋ฃ ์ฝํผ์ค๋ฅผ ์ฌ์ฉํ์ต๋๋ค.
|
29 |
|
30 |
-
๋ด๋ถ ํ๊ฐ์ ์ธ๋ถ ํ๊ฐ.
|
31 |
-
์ด ๋ชจ๋ธ์ MLM๊ณผ NSP๋ผ๋ ๋ ๊ฐ์ง ๋น์ง๋ ์ฌ์ ํ๋ จ ๊ณผ์ ๋ฅผ ์ํํ๊ณ , ์๋ก์ด ํ๊ตญ์ด ์๋ฃ ์ฝํผ์ค์ MedSTS ๋ฐ์ดํฐ์
์ ์ด์ฉํ์ฌ ์ธ์ด ์ดํด ๋ฅ๋ ฅ์ ๋ด๋ถ ํ๊ฐํ์ต๋๋ค.
|
32 |
-
๋ํ, ํ๊ตญ์ด ์๋ฃ ์๋ฏธ๋ก ์ ํ
์คํธ ์ ์ฌ๋(MedSTS) ๋ฐ์ดํฐ์
๊ณผ ํ๊ตญ์ด ์๋ฃ ๊ฐ์ฒด ์ธ์(NER) ๋ฐ์ดํฐ์
์ ์ด์ฉํ์ฌ ํ๋ฅ ๊ณผ์ ์ ๋ํ ์ฑ๋ฅ์ ์ธ๋ถ ํ๊ฐํ์ต๋๋ค.
|
33 |
-
๊ฒฐ๊ณผ์ ์ผ๋ก, KM-BERT๋ ๊ธฐ์กด์ ์ธ์ด ๋ชจ๋ธ๋ค๋ณด๋ค ์ฐ์ํ ์ฑ๋ฅ์ ๋ณด์์ต๋๋ค.
|
34 |
|
35 |
-
์ธ์ด๋ณ ๋ฐ ๋ถ์ผ๋ณ ๊ด์ .
|
36 |
-
M-BERT๋ ๋ค์ํ ์ธ์ด์ ๋ํ NLP ๊ณผ์ ์ ๋์ ์ ์ด์ฑ์ ๋ณด์ด์ง๋ง, ์ธ์ด๋ณ BERT ๋ชจ๋ธ๋ค์ด M-BERT๋ณด๋ค ๋ ๋์ ์ฑ๋ฅ์ ๋ณด์ธ๋ค๋ ๊ฒ์ด
|
37 |
-
1. ํ๊ตญ์ด๋ ์์ด์ ๊ฐ์ ์ธ๋์ ๋ฝ์ด์๋ ๋ค๋ฅธ ๋จ์ด ์์๋ฅผ ๊ฐ์ง๊ณ ์๊ธฐ ๋๋ฌธ์, ํ๊ตญ์ด์ ํนํ๋ BERT ๋ชจ๋ธ์ด ํ์ํฉ๋๋ค.
|
38 |
-
2. ๋ํ, SciBERT๋ LEGAL-BERT์ ๊ฐ์ ๋ถ์ผ๋ณ BERT ์๋ฒ ๋ฉ์ด BERT๋ณด๋ค ์ ๋ฌธ ์ฉ์ด์ ์ฉ๋ฒ์ ๋ํ ์ดํด๋ ฅ์ ํฅ์์ํจ๋ค๋ ๊ฒ์ด ๋ฐํ์ก์ต๋๋ค.
|
39 |
-
3. ์ด๋ฌํ ์ฐ๊ตฌ ๊ฒฐ๊ณผ๋ค์ ํ๊ตญ์ด ์๋ฃ ๋ถ์ผ์ ์ ํฉํ BERT ๋ชจ๋ธ ๊ฐ๋ฐ์ ํ์์ฑ๊ณผ ํจ๊ณผ์ฑ์ ๋ณด์ฌ์ค๋๋ค.
|
40 |
|
41 |
|
42 |
### Model Sources [optional]
|
43 |
|
44 |
|
45 |
-
- **Repository:** https://github.com/KU-RIAS/KM-BERT-Korean-Medical-BERT
|
46 |
-
- **Paper:** https://www.nature.com/articles/s41598-022-17806-8
|
47 |
|
48 |
|
49 |
## Citation [optional]
|
50 |
|
51 |
|
52 |
-
@article{KMBERT,
|
53 |
-
title={KM-BERT: A Pre-trained BERT for Korean Medical Natural Language Processing},
|
54 |
-
author={TBD},
|
55 |
-
year={TBD},
|
56 |
-
journal={TBD},
|
57 |
-
volume={TBD}
|
58 |
}
|
|
|
9 |
|
10 |
์ด ๋ชจ๋ธ์ KM-BERT์ ๋ชจ๋ธ์ ๋ค์ด ๋ฐ์, ์์๋ก ํ๊น
ํ์ด์ค ๋ชจ๋ธ์ ํํ๋ก ์ฌ์ฉํ๊ธฐ ์ข๊ฒ ๋ณํํ ๋ชจ๋ธ ์
๋๋ค.
|
11 |
<br>
|
12 |
+
|
|
|
|
|
13 |
๋ชจ๋ธ์ ๊ทธ๋๋ก์ด๋, ํ ํฌ๋์ด์ ๋ฅผ ํ๊น
ํ์ด์ค์ ๋ง๊ฒ ์กฐ์ ํ๋ ๊ณผ์ ์์ ์ค๋ฅ๊ฐ ์์ ์๋ ์์์ ์๋ฆฝ๋๋ค.
|
14 |
+
<br>
|
15 |
+
|
16 |
KM-BERT๋ฅผ ์ฌ์ฉํด๋ณผ ์ ์๊ฒ ๊ณต์ ํด์ฃผ์ ์ ์๋ถ๊ป ๊ฐ์ฌ๋๋ฆฝ๋๋ค.
|
17 |
+
<br>
|
18 |
|
19 |
|
20 |
## Model Details
|
|
|
24 |
|
25 |
์ด ๋ฌธ์๋ ๋ค์๊ณผ ๊ฐ์ ๋ด์ฉ์ ๋ค๋ฃน๋๋ค:
|
26 |
|
27 |
+
ํ๊ตญ์ด ์๋ฃ ์์ฐ์ด ์ฒ๋ฆฌ๋ฅผ ์ํ ์ฌ์ ํ๋ จ๋ BERT ๋ชจ๋ธ. <br>
|
28 |
+
์ด ๋ชจ๋ธ์ ์๋ฃ ๋ถ์ผ์์ ์ฌ์ฉ๋๋ ํ๊ตญ์ด ํ
์คํธ๋ฅผ ๋ถ์ํ๊ธฐ ์ํด KR-BERT ๋ชจ๋ธ์ ๊ธฐ๋ฐ์ผ๋ก ํ๊ตญ์ด ์๋ฃ ์ฝํผ์ค๋ก ์ฌ์ ํ๋ จํ KM-BERT๋ผ๊ณ ํฉ๋๋ค. <br>
|
29 |
+
์ด ๋ชจ๋ธ์ ์๋ฃ ๊ต๊ณผ์, ๊ฑด๊ฐ ์ ๋ณด ๋ด์ค, ์๋ฃ ์ฐ๊ตฌ ๋
ผ๋ฌธ ๋ฑ ์ธ ๊ฐ์ง ์ ํ์ ๋ฌธ์๋ก ๊ตฌ์ฑ๋ ์ฝ 1์ต 1์ฒ 6๋ฐฑ๋ง ๋จ์ด์ ํ๊ตญ์ด ์๋ฃ ์ฝํผ์ค๋ฅผ ์ฌ์ฉํ์ต๋๋ค. <br>
|
30 |
|
31 |
+
๋ด๋ถ ํ๊ฐ์ ์ธ๋ถ ํ๊ฐ. <br>
|
32 |
+
์ด ๋ชจ๋ธ์ MLM๊ณผ NSP๋ผ๋ ๋ ๊ฐ์ง ๋น์ง๋ ์ฌ์ ํ๋ จ ๊ณผ์ ๋ฅผ ์ํํ๊ณ , ์๋ก์ด ํ๊ตญ์ด ์๋ฃ ์ฝํผ์ค์ MedSTS ๋ฐ์ดํฐ์
์ ์ด์ฉํ์ฌ ์ธ์ด ์ดํด ๋ฅ๋ ฅ์ ๋ด๋ถ ํ๊ฐํ์ต๋๋ค. <br>
|
33 |
+
๋ํ, ํ๊ตญ์ด ์๋ฃ ์๋ฏธ๋ก ์ ํ
์คํธ ์ ์ฌ๋(MedSTS) ๋ฐ์ดํฐ์
๊ณผ ํ๊ตญ์ด ์๋ฃ ๊ฐ์ฒด ์ธ์(NER) ๋ฐ์ดํฐ์
์ ์ด์ฉํ์ฌ ํ๋ฅ ๊ณผ์ ์ ๋ํ ์ฑ๋ฅ์ ์ธ๋ถ ํ๊ฐํ์ต๋๋ค. <br>
|
34 |
+
๊ฒฐ๊ณผ์ ์ผ๋ก, KM-BERT๋ ๊ธฐ์กด์ ์ธ์ด ๋ชจ๋ธ๋ค๋ณด๋ค ์ฐ์ํ ์ฑ๋ฅ์ ๋ณด์์ต๋๋ค. <br>
|
35 |
|
36 |
+
์ธ์ด๋ณ ๋ฐ ๋ถ์ผ๋ณ ๊ด์ . <br>
|
37 |
+
M-BERT๋ ๋ค์ํ ์ธ์ด์ ๋ํ NLP ๊ณผ์ ์ ๋์ ์ ์ด์ฑ์ ๋ณด์ด์ง๋ง, ์ธ์ด๋ณ BERT ๋ชจ๋ธ๋ค์ด M-BERT๋ณด๋ค ๋ ๋์ ์ฑ๋ฅ์ ๋ณด์ธ๋ค๋ ๊ฒ์ด ์ฆ๋ช
๋์์ต๋๋ค. <br>
|
38 |
+
1. ํ๊ตญ์ด๋ ์์ด์ ๊ฐ์ ์ธ๋์ ๋ฝ์ด์๋ ๋ค๋ฅธ ๋จ์ด ์์๋ฅผ ๊ฐ์ง๊ณ ์๊ธฐ ๋๋ฌธ์, ํ๊ตญ์ด์ ํนํ๋ BERT ๋ชจ๋ธ์ด ํ์ํฉ๋๋ค. <br>
|
39 |
+
2. ๋ํ, SciBERT๋ LEGAL-BERT์ ๊ฐ์ ๋ถ์ผ๋ณ BERT ์๋ฒ ๋ฉ์ด BERT๋ณด๋ค ์ ๋ฌธ ์ฉ์ด์ ์ฉ๋ฒ์ ๋ํ ์ดํด๋ ฅ์ ํฅ์์ํจ๋ค๋ ๊ฒ์ด ๋ฐํ์ก์ต๋๋ค. <br>
|
40 |
+
3. ์ด๋ฌํ ์ฐ๊ตฌ ๊ฒฐ๊ณผ๋ค์ ํ๊ตญ์ด ์๋ฃ ๋ถ์ผ์ ์ ํฉํ BERT ๋ชจ๋ธ ๊ฐ๋ฐ์ ํ์์ฑ๊ณผ ํจ๊ณผ์ฑ์ ๋ณด์ฌ์ค๋๋ค. <br>
|
41 |
|
42 |
|
43 |
### Model Sources [optional]
|
44 |
|
45 |
|
46 |
+
- **Repository:** https://github.com/KU-RIAS/KM-BERT-Korean-Medical-BERT <br>
|
47 |
+
- **Paper:** https://www.nature.com/articles/s41598-022-17806-8 <br>
|
48 |
|
49 |
|
50 |
## Citation [optional]
|
51 |
|
52 |
|
53 |
+
@article{KMBERT, <br>
|
54 |
+
title={KM-BERT: A Pre-trained BERT for Korean Medical Natural Language Processing}, <br>
|
55 |
+
author={TBD}, <br>
|
56 |
+
year={TBD}, <br>
|
57 |
+
journal={TBD}, <br>
|
58 |
+
volume={TBD} <br>
|
59 |
}
|