README.md

metadata

base_model: klue/roberta-base
library_name: setfit
metrics:
  - accuracy
pipeline_tag: text-classification
tags:
  - setfit
  - sentence-transformers
  - text-classification
  - generated_from_setfit_trainer
widget:
  - text: '[페리페라] 브이쉐딩 AD 001 내추럴브라운 주식회사 인터파크커머스'
  - text: 헤어캡 파마 전기 모자 이중 미용실 모자 헤어팩 AY7 옵션없음 내포제이공인중개사사무소
  - text: 1200mA 진동클렌저 블루 134g 사무 미용 세정 생활 도구 탕비 개인 위생 문구 옵션없음 올유어리브
  - text: 카디뷰 아사이 오일 220ml 손상모보호 카디뷰 아사이 오일 220ml 쇼핑천국이야기
  - text: 이니스프리 제주 왕벚꽃 스킨핏 톤업 크림 50ml 1개 옵션없음 림스월드
inference: true
model-index:
  - name: SetFit with klue/roberta-base
    results:
      - task:
          type: text-classification
          name: Text Classification
        dataset:
          name: Unknown
          type: unknown
          split: test
        metrics:
          - type: accuracy
            value: 0.7860143035531842
            name: Accuracy

SetFit with klue/roberta-base

This is a SetFit model that can be used for Text Classification. This SetFit model uses klue/roberta-base as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

1. Fine-tuning a Sentence Transformer with contrastive learning.
2. Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

• Model Type: SetFit
• Sentence Transformer body: klue/roberta-base
• Classification head: a LogisticRegression instance
• Maximum Sequence Length: 512 tokens
• Number of Classes: 13 classes

Model Sources

• Repository: SetFit on GitHub
• Paper: Efficient Few-Shot Learning Without Prompts
• Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
1.0	'리얼묘해 리얼프린세스 [리얼신데렐라 파우더] 미러파우더 파우더네일 리얼자스민 리얼묘해&세리오' '[위드샨] 맞춤 케어 2종 세트 (3타입 중 택1) 잘 부러지고 약한 손톱(스트랭쓰너+쉴드탑) 주식회사손과발' '풋케어 고급케이스 손발페이스 네일케어 케어세트 NEW72A61BNE6 19종 손톱깍이세트 그린몰'
7.0	'New Sunshine Australian Gold 브론즈 가속기 241g(8.5온스) 옵션없음 비포유' '개악마탄 (지마켓)/프로탄 머슬 보디빌딩 바디프로필 옵션없음 명왕성마켓' '선스프레이 청광 진주 마린 제이엠솔루션 선 스프레이 펄 옵션없음 유토피아'
12.0	'소이랩 허니 블랙빈 두피 앰플 (총5개) 옵션없음 아디브' '에버미라클 200ml EM 풀라무 토너 스칼프 토닉 8W98E7F225 옵션없음 파워몰' '바이레도 라튤립 헤어퍼퓸 75ml 75ml 티케이 솔루션(TK Solution)'
2.0	'시크릿덤 RF 고주파 마사지 크림 1000ml 옵션없음 너비(Nervy)' '션리 일일일팩 광채, 보습, 미백, 주름, 콜라겐, 6종 대용량 마스크팩 100매 ShionLe' '일소 코팩 네추럴 마일드 클리어 노우즈 팩 10매 옵션없음 아비스 몰'
8.0	'뉴스킨 핑크바이옴 얼티밋패드 70매 옵션없음 다모아마트' '라운드랩 1025 독도 토너 500ml, 1개 (복수구매이벤트) 옵션없음 지크(JIC)' '[벤튼] 렛츠 캐롯 멀티 오일 30mL 당근오일 옵션없음 주식회사 벤튼'
6.0	'반짝임 립 글로스 4g 02셀피브라운 옵션없음 타이탄스' '[1+1] 바이유어 세럼핏 볼류밍 글로우 스틱 3.8g 2종 세트 글로우스틱 멜로우 + 멜로우 세트 주식회사 하미글로벌' '[백화점즉시입고/당일보냄] 바비브라운 마이크로 브로우 펜슬 26년 새들 제이앤케이'
0.0	'오휘 더 퍼스트 제너츄어 포맨 데일리 선블럭 50ml(SPF50+) 오휘' '엔프라니 옴므 선블록 70ml 옵션없음 다인유통' '페어아크네 크리미폼 80g x 1개 /지성피부 저자극 풍부한거품 남자클렌징폼 1.페어아크네 크리미폼 80g 본품 라이온코리아 주식회사'
4.0	'바닐라코 프라임 프라이머 톤업 30ml 옵션없음 비엠유통' '더샘 커버 퍼펙션 트리플 팟 컨실러 5colors 04 톤업 베이지 주식회사 더샘인터내셔날' '크리니크 이븐베터 리프레쉬 하이드레이팅 앤 리페어링 파운데이션 - 62 로즈베이지 기본선택 소야 스토어'
9.0	'위아리턴 딥클렌징크림 300g 남성클렌징폼 옵션없음 위아리턴' '바이오가 판테놀 클렌징폼 500ml 옵션없음 잡(Job)상인' '(3개)마녀공장 퓨어 엔자임 클렌징 워터 400ml 옵션없음 주식회사 모아박스'
10.0	'에코야 - 리드 디퓨저 - 블러드 오렌지 200ml/6.8oz 스트로베리넷 (홍콩)' '소소모소 디퓨저리필 500ml_코튼브리즈 _salestrNo:2439_지점명:emartNE.O.001 (주)리빙탑스/해당사항 없음' '트래블 인센스스틱 키트 타이차마나드 8cm30ea 옵션없음 '
11.0	'다주자 울트라 다운펌 150ml 셀프매직 옆머리 7435522 옵션없음 비티엘파트너' '갸스비 스타일링 젤 웨트 앤 하드 200ml 옵션없음 리앤햇' '376252 씨드비 물염색 시즌2 씨비드 4회분 미디엄브라운 NEW 비건 미디엄 브라운 1박스_◈232431989◈ 제이제이홀딩스'
5.0	'[호시재]유기 괄사 방짜유기 마사지기 경락 지압 마사지 옵션없음 호시재' '6종 휴대용 세트 귀이개 혼시티 5WAE0BE624 옵션없음 주도매' '필리밀리 실리콘 바디 브러시, 1개 필리밀리'
3.0	'도브기획세트-1호 옵션없음 베리굿 직팔' '도테라 코코넛오일 옵션없음 공감브레인 상담센터' '웰빙헬스 명품 고운발 크림 110g 1개 뒷꿈치 보습 각질제거 고운발크림 100g(빨강) 탑헬스케어 주식회사'

Evaluation

Metrics

Label	Accuracy
all	0.7860

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_item_bt_test")
# Run inference
preds = model("[페리페라] 브이쉐딩 AD 001 내추럴브라운 주식회사 인터파크커머스")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	3	9.3971	26

Label	Training Sample Count
0.0	242
1.0	134
2.0	161
3.0	324
4.0	141
5.0	130
6.0	267
7.0	133
8.0	257
9.0	251
10.0	63
11.0	117
12.0	152

Training Hyperparameters

• batch_size: (512, 512)
• num_epochs: (50, 50)
• max_steps: -1
• sampling_strategy: oversampling
• num_iterations: 60
• body_learning_rate: (2e-05, 1e-05)
• head_learning_rate: 0.01
• loss: CosineSimilarityLoss
• distance_metric: cosine_distance
• margin: 0.25
• end_to_end: False
• use_amp: False
• warmup_proportion: 0.1
• l2_weight: 0.01
• seed: 42
• eval_max_steps: -1
• load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0036	1	0.4148	-
0.1799	50	0.3972	-
0.3597	100	0.3508	-
0.5396	150	0.3032	-
0.7194	200	0.2617	-
0.8993	250	0.2267	-
1.0791	300	0.1959	-
1.2590	350	0.1626	-
1.4388	400	0.1268	-
1.6187	450	0.0923	-
1.7986	500	0.0646	-
1.9784	550	0.0515	-
2.1583	600	0.0458	-
2.3381	650	0.0427	-
2.5180	700	0.0404	-
2.6978	750	0.0384	-
2.8777	800	0.0355	-
3.0576	850	0.0312	-
3.2374	900	0.0264	-
3.4173	950	0.024	-
3.5971	1000	0.0227	-
3.7770	1050	0.0184	-
3.9568	1100	0.0106	-
4.1367	1150	0.0079	-
4.3165	1200	0.0072	-
4.4964	1250	0.0072	-
4.6763	1300	0.0068	-
4.8561	1350	0.0069	-
5.0360	1400	0.0065	-
5.2158	1450	0.0055	-
5.3957	1500	0.0041	-
5.5755	1550	0.0026	-
5.7554	1600	0.0009	-
5.9353	1650	0.0005	-
6.1151	1700	0.0004	-
6.2950	1750	0.0004	-
6.4748	1800	0.0003	-
6.6547	1850	0.0003	-
6.8345	1900	0.0003	-
7.0144	1950	0.0002	-
7.1942	2000	0.0002	-
7.3741	2050	0.0002	-
7.5540	2100	0.0002	-
7.7338	2150	0.0002	-
7.9137	2200	0.0009	-
8.0935	2250	0.0004	-
8.2734	2300	0.0003	-
8.4532	2350	0.0001	-
8.6331	2400	0.0001	-
8.8129	2450	0.0001	-
8.9928	2500	0.0001	-
9.1727	2550	0.0001	-
9.3525	2600	0.0001	-
9.5324	2650	0.0001	-
9.7122	2700	0.0001	-
9.8921	2750	0.0002	-
10.0719	2800	0.0001	-
10.2518	2850	0.0001	-
10.4317	2900	0.0001	-
10.6115	2950	0.0001	-
10.7914	3000	0.0001	-
10.9712	3050	0.0001	-
11.1511	3100	0.0003	-
11.3309	3150	0.0004	-
11.5108	3200	0.0001	-
11.6906	3250	0.0003	-
11.8705	3300	0.0001	-
12.0504	3350	0.0001	-
12.2302	3400	0.0001	-
12.4101	3450	0.0001	-
12.5899	3500	0.0001	-
12.7698	3550	0.0001	-
12.9496	3600	0.0002	-
13.1295	3650	0.0003	-
13.3094	3700	0.0001	-
13.4892	3750	0.0001	-
13.6691	3800	0.0001	-
13.8489	3850	0.0001	-
14.0288	3900	0.0001	-
14.2086	3950	0.0	-
14.3885	4000	0.0001	-
14.5683	4050	0.0	-
14.7482	4100	0.0	-
14.9281	4150	0.0	-
15.1079	4200	0.0	-
15.2878	4250	0.0	-
15.4676	4300	0.0	-
15.6475	4350	0.0	-
15.8273	4400	0.0	-
16.0072	4450	0.0003	-
16.1871	4500	0.001	-
16.3669	4550	0.0003	-
16.5468	4600	0.0002	-
16.7266	4650	0.0001	-
16.9065	4700	0.0001	-
17.0863	4750	0.0001	-
17.2662	4800	0.0	-
17.4460	4850	0.0	-
17.6259	4900	0.0002	-
17.8058	4950	0.0002	-
17.9856	5000	0.0001	-
18.1655	5050	0.0002	-
18.3453	5100	0.0002	-
18.5252	5150	0.0001	-
18.7050	5200	0.0001	-
18.8849	5250	0.0001	-
19.0647	5300	0.0	-
19.2446	5350	0.0	-
19.4245	5400	0.0	-
19.6043	5450	0.0	-
19.7842	5500	0.0	-
19.9640	5550	0.0	-
20.1439	5600	0.0	-
20.3237	5650	0.0	-
20.5036	5700	0.0	-
20.6835	5750	0.0	-
20.8633	5800	0.0	-
21.0432	5850	0.0	-
21.2230	5900	0.0	-
21.4029	5950	0.0	-
21.5827	6000	0.0	-
21.7626	6050	0.0	-
21.9424	6100	0.0	-
22.1223	6150	0.0	-
22.3022	6200	0.0	-
22.4820	6250	0.0	-
22.6619	6300	0.0	-
22.8417	6350	0.0	-
23.0216	6400	0.0	-
23.2014	6450	0.0	-
23.3813	6500	0.0	-
23.5612	6550	0.0	-
23.7410	6600	0.0	-
23.9209	6650	0.0	-
24.1007	6700	0.0	-
24.2806	6750	0.0	-
24.4604	6800	0.0	-
24.6403	6850	0.0	-
24.8201	6900	0.0	-
25.0	6950	0.0	-
25.1799	7000	0.0	-
25.3597	7050	0.0	-
25.5396	7100	0.0	-
25.7194	7150	0.0	-
25.8993	7200	0.0	-
26.0791	7250	0.0	-
26.2590	7300	0.0	-
26.4388	7350	0.0	-
26.6187	7400	0.0	-
26.7986	7450	0.0	-
26.9784	7500	0.0	-
27.1583	7550	0.0	-
27.3381	7600	0.0	-
27.5180	7650	0.0	-
27.6978	7700	0.0	-
27.8777	7750	0.0	-
28.0576	7800	0.0	-
28.2374	7850	0.001	-
28.4173	7900	0.0005	-
28.5971	7950	0.0003	-
28.7770	8000	0.0001	-
28.9568	8050	0.0	-
29.1367	8100	0.0001	-
29.3165	8150	0.0	-
29.4964	8200	0.0	-
29.6763	8250	0.0	-
29.8561	8300	0.0	-
30.0360	8350	0.0	-
30.2158	8400	0.0	-
30.3957	8450	0.0	-
30.5755	8500	0.0	-
30.7554	8550	0.0	-
30.9353	8600	0.0	-
31.1151	8650	0.0	-
31.2950	8700	0.0	-
31.4748	8750	0.0	-
31.6547	8800	0.0	-
31.8345	8850	0.0	-
32.0144	8900	0.0	-
32.1942	8950	0.0	-
32.3741	9000	0.0	-
32.5540	9050	0.0	-
32.7338	9100	0.0	-
32.9137	9150	0.0	-
33.0935	9200	0.0	-
33.2734	9250	0.0	-
33.4532	9300	0.0	-
33.6331	9350	0.0	-
33.8129	9400	0.0	-
33.9928	9450	0.0	-
34.1727	9500	0.0	-
34.3525	9550	0.0	-
34.5324	9600	0.0	-
34.7122	9650	0.0	-
34.8921	9700	0.0	-
35.0719	9750	0.0	-
35.2518	9800	0.0	-
35.4317	9850	0.0	-
35.6115	9900	0.0	-
35.7914	9950	0.0	-
35.9712	10000	0.0	-
36.1511	10050	0.0	-
36.3309	10100	0.0	-
36.5108	10150	0.0	-
36.6906	10200	0.0	-
36.8705	10250	0.0	-
37.0504	10300	0.0	-
37.2302	10350	0.0	-
37.4101	10400	0.0	-
37.5899	10450	0.0	-
37.7698	10500	0.0	-
37.9496	10550	0.0	-
38.1295	10600	0.0	-
38.3094	10650	0.0	-
38.4892	10700	0.0	-
38.6691	10750	0.0	-
38.8489	10800	0.0	-
39.0288	10850	0.0	-
39.2086	10900	0.0	-
39.3885	10950	0.0	-
39.5683	11000	0.0	-
39.7482	11050	0.0001	-
39.9281	11100	0.0	-
40.1079	11150	0.0	-
40.2878	11200	0.0	-
40.4676	11250	0.0	-
40.6475	11300	0.0	-
40.8273	11350	0.0	-
41.0072	11400	0.0	-
41.1871	11450	0.0	-
41.3669	11500	0.0	-
41.5468	11550	0.0	-
41.7266	11600	0.0	-
41.9065	11650	0.0	-
42.0863	11700	0.0	-
42.2662	11750	0.0	-
42.4460	11800	0.0	-
42.6259	11850	0.0	-
42.8058	11900	0.0	-
42.9856	11950	0.0	-
43.1655	12000	0.0	-
43.3453	12050	0.0	-
43.5252	12100	0.0	-
43.7050	12150	0.0	-
43.8849	12200	0.0	-
44.0647	12250	0.0	-
44.2446	12300	0.0	-
44.4245	12350	0.0	-
44.6043	12400	0.0	-
44.7842	12450	0.0	-
44.9640	12500	0.0	-
45.1439	12550	0.0	-
45.3237	12600	0.0	-
45.5036	12650	0.0	-
45.6835	12700	0.0	-
45.8633	12750	0.0	-
46.0432	12800	0.0	-
46.2230	12850	0.0	-
46.4029	12900	0.0	-
46.5827	12950	0.0	-
46.7626	13000	0.0	-
46.9424	13050	0.0	-
47.1223	13100	0.0	-
47.3022	13150	0.0	-
47.4820	13200	0.0	-
47.6619	13250	0.0	-
47.8417	13300	0.0	-
48.0216	13350	0.0	-
48.2014	13400	0.0	-
48.3813	13450	0.0	-
48.5612	13500	0.0	-
48.7410	13550	0.0	-
48.9209	13600	0.0	-
49.1007	13650	0.0	-
49.2806	13700	0.0	-
49.4604	13750	0.0	-
49.6403	13800	0.0	-
49.8201	13850	0.0	-
50.0	13900	0.0	-

Framework Versions

• Python: 3.10.12
• SetFit: 1.1.0
• Sentence Transformers: 3.3.1
• Transformers: 4.44.2
• PyTorch: 2.2.0a0+81ea7a4
• Datasets: 3.2.0
• Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}