SeongeonKim/gemma-2-9b-HangulFixer_v0.1

gemma-2-9b-HangulFixer

• Base Model: unsloth/gemma-2-9b-bnb-4bit
• Developed by: SeongeonKim
• Base Model License: Apache 2.0
• Finetuned Model License: CC BY-NC 4.0 (비영리적 사용만 허용)
• Language: Korean (ko)
• Tags:
  • text-generation-inference
  • transformers
  • unsloth
  • gemma2
  • trl
  • sft

---

모델 설명

gemma-2-9b-HangulFixer는 Unsloth와 Hugging Face의 TRL 라이브러리를 사용해 fine-tuning한 텍스트 생성 모델입니다.
이 모델은 난독화된 한글 호텔 리뷰를 원래의 명확하고 자연스러운 리뷰로 복원하기 위해 설계되었습니다.

---

데이터 배경

한국 숙소 예약 사이트에서는 부정적인 리뷰가 삭제될 수 있는 우려가 있습니다. 이를 피하면서 한국 사용자들에게만 유용한 정보를 전달하기 위해 일부 사용자들은 리뷰를 난독화하는 방식을 사용해 솔직한 후기를 남기고자 합니다.
이 방식은 한국 사용자들에게는 솔직한 정보를 제공하는 장점이 있지만, 숙소 운영자와 방문객 간 피드백 전달을 어렵게 만들어 서비스 품질 향상에 장애가 될 수 있습니다.

---

학습 데이터

이 모델은 SeongeonKim/ko-scrambled_v0.1 데이터셋의 학습 데이터를 사용해 학습되었습니다.
총 11,263개의 난독화된 한글 호텔 리뷰와 그에 상응하는 복원된 원본 리뷰를 사용해 fine-tuning이 진행되었습니다.
이 데이터셋은 리뷰의 난독화된 형태(input)와 복원된 형태(output)로 구성되어 있습니다.

예제 데이터:

• Input: 쉭딱 윕 턺려윤 굼멕웨 뷔햅 완쩐 별료. 2빡 3윌엣 88많 언 켤쳅햇눈뎨...
• Output: 식탁 위 더러운 금액에 비해 완전 별로. 2박 3일에 88만 원 결제했는데...

---

모델 성능

• Base Model: unsloth/gemma-2-9b-bnb-4bit를 기반으로 학습되었습니다.
• Training Efficiency: Unsloth를 사용해 2배 더 빠른 속도로 학습 완료.
• Target Task: 텍스트 복원
• Language: 한글

---

개선 사항 (v0.1)

• 얼리 스토핑(Early Stopping) 도입: EarlyStoppingCallback을 추가하여 평가 손실(eval_loss) 기준으로 학습 과정을 자동 중단, 과적합 방지.
• 학습 효율성 향상: 데이터 병렬 처리(dataset_num_proc=2) 및 명시적 파라미터 설정을 통해 학습 안정성과 속도 개선.
• 평가 지표 모니터링: 학습 품질을 높이기 위해 eval_loss 모니터링 추가.

---

사용 방법

아래는 모델을 사용하는 기본적인 예제입니다:

from transformers import AutoModelForCausalLM, AutoTokenizer

# 모델 로드
model_name = "SeongeonKim/gemma-2-9b-HangulFixer"
model = AutoModelForCausalLM.from_pretrained(model_name).to("cuda")
tokenizer = AutoTokenizer.from_pretrained(model_name)

# 테스트 입력
input_text = "녀뮨넒뭅 만죡숭러윤 효템뤼에오. 푸싸눼 옰면 콕 츄쩐학꼬 싶은 콧쉰웨오."
inputs = tokenizer(input_text, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=128)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

---

상업적 이용 관련 제한 사항

이 모델은 학습 데이터의 라이선스에 따라 CC BY-NC 4.0 라이선스를 따릅니다.
이 라이선스는 비영리적 사용만 허용하며, 상업적 용도로 사용하려면 별도의 허가가 필요합니다.
데이터를 이용하는 경우, 연구 목적으로 사용하거나 학습 데이터의 출처와 라이선스를 명확히 표기해야 합니다.

• 라이선스 세부사항: CC BY-NC 4.0

---

모델 개발 관련 참고 사항

• 사용된 기술: Unsloth와 Hugging Face의 TRL(SFT) 사용
• 데이터 출처: SeongeonKim/ko-scrambled_v0.1 데이터셋
• 사용 제한: 데이터의 라이선스를 준수하며, 상업적 용도로 사용 불가

---

This gemma2 model was trained 2x faster with Unsloth and Huggingface's TRL library.