llm-jp-3-13b-SFT-LoRA モデルカード

llm-jp-3-13bをベースに、QLoRAとUnslothを用いてファインチューニングを行った日本語言語モデルです。

モデルの詳細

モデルの説明

• 開発者: shakebenn
• 共有者: shakebenn
• モデルタイプ: 言語モデル（デコーダーのみ）
• 言語: 日本語
• ライセンス: ベースモデルに準拠
• ベースモデル: llm-jp/llm-jp-3-13b

モデルソース

• リポジトリ: https://huggingface.co/llm-jp/llm-jp-3-13b

推論コードの使用方法

1. ファイルのダウンロード、準備

• Kota-Ohno/LLM_saisyukadaiから「Model_Inference_v5.ipynb」と「tokenizer.model」、「elyza-tasks-100-TV_0.jsonl」をダウンロードします。
• 「tokenizer.model」に関しては、llm-jp/llm-jp-tokenizerから「llm-jp-tokenizer-100k.ver3.0b1.model」をダウンロードして、「tokenizer.model」という名前でリネームしても構いません。
• google colabで「Model_Inference_v5.ipynb」を開き、ランタイムをL4に設定します。

2. 必要なライブラリのインストール

• terminalを開き、以下のコードを順番に実行します。

  apt-get install git-lfs
  git lfs install
  

  git clone https://github.com/ggerganov/llama.cpp
  

  pip install -r ./llama.cpp/requirements.txt
  

3. モデルのダウンロード

   git clone https://huggingface.co/llm-jp/llm-jp-3-13b
   

• 「tokenizer.model」ファイルを「llm-jp-3-13b」ディレクトリに配置します

4. モデルの変換

• 以下のコードを順番に実行します。

  python ./llama.cpp/convert_hf_to_gguf.py --outfile llm-jp-3-13b.gguf llm-jp-3-13b
  

  cd llama.cpp
  mkdir build
  cd build
  cmake ..
  cmake --build .
  cd ../
  cd ../
  

  ./llama.cpp/build/bin/llama-quantize ./llm-jp-3-13b.gguf ./llm-jp-3-13b-q8_0.gguf q8_0
  

  git clone https://huggingface.co/shakebenn/llm-jp-3-13b-SFT-LoRA
  python ./llama.cpp/convert_lora_to_gguf.py --base llm-jp-3-13b --outfile ./llm-jp-3-13b-SFT-LoRA.gguf llm-jp-3-13b-SFT-LoRA
  

4. 推論の実行

• 「elyza-tasks-100-TV_0.jsonl」を推論コードと同階層にコピーする
• 推論コード(Model_Inference_v5.ipynb)のすべてのセルを実行する

直接利用

このモデルは以下のような用途に適しています：

• 質問応答
• テキスト生成
• 文章要約
• その他の自然言語処理タスク

対象外の使用

以下の用途での使用は推奨されません：

• 商用利用
• 重要な意思決定
• 医療・法律アドバイス
• 有害なコンテンツの生成

バイアス、リスク、制限事項

• 学習データに起因するバイアスが存在する可能性があります
• 事実と異なる情報を生成する可能性があります
• 有害なコンテンツを生成する可能性があります

推奨事項

• 出力内容の検証を必ず行ってください
• センシティブな用途での使用は避けてください
• 生成された内容の責任は使用者が負うものとします

モデルの使用開始方法

学習の詳細

学習データ

以下のデータセットを使用:

• GENIAC-Team-Ozaki/Hachi-Alpaca_newans
• llm-jp/magpie-sft-v1.0

学習手順

前処理

• 指示文と回答のペアにフォーマット
• コンテキスト長を512トークンに制限

学習ハイパーパラメータ

• 学習手法: QLoRA with Unsloth
• 量子化: 4-bit
• LoRA設定:
  • rank (r): 32
  • alpha: 32
  • dropout: 0.05
  • target_modules: ["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"]
• トレーニング設定:
  • バッチサイズ: 2
  • 勾配累積: 4
  • エポック数: 1
  • 学習率: 2e-4
  • シーケンス長: 512