DataPilot/ArrowNeo-AME-4x3B-v0.1-MoE

overview

このモデルはAItuberの魂となることを目的にSB intuitionsのsarashina-2.2-instruct-v0.1をベースにUnsothとMergekit-MoEを用いて作られました。

一つのベースモデルと3つのエキスパートモデル（専門家モデル）を合わせたモデルです。

エキスパートモデルは以下の3つのモデルです。3つのモデルはUnslothと合成データを用いて作られました。

・ コーディング特化モデル(ArrowNeo-Neko-3B-coder)

・ プロンプト追従性能を高めたモデル(ArrowNeo-Neko-3B-Instruct-v0.1)

・ マルチターン性能を高めたモデル(ArrowNeo-Neko-3B-Instruct-v0.2)

AItuberの魂には"マルチターン性能"・"プロンプト追従性能"・"軽量さ"が求められています。求められている性能を発揮するために上記のモデルを制作し、マージしました。

マージにはMergekit-MoEを用いることで動作の軽快さとパラメータ数を両立することができました。

How to use

以下のコードでこのモデルを動かすことができます。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline, set_seed

# モデルのロード
model_name = "DataPilot/ArrowNeo-AME-4x3B-v0.1-MoE"
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)
chat_pipeline = pipeline("text-generation", model=model, tokenizer=tokenizer)
set_seed(123)

# ユーザーの入力
user_input = [{"role": "user", "content": "こんにちは。Pythonを用いてstrawberryのRをカウントするコードを書いて下さい。"}]

# モデルによる応答生成
responses = chat_pipeline(
    user_input,
    max_length=50,
    do_sample=True,
    num_return_sequences=2,
)

# 応答を表示
for i, response in enumerate(responses, 1):
    print(f"Response {i}: {response['generated_text']}")

Limitations

このモデルには、安全トレーニングが制限されています。 したがって、いくつかの無意味なシーケンス、いくつかの不正確なインスタンス、または偏った/不快な出力を生成する可能性があります。 使用する前に、開発者は人間の好みと安全上の考慮事項に基づいてモデルを調整していただきたいと思います。

Mergekit-config

base_model: sbintuitions/sarashina2.2-3b-instruct-v0.1
gate_mode: hidden
dtype: bfloat16
experts:
  - source_model: DataPilot/ArrowNeo-Neko-3B-Instruct-v0.2
    positive_prompts:
      - "最近話題の生成AIが今後社会に与える影響について、具体例を交えつつあなたの考えを教えてください。"
      - "リモートワークの普及に伴い、仕事の生産性やコミュニケーションにはどのような変化があったと感じますか？具体的なメリット・デメリットを交えて教えてください。"
      - "Can you describe the ethical considerations we should have when using AI-generated content in educational contexts? Please provide specific examples."
      - "新規事業のアイデアを考えています。ターゲットは20代から30代の都市部在住の若い社会人で、忙しい日常の中で健康的な生活を送りたいと考えている層です。具体的にどのような商品やサービスが考えられるでしょうか？\n・目新しさや革新性\n・誰にどのようなメリットがあるか\n・実現可能性や収益構造\nこれらの点を踏まえて、3つのアイデアと、それぞれの成功要因やリスク要因を教えてください。"
      - "現在、私は日本の江戸時代における文化や社会システムについて調べています。特に、庶民がどのように日常を楽しんでいたのかに興味があります。\n・江戸時代の町人文化の要点\n・娯楽や行事、季節のイベントなど具体例\n・それらが現代社会に与えた影響\nこれらをわかりやすくかつ詳しく説明してください。学術的な視点も混ぜながら、なるべく専門用語を平易に翻訳してもらえると助かります。"
      - "最近、休日の過ごし方をマンネリ化していると感じていて、新しい趣味を探しています。できれば、家でも外でも楽しめる趣味がいいのですが、何か良いアイデアはありますか？"
  - source_model: DataPilot/ArrowNeo-Neko-3B-Instruct-v0.1
    positive_prompts:
      - "日本の少子高齢化問題の現状について説明してください。また、この問題に対する日本政府が現在行っている具体的な政策や施策、さらにそれらの効果と課題を合わせて述べてください。説明は段落ごとに分け、論理的にまとめてください。"
      - "世界的に有名な5人の画家を挙げ、それぞれについて以下の項目を簡潔にまとめてください。\n名前と活躍した時代\n代表作とその特徴\n後世への影響や評価のポイント\nわかりやすく箇条書きで整理して回答してください。"
      - "Explain clearly the differences between machine learning, deep learning, and artificial intelligence. Provide examples for each category and discuss briefly how each one is applied practically in today's technology. Please organize your response into clear sections."
      - "パンダはなぜ笹ばかり食べているのか、簡単に教えて。"
      - "「桃太郎」のストーリーを短く3文以内でまとめて。"
      - "Quickly tell me an interesting fact about space travel that most people don't know."
  - source_model: DataPilot/ArrowNeo-Neko-3B-coder
    positive_prompts:
      - "Pythonを用いて、与えられた整数のリスト内から重複している値を見つけ、それらを昇順に並べた新しいリストを返す関数を作成してください。\n関数名はfind_duplicatesとしてください。\n入力の例: [4, 5, 6, 5, 2, 4, 9]\n出力の例: [4, 5]\nコードには簡単なコメントを付けてください。"
      - "PythonとBeautifulSoupを使って、架空のオンライン書店（例: https://examplebookstore.com）のトップページをスクレイピングするコードを書いて下さい。\nエラー処理（例外処理）も簡単に組み込んでください。"
      - "Write a Python function using Pandas that takes a CSV file containing sales data (columns: 'date', 'product', 'sales_amount') and returns a new dataframe with the total sales amount for each product sorted in descending order.\nInclude comments and show an example of how to call this function clearly."
      - "Pythonでリストを逆順にする一番簡単な方法を教えて。"
      - "JavaScriptで現在時刻をブラウザのコンソールに表示するコードを書いて。"
      - "Quickly explain the difference between a 'for loop' and a 'while loop' in Python with short examples."

License

MIT license このモデルのライセンスは元モデルのライセンスに準拠します。