ECE-MIRAGE-3

ECE-MIRAGE-3 est un modèle de langage fusionné développé à l'ECE (École d'Ingénieurs) en utilisant la méthode de fusion SLERP (Spherical Linear Interpolation). Ce modèle combine les forces des architectures rombodawg/Rombos-LLM-V2.5-Qwen-32b et Sakalti/ultiima-32B pour offrir des performances optimisées sur des tâches complexes de traitement du langage naturel (NLP).

Caractéristiques

• Méthode de fusion : SLERP (Spherical Linear Interpolation).
• Modèles sources :
  • rombodawg/Rombos-LLM-V2.5-Qwen-32b
  • Sakalti/ultiima-32B
• Optimisation : bfloat16 pour des calculs rapides et efficaces.
• Applications :
  • Raisonnement mathématique.
  • Compréhension contextuelle.
  • Tâches instructives (Instruction Following).

Configuration

slices:
  - sources:
      - model: rombodawg/Rombos-LLM-V2.5-Qwen-32b
        layer_range: [0, 64]
      - model: Sakalti/ultiima-32B
        layer_range: [0, 64]
    merge_method: slerp
base_model: rombodawg/Rombos-LLM-V2.5-Qwen-32b
parameters:
  t:
    - filter: self_attn
      value: [0, 0.25, 0.5, 0.75, 1]
    - filter: mlp
      value: [1, 0.75, 0.5, 0.25, 0]
    - value: 0.5
dtype: bfloat16