diff --git "a/modules/ai_finetuning/model_finetuning.py" "b/modules/ai_finetuning/model_finetuning.py"
new file mode 100644--- /dev/null
+++ "b/modules/ai_finetuning/model_finetuning.py"
@@ -0,0 +1,2081 @@
+#!/usr/bin/env python
+# -*- coding: utf-8 -*-
+
+"""
+وحدة تخصيص وضبط نماذج الذكاء الاصطناعي للمصطلحات التعاقدية المتخصصة
+تتيح هذه الوحدة إمكانية تدريب نماذج الذكاء الاصطناعي على المصطلحات المتخصصة في مجال العقود والمناقصات
+"""
+
+import os
+import sys
+import streamlit as st
+import pandas as pd
+import numpy as np
+import json
+import time
+import datetime
+from typing import List, Dict, Any, Optional, Tuple
+import openai
+import matplotlib.pyplot as plt
+import tempfile
+import csv
+import re
+import random
+from pathlib import Path
+
+# إضافة مسار النظام للوصول للملفات المشتركة
+sys.path.append(os.path.abspath(os.path.join(os.path.dirname(__file__), "../..")))
+
+# استيراد مكونات واجهة المستخدم
+from utils.components.header import render_header
+from utils.components.credits import render_credits
+from utils.helpers import format_number, format_currency, styled_button
+
+
+class ModelFinetuning:
+ """فئة تخصيص وضبط نماذج الذكاء الاصطناعي"""
+
+ def __init__(self):
+ """تهيئة وحدة تخصيص وضبط نماذج الذكاء الاصطناعي"""
+ # تهيئة مجلدات حفظ البيانات
+ self.data_dir = os.path.abspath(os.path.join(os.path.dirname(__file__), "../../data/finetuning"))
+ os.makedirs(self.data_dir, exist_ok=True)
+
+ # تهيئة الملفات والمجلدات الفرعية
+ self.training_data_dir = os.path.join(self.data_dir, "training_data")
+ os.makedirs(self.training_data_dir, exist_ok=True)
+
+ self.models_dir = os.path.join(self.data_dir, "models")
+ os.makedirs(self.models_dir, exist_ok=True)
+
+ self.terminology_file = os.path.join(self.data_dir, "terminology.json")
+
+ # تهيئة حالة الجلسة
+ if 'terminology_data' not in st.session_state:
+ if os.path.exists(self.terminology_file):
+ with open(self.terminology_file, 'r', encoding='utf-8') as f:
+ st.session_state.terminology_data = json.load(f)
+ else:
+ st.session_state.terminology_data = {
+ "terms": [],
+ "training_examples": [],
+ "models": []
+ }
+
+ if 'active_training_job' not in st.session_state:
+ st.session_state.active_training_job = None
+
+ if 'training_results' not in st.session_state:
+ st.session_state.training_results = []
+
+ # ضبط API مفاتيح الذكاء الاصطناعي
+ self.api_key = os.environ.get("OPENAI_API_KEY")
+ self.anthropic_api_key = os.environ.get("ANTHROPIC_API_KEY")
+
+ def render(self):
+ """عرض واجهة وحدة تخصيص وضبط نماذج الذكاء الاصطناعي"""
+ # عرض الشعار والعنوان الرئيسي
+ render_header("تخصيص وضبط نماذج الذكاء الاصطناعي للمصطلحات التعاقدية المتخصصة")
+
+ # تبويبات الوحدة
+ tabs = st.tabs([
+ "قاموس المصطلحات المتخصصة",
+ "إعداد بيانات التدريب",
+ "تدريب النموذج",
+ "اختبار النموذج",
+ "المساعد المتخصص"
+ ])
+
+ # تبويب قاموس المصطلحات المتخصصة
+ with tabs[0]:
+ self._render_terminology_dictionary()
+
+ # تبويب إعداد بيانات التدريب
+ with tabs[1]:
+ self._render_training_data_setup()
+
+ # تبويب تدريب النموذج
+ with tabs[2]:
+ self._render_model_training()
+
+ # تبويب اختبار النموذج
+ with tabs[3]:
+ self._render_model_testing()
+
+ # تبويب المساعد المتخصص
+ with tabs[4]:
+ self._render_specialized_assistant()
+
+ # عرض حقوق النشر
+ render_credits()
+
+ def _render_terminology_dictionary(self):
+ """عرض قاموس المصطلحات المتخصصة"""
+ st.markdown("""
+
+
📚 قاموس المصطلحات المتخصصة
+
أضف وحرر المصطلحات الفنية المتخصصة في مجال العقود والمناقصات باللغة العربية.
+
هذه المصطلحات ستستخدم لتدريب وضبط نماذج الذكاء الاصطناعي للتعرف عليها بدقة عالية.
+
+
🔬 إعداد بيانات التدريب
+
قم بإنشاء وتحرير أمثلة التدريب لضبط نماذج الذكاء الاصطناعي على المصطلحات المتخصصة.
+
يمكنك إنشاء أمثلة يدوياً أو استيرادها من ملف أو توليدها تلقائياً باستخدام نماذج الذكاء الاصطناعي الحالية.
+
+
🧠 تدريب النموذج
+
قم بتدريب نموذج الذكاء الاصطناعي على المصطلحات المتخصصة باستخدام أمثلة التدريب.
+
يمكنك اختيار النموذج الأساسي والإعدادات المناسبة لعملية التدريب.
+
+
🧪 اختبار النموذج
+
اختبر نموذج الذكاء الاصطناعي المدرب على المصطلحات المتخصصة.
+
يمكنك تجريب أسئلة مختلفة ومقارنة النتائج مع النماذج الأخرى.
+
+
🤖 المساعد المتخصص
+
استخدم المساعد الذكي المتخصص في المصطلحات التعاقدية الهندسية.
+
يمكنك طرح أسئلة حول المصطلحات وتفسيراتها واستخداماتها.
+
+ أنت: {message["content"]}
+
+ """, unsafe_allow_html=True)
+ else:
+ st.markdown(f"""
+
+ المساعد: {message["content"]}
+
+ """, unsafe_allow_html=True)
+
+ # إدخال رسالة جديدة
+ user_input = st.text_area("اكتب رسالتك هنا", key="assistant_input", height=100)
+
+ # أزرار التحكم
+ col1, col2, col3 = st.columns([1, 1, 1])
+
+ with col1:
+ if styled_button("إرسال", key="send_message", type="primary", icon="✉️"):
+ if not user_input:
+ st.error("يرجى كتابة رسالة للإرسال.")
+ else:
+ # إضافة رسالة المستخدم إلى المحادثة
+ st.session_state.chat_history.append({
+ "role": "user",
+ "content": user_input
+ })
+
+ # الحصول على الرد من النموذج
+ with st.spinner("المساعد يفكر..."):
+ # تحميل المصطلحات والتعريفات
+ terms_with_definitions = {}
+ for term in st.session_state.terminology_data.get("terms", []):
+ terms_with_definitions[term.get("term")] = term.get("definition")
+
+ # الحصول على رد المساعد
+ response = self._get_assistant_response(
+ model=st.session_state.assistant_model,
+ chat_history=st.session_state.chat_history,
+ terms_with_definitions=terms_with_definitions
+ )
+
+ # إضافة رد المساعد إلى المحادثة
+ st.session_state.chat_history.append({
+ "role": "assistant",
+ "content": response
+ })
+
+ # إعادة تشغيل لتحديث واجهة المستخدم
+ st.rerun()
+
+ with col2:
+ if styled_button("مسح المحادثة", key="clear_chat", type="danger", icon="🗑️"):
+ st.session_state.chat_history = []
+ st.rerun()
+
+ with col3:
+ if styled_button("اقتراح أسئلة", key="suggest_questions", type="secondary", icon="💡"):
+ # عرض أسئلة مقترحة
+ st.markdown("### أسئلة مقترحة")
+
+ # الحصول على المصطلحات المتاحة
+ terms = [term.get("term") for term in st.session_state.terminology_data.get("terms", [])]
+
+ # إنشاء أسئلة مقترحة
+ suggested_questions = [
+ f"ما هو تعريف مصطلح {term}؟" for term in random.sample(terms, min(3, len(terms)))
+ ]
+
+ suggested_questions.extend([
+ "كيف يتم حساب المحتوى المحلي في مشاريع البنية التحتية؟",
+ "ما هي أهم البنود التي يجب الانتباه لها في العقود الهندسية؟",
+ "ما الفرق بين الضمان الابتدائي والضمان النهائي؟",
+ "كيف يمكن تقييم المخاطر في مشاريع البناء؟"
+ ])
+
+ # عرض الأسئلة المقترحة
+ for i, question in enumerate(suggested_questions):
+ if styled_button(question, key=f"suggested_q_{i}", type="info", icon="❓"):
+ # إضافة السؤال المقترح إلى المحادثة
+ st.session_state.chat_history.append({
+ "role": "user",
+ "content": question
+ })
+
+ # الحصول على الرد من النموذج
+ with st.spinner("المساعد يفكر..."):
+ # تحميل المصطلحات والتعريفات
+ terms_with_definitions = {}
+ for term in st.session_state.terminology_data.get("terms", []):
+ terms_with_definitions[term.get("term")] = term.get("definition")
+
+ # الحصول على رد المساعد
+ response = self._get_assistant_response(
+ model=st.session_state.assistant_model,
+ chat_history=st.session_state.chat_history,
+ terms_with_definitions=terms_with_definitions
+ )
+
+ # إضافة رد المساعد إلى المحادثة
+ st.session_state.chat_history.append({
+ "role": "assistant",
+ "content": response
+ })
+
+ # إعادة تشغيل لتحديث واجهة المستخدم
+ st.rerun()
+
+ def _get_assistant_response(self, model, chat_history, terms_with_definitions):
+ """الحصول على رد المساعد المتخصص"""
+ try:
+ # تجهيز المحتوى النظامي
+ system_prompt = """أنت مساعد متخصص في عقود المقاولات والمناقصات باللغة العربية.
+ مهمتك هي تقديم معلومات دقيقة ومفصلة حول المصطلحات التعاقدية والهندسية المتخصصة.
+ قدم شرحاً واضحاً ومفهوماً للمصطلحات، مع أمثلة عملية عند الإمكان.
+ استخدم لغة مهنية ودقيقة، مع مراعاة السياق الهندسي والقانوني للمصطلحات."""
+
+ # إضافة المصطلحات إلى المحتوى النظامي
+ if terms_with_definitions:
+ system_prompt += "\n\nفيما يلي قائمة بالمصطلحات المتخصصة وتعريفاتها التي يجب عليك استخدامها في إجاباتك:\n\n"
+ for term, definition in terms_with_definitions.items():
+ system_prompt += f"- {term}: {definition}\n"
+
+ # تحويل محادثة streamlit إلى صيغة مناسبة للـ API
+ messages = [{"role": "system", "content": system_prompt}]
+
+ for msg in chat_history:
+ messages.append({"role": msg["role"], "content": msg["content"]})
+
+ # OpenAI
+ if "gpt" in model or any(model_data.get("model_id") == model for model_data in st.session_state.terminology_data.get("models", [])):
+ # استخدام OpenAI API
+ openai.api_key = self.api_key
+
+ response = openai.chat.completions.create(
+ model=model,
+ messages=messages,
+ temperature=0.7
+ )
+
+ return response.choices[0].message.content
+
+ # Anthropic
+ elif "claude" in model and self.anthropic_api_key:
+ # استخدام Anthropic API
+ from anthropic import Anthropic
+
+ # تعديل الرسائل لتتناسب مع صيغة Anthropic
+ anthropic_messages = []
+ for msg in messages[1:]: # تخطي رسالة النظام
+ anthropic_messages.append({"role": msg["role"], "content": msg["content"]})
+
+ anthropic_client = Anthropic(api_key=self.anthropic_api_key)
+
+ response = anthropic_client.messages.create(
+ model=model,
+ max_tokens=2000,
+ system=system_prompt,
+ messages=anthropic_messages,
+ temperature=0.7
+ )
+
+ return response.content[0].text
+
+ else:
+ return "النموذج المختار غير مدعوم حالياً."
+
+ except Exception as e:
+ return f"عذراً، حدث خطأ أثناء معالجة طلبك: {str(e)}"
+
+ def _save_terminology_data(self):
+ """حفظ بيانات المصطلحات"""
+ try:
+ # التأكد من وجود المجلد
+ os.makedirs(os.path.dirname(self.terminology_file), exist_ok=True)
+
+ # حفظ البيانات
+ with open(self.terminology_file, 'w', encoding='utf-8') as f:
+ json.dump(st.session_state.terminology_data, f, ensure_ascii=False, indent=2)
+
+ except Exception as e:
+ st.error(f"حدث خطأ أثناء حفظ البيانات: {str(e)}")
+
+
+# تشغيل النموذج بشكل مستقل
+def main():
+ """تشغيل وحدة تخصيص وضبط نماذج الذكاء الاصطناعي بشكل مستقل"""
+ # تهيئة الواجهة
+ st.set_page_config(
+ page_title="تخصيص وضبط نماذج الذكاء الاصطناعي | WAHBi AI",
+ page_icon="🧠",
+ layout="wide",
+ initial_sidebar_state="expanded",
+ menu_items={
+ 'Get Help': 'mailto:support@wahbi-ai.com',
+ 'Report a bug': 'mailto:support@wahbi-ai.com',
+ 'About': 'وحدة تخصيص وضبط نماذج الذكاء الاصطناعي للمصطلحات التعاقدية المتخصصة - جزء من نظام WAHBi AI لتحليل المناقصات'
+ }
+ )
+
+ # تهيئة وحدة الضبط
+ model_finetuning = ModelFinetuning()
+
+ # عرض واجهة الوحدة
+ model_finetuning.render()
+
+# تشغيل النموذج عند استدعاء الملف مباشرة
+if __name__ == "__main__":
+ main()
\ No newline at end of file