diff --git "a/modules/ai_finetuning/model_finetuning.py" "b/modules/ai_finetuning/model_finetuning.py"
deleted file mode 100644--- "a/modules/ai_finetuning/model_finetuning.py"
+++ /dev/null
@@ -1,2081 +0,0 @@
-#!/usr/bin/env python
-# -*- coding: utf-8 -*-
-
-"""
-وحدة تخصيص وضبط نماذج الذكاء الاصطناعي للمصطلحات التعاقدية المتخصصة
-تتيح هذه الوحدة إمكانية تدريب نماذج الذكاء الاصطناعي على المصطلحات المتخصصة في مجال العقود والمناقصات
-"""
-
-import os
-import sys
-import streamlit as st
-import pandas as pd
-import numpy as np
-import json
-import time
-import datetime
-from typing import List, Dict, Any, Optional, Tuple
-import openai
-import matplotlib.pyplot as plt
-import tempfile
-import csv
-import re
-import random
-from pathlib import Path
-
-# إضافة مسار النظام للوصول للملفات المشتركة
-sys.path.append(os.path.abspath(os.path.join(os.path.dirname(__file__), "../..")))
-
-# استيراد مكونات واجهة المستخدم
-from utils.components.header import render_header
-from utils.components.credits import render_credits
-from utils.helpers import format_number, format_currency, styled_button
-
-
-class ModelFinetuning:
- """فئة تخصيص وضبط نماذج الذكاء الاصطناعي"""
-
- def __init__(self):
- """تهيئة وحدة تخصيص وضبط نماذج الذكاء الاصطناعي"""
- # تهيئة مجلدات حفظ البيانات
- self.data_dir = os.path.abspath(os.path.join(os.path.dirname(__file__), "../../data/finetuning"))
- os.makedirs(self.data_dir, exist_ok=True)
-
- # تهيئة الملفات والمجلدات الفرعية
- self.training_data_dir = os.path.join(self.data_dir, "training_data")
- os.makedirs(self.training_data_dir, exist_ok=True)
-
- self.models_dir = os.path.join(self.data_dir, "models")
- os.makedirs(self.models_dir, exist_ok=True)
-
- self.terminology_file = os.path.join(self.data_dir, "terminology.json")
-
- # تهيئة حالة الجلسة
- if 'terminology_data' not in st.session_state:
- if os.path.exists(self.terminology_file):
- with open(self.terminology_file, 'r', encoding='utf-8') as f:
- st.session_state.terminology_data = json.load(f)
- else:
- st.session_state.terminology_data = {
- "terms": [],
- "training_examples": [],
- "models": []
- }
-
- if 'active_training_job' not in st.session_state:
- st.session_state.active_training_job = None
-
- if 'training_results' not in st.session_state:
- st.session_state.training_results = []
-
- # ضبط API مفاتيح الذكاء الاصطناعي
- self.api_key = os.environ.get("OPENAI_API_KEY")
- self.anthropic_api_key = os.environ.get("ANTHROPIC_API_KEY")
-
- def render(self):
- """عرض واجهة وحدة تخصيص وضبط نماذج الذكاء الاصطناعي"""
- # عرض الشعار والعنوان الرئيسي
- render_header("تخصيص وضبط نماذج الذكاء الاصطناعي للمصطلحات التعاقدية المتخصصة")
-
- # تبويبات الوحدة
- tabs = st.tabs([
- "قاموس المصطلحات المتخصصة",
- "إعداد بيانات التدريب",
- "تدريب النموذج",
- "اختبار النموذج",
- "المساعد المتخصص"
- ])
-
- # تبويب قاموس المصطلحات المتخصصة
- with tabs[0]:
- self._render_terminology_dictionary()
-
- # تبويب إعداد بيانات التدريب
- with tabs[1]:
- self._render_training_data_setup()
-
- # تبويب تدريب النموذج
- with tabs[2]:
- self._render_model_training()
-
- # تبويب اختبار النموذج
- with tabs[3]:
- self._render_model_testing()
-
- # تبويب المساعد المتخصص
- with tabs[4]:
- self._render_specialized_assistant()
-
- # عرض حقوق النشر
- render_credits()
-
- def _render_terminology_dictionary(self):
- """عرض قاموس المصطلحات المتخصصة"""
- st.markdown("""
-
-
📚 قاموس المصطلحات المتخصصة
-
أضف وحرر المصطلحات الفنية المتخصصة في مجال العقود والمناقصات باللغة العربية.
-
هذه المصطلحات ستستخدم لتدريب وضبط نماذج الذكاء الاصطناعي للتعرف عليها بدقة عالية.
-
-
🔬 إعداد بيانات التدريب
-
قم بإنشاء وتحرير أمثلة التدريب لضبط نماذج الذكاء الاصطناعي على المصطلحات المتخصصة.
-
يمكنك إنشاء أمثلة يدوياً أو استيرادها من ملف أو توليدها تلقائياً باستخدام نماذج الذكاء الاصطناعي الحالية.
-
-
🧠 تدريب النموذج
-
قم بتدريب نموذج الذكاء الاصطناعي على المصطلحات المتخصصة باستخدام أمثلة التدريب.
-
يمكنك اختيار النموذج الأساسي والإعدادات المناسبة لعملية التدريب.
-
-
🧪 اختبار النموذج
-
اختبر نموذج الذكاء الاصطناعي المدرب على المصطلحات المتخصصة.
-
يمكنك تجريب أسئلة مختلفة ومقارنة النتائج مع النماذج الأخرى.
-
-
🤖 المساعد المتخصص
-
استخدم المساعد الذكي المتخصص في المصطلحات التعاقدية الهندسية.
-
يمكنك طرح أسئلة حول المصطلحات وتفسيراتها واستخداماتها.
-
- أنت: {message["content"]}
-
- """, unsafe_allow_html=True)
- else:
- st.markdown(f"""
-
- المساعد: {message["content"]}
-
- """, unsafe_allow_html=True)
-
- # إدخال رسالة جديدة
- user_input = st.text_area("اكتب رسالتك هنا", key="assistant_input", height=100)
-
- # أزرار التحكم
- col1, col2, col3 = st.columns([1, 1, 1])
-
- with col1:
- if styled_button("إرسال", key="send_message", type="primary", icon="✉️"):
- if not user_input:
- st.error("يرجى كتابة رسالة للإرسال.")
- else:
- # إضافة رسالة المستخدم إلى المحادثة
- st.session_state.chat_history.append({
- "role": "user",
- "content": user_input
- })
-
- # الحصول على الرد من النموذج
- with st.spinner("المساعد يفكر..."):
- # تحميل المصطلحات والتعريفات
- terms_with_definitions = {}
- for term in st.session_state.terminology_data.get("terms", []):
- terms_with_definitions[term.get("term")] = term.get("definition")
-
- # الحصول على رد المساعد
- response = self._get_assistant_response(
- model=st.session_state.assistant_model,
- chat_history=st.session_state.chat_history,
- terms_with_definitions=terms_with_definitions
- )
-
- # إضافة رد المساعد إلى المحادثة
- st.session_state.chat_history.append({
- "role": "assistant",
- "content": response
- })
-
- # إعادة تشغيل لتحديث واجهة المستخدم
- st.rerun()
-
- with col2:
- if styled_button("مسح المحادثة", key="clear_chat", type="danger", icon="🗑️"):
- st.session_state.chat_history = []
- st.rerun()
-
- with col3:
- if styled_button("اقتراح أسئلة", key="suggest_questions", type="secondary", icon="💡"):
- # عرض أسئلة مقترحة
- st.markdown("### أسئلة مقترحة")
-
- # الحصول على المصطلحات المتاحة
- terms = [term.get("term") for term in st.session_state.terminology_data.get("terms", [])]
-
- # إنشاء أسئلة مقترحة
- suggested_questions = [
- f"ما هو تعريف مصطلح {term}؟" for term in random.sample(terms, min(3, len(terms)))
- ]
-
- suggested_questions.extend([
- "كيف يتم حساب المحتوى المحلي في مشاريع البنية التحتية؟",
- "ما هي أهم البنود التي يجب الانتباه لها في العقود الهندسية؟",
- "ما الفرق بين الضمان الابتدائي والضمان النهائي؟",
- "كيف يمكن تقييم المخاطر في مشاريع البناء؟"
- ])
-
- # عرض الأسئلة المقترحة
- for i, question in enumerate(suggested_questions):
- if styled_button(question, key=f"suggested_q_{i}", type="info", icon="❓"):
- # إضافة السؤال المقترح إلى المحادثة
- st.session_state.chat_history.append({
- "role": "user",
- "content": question
- })
-
- # الحصول على الرد من النموذج
- with st.spinner("المساعد يفكر..."):
- # تحميل المصطلحات والتعريفات
- terms_with_definitions = {}
- for term in st.session_state.terminology_data.get("terms", []):
- terms_with_definitions[term.get("term")] = term.get("definition")
-
- # الحصول على رد المساعد
- response = self._get_assistant_response(
- model=st.session_state.assistant_model,
- chat_history=st.session_state.chat_history,
- terms_with_definitions=terms_with_definitions
- )
-
- # إضافة رد المساعد إلى المحادثة
- st.session_state.chat_history.append({
- "role": "assistant",
- "content": response
- })
-
- # إعادة تشغيل لتحديث واجهة المستخدم
- st.rerun()
-
- def _get_assistant_response(self, model, chat_history, terms_with_definitions):
- """الحصول على رد المساعد المتخصص"""
- try:
- # تجهيز المحتوى النظامي
- system_prompt = """أنت مساعد متخصص في عقود المقاولات والمناقصات باللغة العربية.
- مهمتك هي تقديم معلومات دقيقة ومفصلة حول المصطلحات التعاقدية والهندسية المتخصصة.
- قدم شرحاً واضحاً ومفهوماً للمصطلحات، مع أمثلة عملية عند الإمكان.
- استخدم لغة مهنية ودقيقة، مع مراعاة السياق الهندسي والقانوني للمصطلحات."""
-
- # إضافة المصطلحات إلى المحتوى النظامي
- if terms_with_definitions:
- system_prompt += "\n\nفيما يلي قائمة بالمصطلحات المتخصصة وتعريفاتها التي يجب عليك استخدامها في إجاباتك:\n\n"
- for term, definition in terms_with_definitions.items():
- system_prompt += f"- {term}: {definition}\n"
-
- # تحويل محادثة streamlit إلى صيغة مناسبة للـ API
- messages = [{"role": "system", "content": system_prompt}]
-
- for msg in chat_history:
- messages.append({"role": msg["role"], "content": msg["content"]})
-
- # OpenAI
- if "gpt" in model or any(model_data.get("model_id") == model for model_data in st.session_state.terminology_data.get("models", [])):
- # استخدام OpenAI API
- openai.api_key = self.api_key
-
- response = openai.chat.completions.create(
- model=model,
- messages=messages,
- temperature=0.7
- )
-
- return response.choices[0].message.content
-
- # Anthropic
- elif "claude" in model and self.anthropic_api_key:
- # استخدام Anthropic API
- from anthropic import Anthropic
-
- # تعديل الرسائل لتتناسب مع صيغة Anthropic
- anthropic_messages = []
- for msg in messages[1:]: # تخطي رسالة النظام
- anthropic_messages.append({"role": msg["role"], "content": msg["content"]})
-
- anthropic_client = Anthropic(api_key=self.anthropic_api_key)
-
- response = anthropic_client.messages.create(
- model=model,
- max_tokens=2000,
- system=system_prompt,
- messages=anthropic_messages,
- temperature=0.7
- )
-
- return response.content[0].text
-
- else:
- return "النموذج المختار غير مدعوم حالياً."
-
- except Exception as e:
- return f"عذراً، حدث خطأ أثناء معالجة طلبك: {str(e)}"
-
- def _save_terminology_data(self):
- """حفظ بيانات المصطلحات"""
- try:
- # التأكد من وجود المجلد
- os.makedirs(os.path.dirname(self.terminology_file), exist_ok=True)
-
- # حفظ البيانات
- with open(self.terminology_file, 'w', encoding='utf-8') as f:
- json.dump(st.session_state.terminology_data, f, ensure_ascii=False, indent=2)
-
- except Exception as e:
- st.error(f"حدث خطأ أثناء حفظ البيانات: {str(e)}")
-
-
-# تشغيل النموذج بشكل مستقل
-def main():
- """تشغيل وحدة تخصيص وضبط نماذج الذكاء الاصطناعي بشكل مستقل"""
- # تهيئة الواجهة
- st.set_page_config(
- page_title="تخصيص وضبط نماذج الذكاء الاصطناعي | WAHBi AI",
- page_icon="🧠",
- layout="wide",
- initial_sidebar_state="expanded",
- menu_items={
- 'Get Help': 'mailto:support@wahbi-ai.com',
- 'Report a bug': 'mailto:support@wahbi-ai.com',
- 'About': 'وحدة تخصيص وضبط نماذج الذكاء الاصطناعي للمصطلحات التعاقدية المتخصصة - جزء من نظام WAHBi AI لتحليل المناقصات'
- }
- )
-
- # تهيئة وحدة الضبط
- model_finetuning = ModelFinetuning()
-
- # عرض واجهة الوحدة
- model_finetuning.render()
-
-# تشغيل النموذج عند استدعاء الملف مباشرة
-if __name__ == "__main__":
- main()
\ No newline at end of file