Update calendar_rag.py

calendar_rag.py

@@ -119,6 +119,52 @@ class TuitionFee:
     regular_fee: RegularFee
     late_payment_fee: LatePaymentFee
     
+@dataclass
+class ModelConfig:
+    openai_api_key: str
+    embedder_model: str = "sentence-transformers/paraphrase-multilingual-mpnet-base-v2"
+    openai_model: str = "gpt-4o"
+    temperature: float = 0.7
+
+@dataclass
+class RetrieverConfig:
+    top_k: int = 5
+
+@dataclass
+class CacheConfig:
+    enabled: bool = True
+    cache_dir: Path = Path("./cache")
+    ttl: int = 86400  # 24 hours
+
+@dataclass
+class ProcessingConfig:
+    batch_size: int = 32
+
+@dataclass
+class LocalizationConfig:
+    enable_thai_normalization: bool = True
+
+@dataclass
+class PipelineConfig:
+    model: ModelConfig
+    retriever: RetrieverConfig = field(default_factory=RetrieverConfig)
+    cache: CacheConfig = field(default_factory=CacheConfig)
+    processing: ProcessingConfig = field(default_factory=ProcessingConfig)
+    localization: LocalizationConfig = field(default_factory=LocalizationConfig)
+
+@dataclass
+class Scholarship:
+    title: str
+    institution: str
+    semester: str
+    program_type: str
+    funding_details: str
+    eligibility_requirements: str
+    application_process: str
+    required_documents: str
+    selection_process: str
+    authority: str
+    event_type: str = 'scholarship'
     
 class OpenAIDateParser:
     """Uses OpenAI to parse complex Thai date formats"""
@@ -413,40 +459,7 @@ class CacheManager:
         """Cache document"""
         self.document_cache[doc_id] = (document, datetime.now())
         self._save_cache("documents", self.document_cache)
-
-@dataclass
-class ModelConfig:
-    openai_api_key: str
-    embedder_model: str = "sentence-transformers/paraphrase-multilingual-mpnet-base-v2"
-    openai_model: str = "gpt-4o"
-    temperature: float = 0.7
-
-@dataclass
-class RetrieverConfig:
-    top_k: int = 5
-
-@dataclass
-class CacheConfig:
-    enabled: bool = True
-    cache_dir: Path = Path("./cache")
-    ttl: int = 86400  # 24 hours
-
-@dataclass
-class ProcessingConfig:
-    batch_size: int = 32
-
-@dataclass
-class LocalizationConfig:
-    enable_thai_normalization: bool = True
-
-@dataclass
-class PipelineConfig:
-    model: ModelConfig
-    retriever: RetrieverConfig = field(default_factory=RetrieverConfig)
-    cache: CacheConfig = field(default_factory=CacheConfig)
-    processing: ProcessingConfig = field(default_factory=ProcessingConfig)
-    localization: LocalizationConfig = field(default_factory=LocalizationConfig)
-
+    
 def create_default_config(api_key: str) -> PipelineConfig:
     """
     Create a default pipeline configuration with optimized settings for Thai language processing.
@@ -823,6 +836,90 @@ class CalendarDataProcessor:
         )
         
         return [tuition_fee]
+    
+    @staticmethod
+    def extract_scholarships(json_data: Dict) -> List[Scholarship]:
+        """Extract and structure scholarship information into Scholarship objects"""
+        scholarship_data = json_data.get('scholarship_details', {})
+        
+        if not scholarship_data:
+            return []
+        
+        # Extract program info
+        program_info = scholarship_data.get('program_info', {})
+        title = program_info.get('title', '')
+        institution = program_info.get('institution', '')
+        semester = program_info.get('semester', '')
+        program_type = program_info.get('program_type', '')
+        
+        # Extract and format funding details
+        funding_data = scholarship_data.get('funding_details', {})
+        funding_details = f"""จำนวนทุน: {funding_data.get('number_of_scholarships', 'ไม่ระบุ')}
+    จำนวนเงิน: {funding_data.get('amount_per_scholarship', 'ไม่ระบุ')}
+    ระยะเวลา: {funding_data.get('duration', 'ไม่ระบุ')}
+    จำนวนเงินรวม: {funding_data.get('total_amount', 'ไม่ระบุ')}"""
+        
+        # Extract and format eligibility requirements
+        eligibility_data = scholarship_data.get('eligibility_requirements', {})
+        academic_req = eligibility_data.get('academic', {})
+        general_req = eligibility_data.get('general', {})
+        
+        eligibility_requirements = f"""คุณสมบัติทางวิชาการ:
+    - ระดับการศึกษา: {academic_req.get('level', 'ไม่ระบุ')}
+    - สถานะการลงทะเบียน: {academic_req.get('enrollment_status', 'ไม่ระบุ')}
+    - ข้อกำหนดวิทยานิพนธ์: {academic_req.get('thesis_requirement', 'ไม่ระบุ')}
+    - ข้อกำหนด Manuscript: {academic_req.get('manuscript_requirement', 'ไม่ระบุ')}
+    - เกรดเฉลี่ยขั้นต่ำ: {academic_req.get('minimum_gpa', 'ไม่ระบุ')}
+
+    คุณสมบัติทั่วไป:
+    - สถานะการลงทะเบียน: {general_req.get('enrollment_status', 'ไม่ระบุ')}
+    - ความประพฤติ: {general_req.get('conduct', 'ไม่ระบุ')}"""
+        
+        # Extract and format application process
+        app_process_data = scholarship_data.get('application_process', {})
+        application_process = f"""กำหนดส่ง: {app_process_data.get('deadline', 'ไม่ระบุ')}
+    วิธีการส่ง: {app_process_data.get('submission_method', 'ไม่ระบุ')}"""
+        
+        # Extract and format required documents
+        docs_data = scholarship_data.get('required_documents', {})
+        mandatory_docs = docs_data.get('mandatory', [])
+        submission_format = docs_data.get('submission_format', '')
+        
+        required_documents = f"""เอกสารที่ต้องใช้:
+    {chr(10).join(f'- {doc}' for doc in mandatory_docs)}
+
+    รูปแบบการส่ง: {submission_format}"""
+        
+        # Extract and format selection process
+        selection_data = scholarship_data.get('selection_process', {})
+        selection_process = f"""วิธีการคัดเลือก: {selection_data.get('method', 'ไม่ระบุ')}
+    วันสัมภาษณ์: {selection_data.get('interview_date', 'ไม่ระบุ')}
+    เวลาสัมภาษณ์: {selection_data.get('interview_time', 'ไม่ระบุ')}
+    สถานที่: {selection_data.get('location', 'ไม่ระบุ')}
+    ประกาศผล: {selection_data.get('result_announcement', 'ไม่ระบุ')}"""
+        
+        # Extract and format authority
+        authority_data = scholarship_data.get('authority', {})
+        authority = f"""ลงนามโดย: {authority_data.get('signed_by', 'ไม่ระบุ')}
+    ตำแหน่ง: {authority_data.get('position', 'ไม่ระบุ')}
+    วันที่: {authority_data.get('date', 'ไม่ระบุ')}"""
+        
+        # Create Scholarship object
+        scholarship = Scholarship(
+            title=title,
+            institution=institution,
+            semester=semester,
+            program_type=program_type,
+            funding_details=funding_details,
+            eligibility_requirements=eligibility_requirements,
+            application_process=application_process,
+            required_documents=required_documents,
+            selection_process=selection_process,
+            authority=authority,
+            event_type='scholarship'
+        )
+        
+        return [scholarship]
 
 class HybridDocumentStore:
     """Enhanced document store with hybrid retrieval capabilities"""
@@ -922,7 +1019,9 @@ class HybridDocumentStore:
                     course_structure: Optional[List[CourseStructure]] = None,
                     study_plans: Optional[List[StudyPlan]] = None,
                     program_details: Optional[List[ProgramDetailInfo]] = None,
-                    tuition_fees: Optional[List[TuitionFee]] = None):
+                    tuition_fees: Optional[List[TuitionFee]] = None,
+                    scholarships: Optional[List[Scholarship]] = None):
+        
         """Add events and additional data with caching"""
         documents = []
         added_events = set()  # Track added events to prevent duplicates
@@ -1167,6 +1266,43 @@ class HybridDocumentStore:
                 )
                 documents.append(doc)
         
+        # Process scholarships
+        if scholarships:
+            for scholarship in scholarships:
+                scholarship_text = f"""
+                ทุนการศึกษา: {scholarship.title}
+                
+    สถาบัน: {scholarship.institution}
+    ภาคเรียน: {scholarship.semester}
+    หลักสูตร: {scholarship.program_type}
+                
+    รายละเอียดทุน:
+    {scholarship.funding_details}
+                
+    คุณสมบัติผู้สมัคร:
+    {scholarship.eligibility_requirements}
+    
+    กระบวนการสมัคร:
+    {scholarship.application_process}
+    
+    เอกสารที่ต้องใช้:
+    {scholarship.required_documents}
+    
+    กระบวนการคัดเลือก:
+    {scholarship.selection_process}
+    
+    หน่วยงานผู้รับผิดชอบ:
+    {scholarship.authority}
+                """
+                
+                doc = Document(
+                    id=self._generate_unique_id(),
+                    content=scholarship_text.strip(),
+                    embedding=self._compute_embedding(scholarship_text),
+                    meta={'event_type': 'scholarship'}
+                )
+                documents.append(doc)
+        
         batch_size = 10
         for i in range(0, len(documents), batch_size):
             batch = documents[i:i + batch_size]
@@ -1211,9 +1347,6 @@ class HybridDocumentStore:
             query=query
         )["documents"]
         
-        if event_type == "program_details":
-            weight_semantic = 0.3  # Give more weight to keyword matching
-        
         # Combine results using score fusion
         combined_results = self._merge_results(
             semantic_results=semantic_results,
@@ -1438,6 +1571,8 @@ class AdvancedQueryProcessor:
         3. **โครงสร้างหลักสูตร (curriculum)**: รายละเอียดเกี่ยวกับวิชาเรียน หน่วยกิต และแผนการศึกษา  
         4. **ค่าเล่าเรียน (fees)**: ข้อมูลเกี่ยวกับค่าใช้จ่ายในการศึกษา ค่าธรรมเนียม และทุนการศึกษา  
         5. **แผนการศึกษารายปี (study_plan)**: ข้อมูลแผนการเรียนแบ่งตามชั้นปีและภาคการศึกษา รายละเอียดรายวิชาที่ต้องลงทะเบียนในแต่ละเทอม และจำนวนหน่วยกิตรวม  
+        6. **ทุนการศึกษา (scholarships)**: ข้อมูลเกี่ยวกับทุนการศึกษาที่มีให้สำหรับนักศึกษา รวมถึงคุณสมบัติและวิธีการสมัคร
+        7. **อื่นๆ (other)**: คำถามที่ไม่เข้าหมวดหมู่ข้างต้น หรือมีความไม่แน่นอนสูงในการจำแนกประเภท
 
         **คำถาม**: {{query}}  
 
@@ -1513,6 +1648,16 @@ class AdvancedQueryProcessor:
             "response_format": "detailed",  
             "uncertainty": "low"  
         }  
+        
+        Input: "มีทุนการศึกษาอะไรบ้า"  
+        Output: {  
+            "event_type": "scholarships",  
+            "year": null,  
+            "semester": null,  
+            "key_terms": ["ช่วย", "ทุนการศึกษา", "ทุน"],  
+            "response_format": "detailed",  
+            "uncertainty": "low"  
+        }
 
         กรุณาตอบเป็นภาษาไทยและตรวจสอบให้แน่ใจว่า JSON มีโครงสร้างที่ถูกต้อง  
             """
@@ -1590,6 +1735,10 @@ class AdvancedQueryProcessor:
                 analysis['event_type'] = 'fees'
             elif any(keyword in query.lower() for keyword in ['หน่วยกิต', 'วิชา', 'หลักสูตร', 'แผนการเรียน', 'วิชาเลือก', 'วิชาบังคับ', 'วิชาหลัก', 'หมวดวิชา']):
                 analysis['event_type'] = 'curriculum'
+            elif any(keyword in query.lower() for keyword in ['ทุนการศึกษา', 'ทุน', 'scholarship', 'financial', 'aid', 'funding']):
+                analysis['event_type'] = 'scholarships'
+            elif any(keyword in query.lower() for keyword in ['ติดต่อ', 'contact', 'สอบถาม', 'ข้อมูลการติดต่อ']):
+                analysis['event_type'] = 'contact'
             return {
                 "original_query": query,
                 **analysis
@@ -1622,6 +1771,7 @@ class AcademicCalendarRAG:
         self.course_structure = []
         self.study_plans = []
         self.tuition_fees = []
+        self.scholarships = []
     
     def add_to_conversation(self, role: str, content: str):
         """Add a message to the conversation history"""
@@ -1630,6 +1780,7 @@ class AcademicCalendarRAG:
         if len(self.conversation_history) > self.max_history_length * 2:  # Each exchange is 2 messages
             self.conversation_history = self.conversation_history[-(self.max_history_length * 2):]
     
+    # Fixed load_data method (added missing comma)
     def load_data(self, json_data: Dict):
         """Load and process all data sources"""
         try:
@@ -1645,6 +1796,7 @@ class AcademicCalendarRAG:
             self.course_structure = self.data_processor.extract_course_structure(json_data)
             self.study_plans = self.data_processor.extract_program_study_plan(json_data)
             self.tuition_fees = self.data_processor.extract_fees(json_data)
+            self.scholarships = self.data_processor.extract_scholarships(json_data)
             
             self.document_store.add_events(
                 events=self.calendar_events,
@@ -1652,7 +1804,8 @@ class AcademicCalendarRAG:
                 contact_details=self.contact_details,
                 course_structure=self.course_structure,
                 study_plans=self.study_plans,
-                tuition_fees=self.tuition_fees
+                tuition_fees=self.tuition_fees,  
+                scholarships=self.scholarships
             )
             
         except Exception as e:
@@ -1755,9 +1908,78 @@ class AcademicCalendarRAG:
         
 #         pipeline.load_data(raw_data)
         
-#         # Test queries with different semantic weights
-#         queries = ["ค่าเทอมเท่าไหร่","เปิดเรียนวันไหน","ขั้นตอนการสมัครที่สาขานี้มีอะไรบ้าง","ต้องใช้ระดับภาษาอังกฤษเท่าไหร่ในการสมัครเรียนที่นี้","ถ้าจะไปติดต่อมาหลายต้องลง mrt อะไร","มีวิชาหลักเเละวิชาเลือกออะไรบ้าง", "ปีที่ 1 เทอม 1 ต้องเรียนอะไรบ้าง", "ปีที่ 2 เทอม 1 ต้องเรียนอะไรบ้าง"]
-#         # queries = ["ปีที่ 1 เทอม 1 ต้องเรียนอะไรบ้าง"]
+#         # # # Test queries with different semantic weights
+#         # queries = [
+#         #     "วันเปิดเรียนภาคเรียนที่ 1 ปีการศึกษา 2567 คือวันที่เท่าไร?",
+#         # ]
+#         queries = [
+#             "มีทุนกรศึกษาอะไรบ้าง ทั้งหมด",
+# # "ภาคเรียนที่ 1/2567 เปิดเรียนวันไหน?",
+# # "วันสุดท้ายของการลงทะเบียนเรียนและชำระเงินค่าธรรมเนียม ภาค 1/2567 คือวันไหน?",
+# # "กำหนดการสอบปากเปล่าปริญญานิพนธ์ ภาค 1/2567 คือช่วงไหน?",
+# # "วันสุดท้ายของการขอถอนรายวิชาเรียน ภาค 1/2567 คือวันไหน?",
+# # "วันหยุดชดเชยวันอาสาฬบูชาคือวันไหน?",
+# # "วันสุดท้ายที่อาจารย์ต้องส่งผลการสอบ ภาค 1/2567 คือวันไหน?",
+# # "กำหนดการยื่นขอแต่งตั้งอาจารย์ที่ปรึกษา (บว.410) ภาคปลายคือวันไหน?",
+# # "วันสุดท้ายของการสอบเค้าโครงปริญญานิพนธ์ ภาค 2/2567 คือวันไหน?",
+# # "วันหยุดเนื่องในวันปิยมหาราชคือวันไหน?",
+# # "วันสุดท้ายของการยื่นแบบขอแต่งตั้งกรรมการสอบปากเปล่าฯ (บว.430) ภาคปลายคือวันไหน?",
+# # "นิสิตสามารถยื่นเอกสารขอขยายเวลาการศึกษาได้ถึงวันไหน?",
+# # "วันสุดท้ายของการให้บริการคลินิก i-Thesis ภาค 1/2567 คือวันไหน?",
+# # "กำหนดการวันสุดท้ายของการสอบวัดคุณสมบัติระดับปริญญาเอก ภาค 2/2567 คือวันไหน?",
+# # "วันสิ้นสุดการศึกษา ภาคเรียนที่ 1 ปีการศึกษา 2567 คือวันไหน?",
+# # "วันสุดท้ายที่นิสิตประเมิน ปค.003 และ ปค.004 ภาค 2/2567 คือวันไหน?",
+# # "วันสุดท้ายที่คณะต้องส่งผลการแก้สัญลักษณ์ I ภาค 1/2567 คือวันไหน?",
+# # "กำหนดการยื่นแบบขอแต่งตั้งกรรมการสอบเค้าโครงฯ ปริญญานิพนธ์ ภาคต้นคือวันไหน?",
+# # "วันสุดท้ายของการส่งบทความวิจัยที่ตีพิมพ์ของนิสิตที่ประสงค์จะสำเร็จการศึกษา ภาค 2/2567 คือวันไหน?",
+# # "ปฐมนิเทศนิสิตใหม่ระดับบัณฑิตศึกษา ภาคปลาย จัดขึ้นวันไหน?",
+# # "วันหยุดเนื่องในวันพ่อแห่งชาติคือวันไหน?",
+
+# # "หลักสูตร MSDS ปี 2567 เปิดรับผู้สำเร็จการศึกษาระดับปริญญาตรีสาข���ใด?",
+# # "ช่องทางการสมัครหลักสูตร MSDS คือช่องทางไหน?",
+# # "อีเมลสำหรับติดต่อสอบถามข้อมูลเกี่ยวกับหลักสูตร MSDS คืออีเมลอะไร?",
+# # "ผู้สมัครหลักสูตร MSDS ต้องมีผลคะแนน TOEFL iBT เท่าไหร่จึงจะได้รับการยกเว้นไม่ต้องสอบวิชาภาษาอังกฤษ?",
+# # "เอกสารใดบ้างที่ผู้สมัครหลักสูตร MSDS ต้องยื่น?",
+# # "ผู้สมัครหลักสูตร MSDS ที่มีผลสอบ SWU-SET ระดับใด จึงจะได้รับการยกเว้นไม่ต้องสอบวิชาภาษาอังกฤษทั่วไป?",
+# # "ขั้นตอนการคัดเลือกผู้เข้าศึกษาหลักสูตร MSDS มีอะไรบ้าง?",
+# # "ผู้สมัครหลักสูตร MSDS ต้องยื่นเอกสารในรูปแบบไฟล์ใด?",
+# # "หากชื่อในเอกสารของผู้สมัครหลักสูตร MSDS ไม่ตรงกัน ต้องยื่นเอกสารอะไรเพิ่มเติม?",
+# # "ผู้สมัครชาวไทยที่จบการศึกษาปริญญาโทจากต่างประเทศที่ใช้ภาษาอังกฤษในการเรียนการสอน ต้องยื่นผลคะแนนภาษาอังกฤษหรือไม่?",
+
+# # "ภาควิชาวิทยาการคอมพิวเตอร์ คณะวิทยาศาสตร์ มหาวิทยาลัยศรีนครินทรวิโรฒ ประสานมิตร ตั้งอยู่ที่อาคารใด?",
+# # "หมายเลขโทรศัพท์สำหรับติดต่อภาควิชาวิทยาการคอมพิวเตอร์คือหมายเลขอะไร?",
+# # "หากต้องการเดินทางไปภาควิชาวิทยาการคอมพิวเตอร์ โดยใช้บริการเรือโดยสารคลองแสนแสบ ต้องลงที่ท่าเรือใด?",
+# # "Facebook Page ของหลักสูตร MSDS คือ Page ไหน?",
+# # "หากเดินทางโดย BTS ไปภาควิชาวิทยาการคอมพิวเตอร์ ควรลงสถานีใด?",
+
+# # "หลักสูตร MSDS 2567 มีจำนวนหน่วยกิตรวมทั้งหมดกี่หน่วยกิต?",
+# # "วิชา DS501 คือวิชาอะไร?",
+# # "วิชา DS510 และ DS511 อยู่ในหมวดวิชาใด?",
+# # "วิชา GRI682 มีจำนวนกี่หน่วยกิต?",
+# # "วิชาบังคับของหลักสูตร MSDS 2567 มีจำนวนกี่หน่วยกิต?",
+# # "วิชา DS521 เกี่ยวข้องกับหัวข้อใด?",
+# # "วิชาพื้นฐานของหลักสูตร MSDS 2567 มีเกรดการประเมินผลเป็นอย่างไร?",
+# # "วิชา DS660 คือวิชาอะไร?",
+# # "วิชา GRI682 มีวิชาบังคับก่อนหน้าคือวิชาอะไร?",
+# # "นิสิตหลักสูตร MSDS 2567 ต้องเรียนวิชาเลือกอย่างน้อยกี่หน่วยกิต?",
+# # "วิชา DS502 คือวิชาอะไร?",
+# # "หลักสูตร MSDS 2567 มีชื่อเต็มภาษาอังกฤษว่าอะไร?",
+
+# # "หลักสูตร MSDS 2567 แผน 2 แบบวิชาชีพ มีระยะเวลาเรียนกี่ปี?",
+# # "วิชา DS514 และ DS515 เรียนในปีที่เท่าไหร่ ภาคเรียนที่เท่าไหร่?",
+# # "วิชา DS518 มีจำนวนกี่หน่วยกิต?",
+# # "วิชา DS610 และ DS611 เรียนเกี่ยวกับอะไร?",
+# # "ในปีที่ 2 ภาคเรียนที่ 2 นิสิตต้องเรียนวิชาอะไรบ้าง?",
+# # "วิชา DS516 และ DS517 เรียนเกี่ยวกับอะไร?",
+# # "วิชา GRI682 เรียนในปีที่เท่าไ��ร่ ภาคเรียนที่เท่าไหร่?",
+# # "ในแต่ละภาคเรียนของปีที่ 1 นิสิตต้องเรียนวิชาหลักทั้งหมดกี่หน่วยกิต?",
+# # "วิชา DS510 มีจำนวนกี่หน่วยกิต?",
+# # "วิชา DS519 มีรูปแบบการเรียนเป็นแบบใด?",
+
+# # "ค่าเล่าเรียนหลักสูตร MSDS 2567 ต่อภาคการศึกษาคือเท่าไหร่?",
+# # "หากชำระค่าเล่าเรียนล่าช้า จะมีค่าปรับเท่าไหร่?",
+# # "ค่าปรับชำระล่าช้า มีเงื่อนไขอย่างไร?",
+# ] 
 #         print("=" * 80)
         
 #         for query in queries: