بسم الله الرحمن الرحيم اليوم ان شاء الله بنكمل
الموضوع اللي بدأنا فيه المحاضرة الماضية اللي هو ال
decision ال trees قلنا انه احنا اللي بنزلنا من
الموضوع هذا هو انه نبني trees بناء على dataالتري
هذه بعدها كذا بنبني منها ال rule set مجموعة ال
rules اللي نعطيها ل ال express system عشان يعمل
عملية ال decision لل data اللي بتيجي له جديدة
فبنانا على ال data السابقة يكفي عندي أنا في الاخر
اللي هو ال column الأخير اللي هو ال column اللي
على أساسه انا بدي أو يعني بدي أصنف ال data على
أساسهفيها جدت عمدة اخرى عمدة اخرى بناسميها
attributes اللي انا بتضافها لإله في الآخر هو
decision tree بهذا الشكل بهذا الشكل اللي في الآخر
ال leaf nodes تبعتهاLeaf notes بتاعتها هي عبارة عن
classifications ال yes و ال no هي إجابة على السؤال
هل الشخص ده هيشتري و لا مش هيشتري إذا بتذكروا ال
table هذا بالاصل كان عبارة عن بينات جمعات عن ناس
اشتروا قد ما تقلهم دعاية و في بعض منهم اشتروا و
بعض منهم ماشتراش اللي هو ال computer يعني و جمعات
المعلومات عنهم سواء اللي اشتروا و لا ماشتروشالتي
احنا بنتهي بـ decision tree اللي بنصرلها بتنتهي بـ
leaf nodes فيها اللي هو classifications أصبح
المصار المؤدي من ال root تبقى ال tree إلى leaf
node هو عبارة عن بقدر أنا أترجمه إلى rule مظبوط
فعدي عدة مصارات بقدر أستمت منها هذه ال rulesفهمنا
هذا الكلام هنا وقفنا عند النقطة السؤال هو على أساس
ايش انا لما بشكل ال tree ببدأ من ال root node ال
root node هذه عبارة عن attribute واحدة من ال
attributes واحدة من ال attributes تبع ال table صح
واحدة من ال attributes تبع ال table ببدأ فيها
عملية splittingعملية ال splitting للعكس للعكس
للعكس للعكس للعكس للعكس للعكس للعكس للعكس للعكس
بنانة على ال two values هذوله صار split او بنانة
على ال attribute صار في split لناحية اللي هم جماعة
ال yes و جماعة ال no إلى هذا table سب تابل وهذا سب
تابل بستمر الأمر إلى أن هذا قولنا انه إلى أن نصل
إلى ال leaf notes قولنا انه السؤال اللي او الميارة
اللي على أساسه بنختار ليش احنا اخترنا student
ماخترناش مثلا ال age ولا ال income ولا ال credit
ratioالمعيار كان ال information gain ال
information gain ال
information
gain بدنا
ناخده من المعادلة هذه المعادلة هذهبنطلع الآن عليها
بالتفصيل احنا شوفنا ال example هذا صح؟ شوفنا ال
example هذا بنتطلع ال example هذا كيف انحسبت القيم
تبعته اولا لان انا في ادي المعادلات
هذي بندن استخدم ال secret الجدول هذا بمعنى ان انا
إن أنا بدي أحسب ال information gained لكل واحدة من
ال attributes فبدي أعمل جدول لكل واحدة من ال
attributes طبعا أنا مش هأعمل هو عادة ال system
اللي بيبنيلي ال decision trees بيعمل الحسبات هذه
كلها و بيطلعلي انه هذا بيطلعلي ال tree نهائيا يعني
بيطلعلي انه في الأول بعمل split على أساس ال
student بعدين اللي بعد بعد اللي بعده بس عشان يقرر
إذا كانت هي student ولا غيرها بيعملالـ table زي
هذا لكل واحد من ال attributes الان student ك
attribute بتطلع على انه اكم value لها yes و no صح
بينما القرر attributes زي مثلا ال age نرجع تاني لل
age ايش
كانت ال values المختلفة تبع ال age ها
في احد مثلا اقل من او يسوى تلاتين اقل من او يسوى
تلاتين من واحد تلاتين لاربعين فال age ك attribute
الى كم value؟ اكبر
من 40 هدولة تلاتة different values للattribute
ال income high و medium و lowالـ student بس yes و
no الـ credit ال rating يانما فيه و يانما اكسلان
فيه رأو اكسلان مظبوط فانا كل attribute فيها قدت
ايش قدت values اللي احنا بدنا نكوّن ال table إذا
انت .. إذا رجعت لل .. ال table تبع ال student
attribute فيها دي two values هي منهم اللي هم ال
yes و ال noالان بدي اشوف برضه يعني بدي ا .. ا ..
بدي احض عمود لل positive و عمود لل negative عمود
لل positive بمعنى ايش positive yes و no لأ بمعنى
انه حسب ال class النهائي اللي انا بدي اصنف على
اساسه ان هو اشتروه ولا مشتروش okay فجديش ال P هنا
بمعنى انه ا .. ا .. ا .. اشتروه و ال N بمعنى
مشتروه مشتروه okay الان لكل واحد من ال .. من ال
values تبع ال attributeهلاجي يعني الناس اللي هم
student هلاجي بعض منهم اشتروا بعض منهم لأ يعني
ممكن اللي student ماشترهاش و ممكن اللي student
اشتره مظبوط كذلك الحالة في ال age كذلك الحالة في
ال characterization هممكن اللي بيجي عندي ال table
تبع ال age بيجي
عندي أكم سطر تلاتة اللي هو less than or equal to
30 من 31 إلى 840 و بعدين اكبر من 40 لان كل فئة
منها دولة هيبقى فيه positive و هيبقى فيه negative
هذا القيمة اللي انا بضعها هنا هي قيمة ايش
ال I تبعت هذا ال value ال positive و ال negative
تبعت هذا ال valueخلّيني أقول مثلا هذا value نعطيه
تقيم 1,2,3,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1
,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1
,1,1,1
,1,1I ل P1 P2 N2 I ل P3 N3 او
P3
N3 او P3 N3 او P3 N3 او P3 N3 او P3 N3 او P3 N3 او
P3 N3 او P3 N3 او P3 N3 او P3 N3 او P3 N3 او P3 N3
N3 او P3 N3 او P3 N3 او P3 N3 او P3 N3 او P3 N3 او
P3 N3 او P3 N3 او P3 N3 او P3 N3 او P3 N3 او P3 N3
او P3 N3 او P3 N3 او P3 N3 او P3 N3 او P3 N3 او P3
N3أنا غيرت في المعادلة هذه الصيرة تبعها بس عشان
تبقى واضحة الأمور ان هو ال ratio هذا ال ratio هذا
ذكرتها في المحاضرة الماضية و هدي برضه ال ratio هذا
هذا أبقى عن نسبة ال positive على المجموعة أو الاخر
اللي هو نسبة ال negative على المجموعة المجموعة
اللي أنا عنها أنهي مجموعة هل مجموعة كل ال
attribute ولا مجموعةالـ value الواحد بداخل ال
attribute الان هنفسس في هذا الأمر بس المهم انه انا
لما بكتب P positive او P negative بقصد اذا P
positive بقصد ال positive على المجموعة اذا بكتب P
negative بقصد ال negative على المجموعة واضح فانا
هنا اش كتبت عن اشارة النقص هي تزامني ماجيتش بيها
بس كتبت HP plus صح اللي هيالـ positive على المجموع
look base 2 برضه نفسه صح ال positive على المجموع
ناجس P negative
صح اللي هو نسبة ال negative على المجموع look base
2 برضه ال negative على المجموع
طيب نأتي الأن نقوم بتفضيل هذا الكلام على ال
student attribute ال student attribute إذا بتذكروا
قدناهم احنا المحاضرة الماضية قدناهم طول عندي ال
positive كده؟ ال positive طلعهم ستة okay ستة
ايش؟ ستة students
6 student اشتروا واحد student ماشترقش نرجع تاني لل
table هم
هنا احنا اربع اتناش جداش منهم students اربع
اتناش هيبقى فيه عندك هاي واحد اتنين تلاتة اربع
خمسة ستة سبعة مظبوط سبعة students و جداش و سبعة مش
studentsيعني هى
student positive
و هى negative yes و هى no لأن yes student اشترى
جديش هى اشترى هى yes student اشترى
واحد اتنين تلت اربع خمسة ستة وهم سبعيه بيخلص اللي
هو واحد و اللي مااشتراهاش اللي هو بيناه اللي هو
هذا لأن no student واشتراه positive هاي واحد وهاي
اتنين هاي اتنين صح؟
وهاي وانت التالت
لو انا بدي اعمل نفس ال table هذا لمن؟ ل ال age
ليش مافيش ياندي يسولولة عندي اللي هم نسلة تلاتين و
واحد تلاتين الى اربعين و بعدين اكبر من اربعين
اربعين و اربعين تمام الى ان هي yes قوة انه اقل من
تلاتين اكتر من واحدة هي هذا وهي هذا وهي هذا وهي
هذا وهي هذا وخلاص
الخمسة هؤلاء طبعا بيضعوا عددهم هنا أنا بس عشان
أذكر ال .. الخمسة هؤلاء كم واحد منهم اشترى واحد
صح وهذا اتنين يبقى الإضاءة ماشتراش تلاتة لأن فيها
التانية واحد تلاتين هي واحد اتنينتلاتة هي أربعة
أربعة أكمل واحد منهم اشتراك هاي واحد هاي اتنين هاي
تلاتة كلهم كلهم أربعة صفر اللي ضايقين واحد اتنين
تلاتة المعادلة هنا دي تقول لي إنه أنا عشان أحسب
اللي كان لازم أحسب في الأولالـ I الـ information
يعني الـ gain تبع الكل ال class الكل ال class اللي
هو على بعضه بمعنى ان كل ال positive و كل ال
negative للكل بغض النظر عن ال value بغض النظر عن
ال value ليش لكل ال student اللي لم يجددش كل ال
positive تسعة لم يجدش كل ال negative خمسة لإن لو
بدي أحسب ال positive ratioplus تبع كل ال class تبع
كل ال .. كل ال attribute هو عبارة عن التسعة على
خمسة تسعة على خمسة على أربعة عشر ال negative ratio
خمسة على أربعة عشر صح؟ مصبوط؟ هذا الآن بدنا ناخده
لأنه هيكرر معاناةباس تو تبع التمانية هذا أسهل مثال
التلاتة ماهي القيمة اللى بترفعها اتنين قص هذا
القيمة عشان احصل على فهذا الكلام طبعا احنا يعني
بالأقل حاسبه بنسويه زي أجر سؤال في امتحانة و كده
بس المهم بيبقى فاهمين ايش يعني look base two و
look base ten لو مافيش ال two هنا معناته عيش ten
base tenطيب ايش الان هاتو نمشي معاه على حسبته اللي
هي وين موجودة في ال slide اللي هي اللي هي هالي
okay الايش بتطلع في الأول بتطلع ال I of P N
general P N general يعني كل ال attribute بعدين
بتطلع الايش لكل واحد من هدولة اللي هي I تبع P sub
N subيعني لكل مين value من ال values بدي أحسب ال
IPN بس في الأول ال IPN ال general هي جوعا عن هي
توقيت ناقص
في الأول 9 على 14 log 2 اللي هو مين برضه 9 على 14
ناقص الأن ال negative 5 على 14log base 2 هو خمسة
على اربعة اربعاش هذا الكلام في نهاية القمر يعطيني
الـ 0.944 الان
هدف حد ذاته ان انا عندي جزئية اخرى اللي هي ان انا
بدي اجي احسب ال .. بدي احسب ال entropy تبع ال A
entropy تبع ال A هي اجمالي حصة ضربالـ H مجموعة الـ
positive والـ negative تبع هذا ال .. هؤلاء اللي
هان values كل واحد من ال values مضروفة ال I تبعته
يبقى ان انا لان بدي احسب لكل value من دول ال
values سواء ان عندي student كثنو او عندي ايش واحد
اتنين تلاتة values بدي احسب لكل واحد اللي هو H
جدّيش هذا يعني مثلا عندي سولة دلوقتي جدّيش ال
positive و ال negative تبع ال value yes 6 زي ال
واحد سبعة okay هذا الكلام على ال total كله تبع ال
positive مع ال negative ال 14 بالظبط okay يعني
جدّيش ال proportion تبع هذا ال value من المجموعة
خلينا نيجي وين نحسبها هذه هي تموجد هنا okayالان
ايش حاسب اللي هو ستة
.. ايش احنا قلتنا اللي هو ال .. اه بدنا نحسب ..
بدنا نحسب الان ال ratios اللي هو ال P plus تبع مين
I بساوي yesواضح ال notation هي دي إيش قصدنا فيها
إحنا لو عملنا هيكة بنحكي عن ال plus أو ال positive
ratio تبقى كل ال attribute بس لما أقول I بساوي yes
يعني أنا بحكي بس عن .. فبساوي العدد تبعها لو 6 على
مجموعة ال positive و ال negative تبع ال attribute
تبع ال yes اللي هو 7 صح؟الان ال positive ال P
نيجاتيف لل ratio تبقى نيجاتيف لل yes برضه بيساويش
واحد على سبعة ايه القيم هذه بيستخدمها هنا في الاول
في ال term الاول وفي ال term التاني بيستخدمين اللي
هي واحد على سبعة هنا ستة على سبعة بيطلع معايا مين
مساجد وين
9-1 هذا الرقم اللي بدأت أضربه في ash بناء على
المعادلة هذه هذا هو هذا صح؟ بدأت أضربه في مين؟ في
ال P yes زائد ال positive yes وال negative yes على
ال ash ال total positive و negative تبع مين؟ تبع
ال attribute كلهاالـ P student زائد ال N student
انا بضع كلمة حرف ال A اختصار ال attribute هنا بضع
V اختصار ال value يعني ال value ا اقصد فيه yes او
no او هذا او هذا، مصمم؟ فإيش بيطلع معايا هذا
الكلام ال P زائد ال N تبع ال value اللي انا موجه
عليه لسه سبعة من الكل الاربع اتناش اللي هو النص
اللي هو النص طبعا هنا لل yes هيطلع النص بالزمن
عمود اخر بالزمن عمود اخر للقيمة هذه مش ضروري بس
واضحة ان هذا القيمة من وين جاية كيف بحسبها اللي هي
ال proportion تبع هذه ال value من المجموع تبع ال
attribute يعني ال positive و ال negative تبع هذه
ال value من ال positive و ال negative تبع ال
attribute كلهاطبعا انا في حالة ال student بما انهم
two values يبقى اذا هذا 7 من 14 يبقى التاني ال
value اللي هم السبعة التانية 7 على 14 طبعا هذا
بستوي ايش 0.5 وهذا هيطلع 0.5 طبعا بنفع اجي اقول
هنا y باختصار ل yes وهنا اجي اقول pn باختصار ل no
بنفح هيك هى ايه المخصصة اللى قولناها هى ال
attribute كلها طيب
هذا الرقم الان انا حسبته الآن بده اضربه في ال I
يعني بقوللي اضرب كل واحد لكل value اضرب هذا ال
ratio في ال I وجميع المضاريبمظبوط؟ هذا ال
summation يبقى أنا الآن لما بدي أعمل لل إيش بدي
أحسب لاحظ
أنا هنا بحط ال V اختصار لل value هو بيستخدم ال I
نفس الشيء لأن هذولة الآن تلاتة كل واحدة منهم ضد
القيمة في مين في ال ratio تبعهاو جمع المضارين هذا
هو الكلام اللى عمله عمل اولا شيء عمل اشي حسب ال 0
.59 ثم حسب لنه 0.987 لان هذه القيم لازم نخدها و
نضربها في
القيمة الأولى هذه الخمسة
هي هذه القيمة ضربها في مين؟ ضربها في مين؟ في مين؟
في النسبة هذه التي هي السبعة على أربعة عشر صح؟ فهي
zero point five الآن هذه القيمة اللي طلعتجمعها على
مين هذا مضروب برضه يعني عمليا النص ال E student نص
الأولى هي تبع ال positive صح تبع ال yes 0.5 مضروب
في ايش 0
.591هذا يجب أن ينجمع على 0
.5 مضروف finish 0.987 هذا و الابناء مع بعض هم ال
summation هذه في حالة ال age يكون لي ليس فقط اتنين
يكون لي تلاتةتلاتة terms حسب قداش فيه values لهذا
ال attribute مظبوط الان ايش اللي طلع في الآخر ال
entropy ال E ال entropy تبع ال student هذا المقدار
لأن هذا المقدار هو اللي بنزل هنا بينخصه من ال I
اللي حسبناها في الأول اللي هي هذا لكل ال attribute
وبيطلع ال information gain اللي هو ال 0.155بتكرر
الموضوع هذا لل attributes الأخرى ايش هذا في
البداية عشان لسه تقرر هذا لسه
خطوة رقم واحد لما تخلص من كل ال attributes student
ايش credit ratio ايش الرابعة كانت المهم لما تخلص
منهم كله و تشوف مين ال maximumأه ال attribute اللي
أقولها maximum ال information gain تبعها maximum
بتستخدمها في ال splitting يعني هذا الكلام إيش في
الآخر بيعطيني يعني إيش في الآخر انا أو ليش بعتمد
على هذا القمر لأنه ال split
على أساس الكلام ديالـ split على أساس ال student لو
طلعت على الجدول
أو الجدولين اللي بينتجو من هذا ال split تطلع
بتلاقي انه طلع العمود العمود هذا و العمود هذا هنا
هنا في خاصية أساسية عملت من أجل هذه حسبة الـ Gain
وهي أنه أنا بدي ال classes اللي هنا ال .. ال .. ال
.. ال items اللي هنا ال class تبعهم شوف هنا كلهم
يسمع على هذا no تمام هنا في يدي no .. no ..و no و
بعدين اتنى تلاتة yes و الباقى no تلاتة من السبعة
مش هالسبعة من السبعة تلاتة yes الهدف ان انا احصل
على تقسيمة حيث ان قدر الامكان ال classes دى هنا
يبقوا واحد يعني يا اما كلهم yes يا اما كلهم no هذا
اسمه ال purityتبعت ال split إيش هال purity درجة
صفاوة التقسيم يعني أنا هذا اللي بأطمحله ان يبقى
هدولة كلهم yes و هدولة كلهم no بس مابقدرش دايما بس
على الأقل باسعى إلى ال attribute اللي هتعطيني أعلى
قدر من ال .. من ال purity من ال .. من ال purity
هنا في عندي purity عالية يعني كلهم yes و واحدة بس
اللي عاملة جاي كشواقب مظبوط؟هنا ال purity أقل بس
لو أنا جيت قرنت هذا الكلام بال purity اللي هحصل
عليها لو أنا جسمته على أساس ال age و لا كده هيطلع
أسوأ من هيك تمام فهذا أفضل ما يمكن وصول اليها فعلى
أساسلما أريد أن أقوم بالsplit بين هذه الأرقام و
هذه الأرقام، فأريد أن أعيد نفس الحسبة لأن الإحصائي
هنا اختلفت، فهنا لدي واحد فقط هنا في الأوكانو ياس
سبعة و .. فانا الآن أريد أن أعيدالحسبة على هذولا
ال income و ال credit ratio و الايش عشان نقرر مين
من هذولا الان يكون هو أساس ال splitting وهنا برضه
نفس الشيء هذا الكلام طبعا احنا بيؤتمت يعني بمعناه
ان ال system هو اللي بيسوي الكلام ده كله و هو اللي
بيقرر و هو اللي بيعمل ال tree بناء على ال criteria
ده او ال equations هذه و في الآخر بيطلع معاه يعني
انت الآنالان لو بدك تعملها يدوي بيلزمك ال
equations هذه تمام؟ وبنقولك مثلا مابين .. يعني
بيعطيك جدول جدول الممكن يكون فيه خمس attributes بس
مش هشغلك تحسب ال gain تبع الخمسة لإن واحدة منهم
شغلانة ممكن تاخدها جدش معاك في الولايات المتحدة بس
حاجة أقولك مابين ال attributes هذي و هذي و هذي
طلّيها لمين منهم اللي ليش ال gain تبع أعلىعشان
تحسبها تلاتة اما انا هسيبك بعد هيك انت لتقرر هذه
ال attribute اي كم value فيها و تعمل الباقية اللي
لها بعد هيك ممكن مثلا اجي اقولك بناء على ال split
اللي طلعت معاك او لو هندي انا ال tree زي هيكأو
طلّها لمثلًا خمس ستة rules خمس ستة rules من هذه
decision tree فهتعطيني rules زي .. زي هذا الأمر
واضح فالآن هذا الكلام خلاصة اللي حاكي عنه decision
tree لنواقف هنا مش عارف اذا تبقى معانا واجد نرجع
ان نعاجأ ال statistical methods ماظننيش بنخليها
لمحاضرة الجايب بس خلاصة الكلام اللي هو ان احنا
بنعتمد على تقنية decision tree في وصول
الى decision tree من statistical data التي هي ال
table ال statistical data هذه على أساسها نطلع ال
decision tree decision tree في حد ذاتها ممكن تبقى
decision makerهي نفسها استخدمها في ال decision لكن
احنا اذا عندي انا expert rule based expert system
ال rule based بده rules فانا بقدر اعطيه rules من
مين من ال decision tree اللي انا بانشئها او بولدها
او بعملها generation من ال table بالتقنية دي تمام
المحاضرة الجاية ان شاء الله بنطلع بنكمل بنطلع على
الموضوع اللي هو statistical methods يعني اللي هي
أدوات الأحصائية الشائعة في الاستخدام اللي برضه
ممكن تستخدم في ال data mining لاستخلاص بعض
الاستنتاجات بعد ذلك ننتقل على ال data
visualization data visualization القضية مهمة جدا
في ال data mining لان انا اقدر اشوف ال data
visually و في
ال data visualization في موضوع ال regression نحكي
في ال regression هنابعد ذلك في المحاضرة اللي بعد
نكمل principle component analysis و Association
rule ان شاء الله