بسم الله الرحمن الرحيم اليوم إن شاء الله بدنا
نستمر في الموضوع ال data mining بدنا .. كنا حاكينا
في أولا شي في decision trees و خلصناها و بعد كده
أرجعنا على البداية ال lecture هذه علشان ناخد
المواضيع من الأول من البداية فحكينا في
introduction عن ال data mining و إيش هو
وحكينا عن ال process of data mining مصموم من ال
process of data mining وهي عملية بناء knowledge
-based system باستخدام أسلوب ال data mining الآن
ال steps تبعتها اللي هو data selection و ال fusion
و ال transformation وبعدها العملية الأساسية تبعت
ال data mining باستخدام ال data mining techniques
أو ال artificial techniques in generalو المرحلة
الأخيرة الـ Interpretation يعني أن عرض نتائج Data
Mining على المستخدم لكي يفهم هذا المعرفة و يبني
على أساسها قرارته تقنيات
Data Mining في هذه الأمر ممكن تبقى decision treesو
ممكن تجد نور انتروس و نور و fuzzy systems التكنيكس
اللي احنا شفناها خلال الفصل هذا وفي موضوع ال oLab
اللي هو online analytical processing ال online
analytical processing ما هو سواء تطبيق للتكنيكس
هذه على ال data من أجل استخلاص اللي هو knowledge
هذا
ال oLabيعني أنسب ان احنا ندرس في مادة مخصصة لل
data mining احنا تركزنا هنا في ال AI على ال
techniques نفسها توظف في ايه هذه القضايا بتعتمد
على المثقفات المختلفة فاحنا الآن بنسير على اعتبار
اللي هو ال statistical methods and data
visualization ال statistical methods هي عبارة عن
بنقدر نعتبرها مجموعة ال statistics operations
عمليات الإحصائية زي ال average standard deviation
ال maximum ال median ال mean الأمور هذه اللي ايضا
ممكن توظف فيه أثناء عملية ال data mining فعندك انت
لان هنا money
Graphical Data Exploration Techniques Graphical
Data Exploration Techniques هي بالأساس
Visualization احنا حاطين الموضوع هذا ال
statistical methods و ال visualization في نفس ال
band أو في نفس ال title ليش؟ لأن ال visualization
يعتمد على ال statistical methods المختلفة يعني كما
احنا بنحسب ال mean و ال median و ال mode و ال
range و ال standard deviationفي الآخر هذا ال cover
بدنا نظهره على ال user عشان ال user يشوفه و يستفيد
منه في اتخاذ اترارات
بنطلع على أمثلة Graphical Representation Graphical
يعني Visual هنا الموضوع Visual Data Visualization
يعني استخدام Graphical Data Representation Tools
أو تقنيات من بعض من هذه الأمور ال scatter plots ال
dot diagrams ال stem plots و ال histograms و ال
box plots هنطلع على scatter plots بالأساس
نشوف إيش اللي ممكن نستفيده من scatter plot scatter
plot عبارة عن two dimensional graph two
dimensional مش ال three dimensional بيوضح
represent ال correlation between two variables
يعني ببساطة شديد هو عبارة عن إيش؟ هاي ال variable
الأول و هاي ال variable التانيفالعلاقة مابينها
ممكن تدرسها كيف هي اللي بتغير وبيعتمد عليك ال
variable التاني فمن هنا اسم scatter plus لأنه كل
واحدة من ال patterns أو من العيينة انتباهة ال data
بتمثل على شكل نقطة النقطة هذه النقطة هذه عادة لأنه
في علاقة ما بين ال X وما بين ال Y فالنقطة هذه
دائما تيجي اما يعني مثلا تيجي
مع بعض ومشي في اتجاه تساعدي او تنازلي او ممكن تبقى
مافيش اي علاقة ما بينهم التكتل هذا يوحي وجود علاقة
ما بين ال X وY كيف؟ ان كل نقطة .. كل نقطة .. اذا
ال value تبعها ال X value تبع ال pattern يبقى كبير
يبقى ال Y value كبيرهو صغير و بقى صغير هنا نفس
الشيء بس عكسي لما نيبقى ال X كبير و ال Y منخفض ففي
نوع من ال correlation ما بين ال X وما بين ال Y بس
كانت ال plot إذا في correlation بنشوفها visually
الان إيه شغلت ال visual visualization بموضوع
ال data mining و بموضوع ال AI و بموضوع ال decision
makingلأن هو بيساعد ال decision maker لما احنا
بنعطيله ال data visual طبعا ال data بعد ما نكون
عملنا عليها عمليات aggregation و statistical
analysis و صفناله إليها في متغيرين معينين ال x و
ال y و عرضناله إليها على شكل plot وجدها هو يستطيع
أنه يشوف العلاقة visually و يفهم أنه فعلا فيها
علاقة و على هذا الأساسيقرر ايش اللي بيعمله احنا
لان هنا لما يكون العلاقة طبيعية نسميها positive
correlation لما نكون عكسية نسميها negative
correlation لما مايوجهش فيه اي نوع من العلاقة
نسميها non-correlation نرجع مرة تانية بس scatter
plot قلنا عبارة عن ايش؟أتو دمشنال graph for
representing the degree of correlation between
representing هو مش هو اللي بحسبها مابحسبش ال
correlation قديش بس هو ميورينيها represent ال
correlation between two variables ال data is
represented as a collection of points كل point
إلها a coordinate في البواد هذا أو البواد الأخر ال
X أو ال YThe position of each point on the
horizontal axis is determined by one variable and
on the vertical axis by another variable هذي
المثال اللي شفناه عبارة عن ال core عبارة عن plug
ده علاقة ال height تبع الأشخاص مع ال weight الكل
عارف أن ال weight و ال height متناسبوا مع بعضمظبوط
لأن كل ما زاد الإنسان طوله بزيد وزده وكذا كلها
مختلفة عن بعضها ممكن
تكون positive أو negative أو non-correlation
هذا بالنسبة لـ Scatter Plots الخط الأزرق المعمول
لو
حسبنا معادلة الخط المعمول تخيل
أنه راح اتبع مشارف الـ Scattering و رسم الخط
بطريقة مخصصة لكن نحسبه لو حسبنا معادلته
بيفيدنا بشيء غير بيفيدنا بشيء ان انا ارسم الخط هذا
الخط هذا عبارة عن ايش بتقدر
تقول يمثل اتجاه ال correlation لو حسبنا معادلة
الخط هذا بيفيدنا بشيءبفيدنا مش بنقدر استطيع بعد
هيك انه احنا لو عندي اي data point من غير المجموعة
هذه وعندي ال X value تبعها مش مقدر اتوقع ال Y
value لو انا اجالي واحد يقول ان افترض ان هذا هو ال
correlation بين الوزن و ال height تمام هدولة عبارة
عن data انا جمعتهاو رسمت ال plot و بعدها طلعت الخط
هذا بعدها جيبنا وزن لواحد جديد جيبنا الوزن تبعه مش
بنقدر لو واحد كان ال .. بقول مثلا .. بقول هنا مثلا
الوزن تبعه plot بس افترض ان في عندنا بيانات بيانات
أخرى و وجدنا في correlation ما بينهموالان رصدنا
الخطط مش بيصير بعدها كأنه انا اقدر اتوقع لو اجتني
عين جديدة ومعايا بس جزء من المعلومة شقة منها بقدر
اعرف الشقة الآخر وهذا هو موضوع ال regression موضوع
ال linear regression ال linear regression اللي هو
انا اقدر احسب ال X ال Y اصفر بناء على ال X بس لازم
اعرف ال beta 0 و ال beta 1 لانهم همبالظبط الاش
اللي
بيحددولي اللي هو معادلة الخط من خلالهم أنا بعرف
معادلة الخط مر عليكوا linear regression قبل هيك؟
regression سواء linear ولا non-linear مر عليكوا
قبل هيك؟ خلينا نطلع على الطريقة تبع ال linear
regression بس في الأول بدنا ناخد نتعرف على شوية
إصلاحاتالان لما انا بحسب لما نكون بعين ال X و
بتحسب ال Y مين منهم بيعتمد على مين ال Y بيعتمد على
ال X صح ال X هو بيكون dependent ولا independent
بيكون independent تمام و ال X is independent و
هناك بيعتمد عليه ال Y بيعتمد عليه فهو independent
أو احنا بنسميه regressant أو
ال output variableoutput variable صح؟ لأن هذا هو
ال input اللي أنا معايا وانا بدي أحسب من خلال ال y
تمام؟ الآن ال beta 0 و ال beta 1 اللي هم ال
coefficients ال regression coefficients هم اللي
احنا عاوزين نحسبهم عاوزين نحسبهم، متى ما حسبناهم
خلاص، بصير انا بقدر أطلع ال y و ال .. okay نعم؟ ال
.. ال .. القضية بتبدأ أو المسألة بتبدأ الشكل هذا
اللي هو انه انا
خلّيني أفكّر بس عناصر هذه احنا في عندنا هنا ال y
هذا في الأول ناخده من هنا ال y bar اللي هو ال
average average أيش عندي
النقط الأولى النقط هذه أو هذه أو هذه تخيلوا أنهم
هبقوا عن جدول صح هي ال x وهي ال yهما coordinates
يعني انا باخد x و y براه و امثلهم نقطة صح مظبوط كل
نقطة لها x و لها y فخلاص هذا هيك مجموحهم ال y على
عددهم yy براه صح و مثل ذلك ال x
متوسط اللي هو ال y عمود
ال y فهنا مافيش ضاوي أكتبها و ال x bar نفس الشيء
الآن احنا بنحسب ال beta zero و ال beta one ال beta
zero بحسبها من كلال ال beta oneإذا أنا حسبة ال
beta 1 ال beta 0 بساوي المتوسط ال Y ناقص ال beta 1
في متوسط ال X بدنا نجيب هذا الآن و خلاص هذه ال N
هي حسبة ال beta 1 بتساوي ايش اللي عندك هنا هذا
عبارة عن مضروب هذه جدول مرة أخرىكل واحدة مضروبة
في كورنت كل مجموع مضروح منه ناخد مجموعة Y لحالي
مجموعة
Y لحالي مجموع X لحالي مضروبين المجميع المضروبةفى
التانى و بعدين اجمع لأ هنا بجمع و بعدين اضغط و
بجمع و بعدين اضغط اضغط اضغط اضغط اضغط اضغط اضغط
اضغط اضغط اضغط اضغط اضغط اضغط اضغط اضغط اضغط اضغط
اضغط اضغط اضغط اضغط اضغط اضغط اضغط اضغط اضغط
اضغط اض
مرة أخرى هنا ليش باخد ال Y ضارب ال X افترض انا
استبدالت ال Y برضه بال X صارت XI XI يعني XI تربية
و هنا برضه نفس الشيء فصار في عندي ايش مجموعة ال X
بس ليش باخده مرة واحدة باخدوش مرتين لأ بس لأنه انا
ضاربه ضاربه في بعض .. ضارب المجموعين بطلع عندي ايش
تربيةيعني مجموعة ال X المجموعة تربية واضحة يعني
هذه الدوشة كلها صارت بسيطة ان انا باخد ال beta
بتصير عندي عبارة عن المجموعة
المظلمين ناقص مضروب المجموعين عالمين على N ونفس
الكلام اللي اتحت بس لل X لحالهبنحسب ال beta 1
بنحسب ال beta 0 وبنستطيع التنبؤ بأي فيمة y بالان
على ال x اللي معناه ال current
هذي اللي هحطه هنا ال y هذا ال y المحسوبة اللي حسبت
أفترض أنا أخذت واحدة من ال points اللي already
موجودين عندي واحدة من هدولة من غير ما أفكر كثير
هذه ال points لان لما أنا بحسب بدخل بال X تبعها ال
X تبعها و بدخل على المعادلة اللي هي إيش
هو يدخل هنا على البيتلز اللي انا حسبتهم هل يقنعني
ال y هادى؟ لأ لأنه
على اساس الخط الفرق ما بين ال y الحقيقية و ال y
اللي حسبك هذا error
طبعا هنا ال error بال positive ممكن هنا لو أخدت
لهذه هيكون ال error بال negative فعمليا
المعادلة هذه الأخيرة يسمى ال Y الحقيقية ال Y
الحقيقية هي عبارة عن هذا الكلام هو ال Y اللي
بحسبها انا زائد ال error لكل نقطة هيكون في error
بكل نقطة من النقاط اللي انا استنادتهم في حساب ال
line يوم انا احسبها من خلال ال beta و ال data
هلاجي في error ممكن
اجي لواحد الاجي ال error تبعها ال zero اجي اجيها
مطابق لان واقع على ال line مثل هذه النقطة واقع على
هذه النقطة اربع اكتر من النقطة واقعين على ال line
فال error تبعهم هيبقى zero او قريب من ال zero يعني
هذا ال error نسميه residual residual يعني زي إيش
لما يبقى يظل معاك حاجة جباجة residual فال error هو
الفرق ما بين ال y الحقيقية و ال y المحسوبة هذا
الآن ال regression شكله كويس كتير linear
regression طبعا ممكن يبقى non linear يعني ممكن
تبقى العلاقةأداج هذول بيطلع و هيك و بينزل و هيك مع
بعض و بالتالي بيصير مش line بيصير curve و هذا الو
معادلة و حسبة مختلفة بس بغض النظر و لا linear و لا
مش linear إذا أحنا طلعنا ال curve هذا بيكون إشي
ممتاز عم نجده بيساعدنا في ال prediction في التوقع
ماشي أقول تنبؤ في التوقع نتوقع أنه لو أجتني ال
data قيمتها في ال X هالجدر بقدر أطلع ال Yالمهم ان
احنا عندنا هنا في موضوع ال regression هذا ان
احيانا ال data ماتبقاش nice زي هيك ممكن تشوف ان
هناك data جاي هنا او هنا او هنا يعني كلهم machines
سوا مع بعض شوف هذا هذا مطرف بس مش مطرف كتير هذا
مطرف كتير هذا مطرف كتير هذا هى اثر علىجودة حساب
الـ Beta 0 و Beta 1 هذا
ما نسميه Outliers النقاط المطرفة هذه في اللغة
العربية نقول مطرف في اللغة العربية فصحى شواذ
نسميها شواذ فهذه ال outliers بتأثر على الحساب
تبعنا لأن هنا ال curve على هذه النقاطوالنقاط في
هذه الشكلة من حسب الخط فجأة بالظبط عليها لأنهم
أصلا جابوا من بعض نفس النقاط لو فيه هندي أنا نقطة
أكبر ناقية أثبت الخط هذا الأكبر شد الخط الخط وفي
الآخر جاء نتيجة ان احنا أخدنا كل النقاط في عين
الاعتبار صح فهذا أثر على الحسبة وطلع ليه lineمش
هذا مش جاي على ال .. يعني لو انا شيلته لو كان هو
موجود و شيلته مابضرش كتير على العكس يعني لو انا
قبل ما اعمل لو انا طلعت على ال data زي .. جابت قبل
ما احسب الخط الأزرق هو الخط الأحمر هو الوضع
المفترض لو انا قبل ما احسب الخط الأزرق طلعت وجدت
المفات كلها جاي جريم من بعض لكن في واحد هنا أو
كمان واحد أو كمان واحد و روحت انازي فليتهم يعني
شيلتهم الشواقب اللي شيلتها و حسبت هأحصل على الخط
الصحيح و الخط الصحيح هذا هيكون يساعدنا في عملية
التنبؤ فال
method هذه اللي هي robust regression ال least
squares اللي هتاوي استخدمناه robust regression مش
هدخل فيه الآن بس هو عبارة عن أي ليش لا استثناء
استثناء ال outliers جاب ال managery حسبة ال ..
حسبة ال fitting هذه مسمية fitting يعني to fit a
line اللي ييجي بالضبط على اللي هو ال data فبالتالي
احنا الآن يعني بدأ ارجع على المواضيع خلينا نطلع
على هذا المثال بس قبل في الأول هذا مثالهو عاملين
ال plots اللي كنا بنطلع عليها هذي هي عبارة عن ال
data هذي okay اندي عشرين data item الأمود الأولاني
هو عبارة عن يعني في عندك chemicals و ال chemicals
بنحسب لكل chemical ال acidic number أو ال acid
number تمام و في عندي حاجة تانية اسمها ال organic
acid content هذا في الكيميا انا يعنيالنوبة المهمة
في الموضوع هي اهمية ال regression ان ال asset
number عمليا في المعمل بيقدر يحسبه بطرق سهلة بسيطة
ال organic asset content بيأخذ إجارات أطول لو ثبت
ان هناك علاقةمابين هذا لكل مادة كيميائية في علاقة
ما بين ال asset number تبعها وال organic asset
content تبعها والعلاقة هذه استنبطناها بال
regression المعنى ذلك لو عندي أنا chemical او انا
عاوز احسب ال organic عاوز افحص ال organic هذا مش
محتاج اعمل العملية المعقدة بعمل العملية البسيطة
بطلنا ال asset numberومنهم بستنبط على ال
regression فالان هدولة عشرين observations لعشرين
chemical مادة كيميائية وسجلت ال acid number لكل
واحد ال acid number تبعه و organic acid content
والسجل الآن من هدولة العشرين بدنا نستنبط ال line
أو ال relation يعني على أساس لو فينا مادة كيميائية
جديدةبدل من أن أجري هذه العملية البطولة بقى أجري
البسيطة و منها بستنبط القيمة تبع الorganic هاي كان
فكرتي يعنيه ال figures هذه لأن لو في عندي واحد من
ال 20 دولار القراءة تبعته مطرفة كتير اعتقد مين
اللي هو هذا اسألنا شوية كده نشوف هذا فعندي 180 و
بعدين في ال negative مظلنيش موجود هنا في الجدولليس
لدي أحد نيجاتيف بس نفترض أن هناك واحد من هؤلاء جاء
الـ acidic number التبعه من نيجاتيف المهم هذا هو
سيكون outlier ممكن نعيده في الأول نطلعه أو نستخدم
ال robust regression على أساس أنه ماتتأثرش
ابوه طيب احنا هيك الآن بنوجف عند هذا القدربنرجع بس
في الأول ايش هو اللى تم .. اه اللى ايش اللى غطينا
بالظبط احنا
بيكونوا الآن غطينا هذا وغطينا هذا البند بنضل ..
طبعا هذا .. بيضل هذا الجسر الأخير
lecture 17 تلاحظ أننا قد خلصنا جزء منها وهو ما
يتعلق بال decision trees، صح؟ نحن بس نخلص مهارة
جاية، نحكي في ال principle component analysis ومن
خلصه و بعدها كده بنروح بنكمل اللي ضايل من 17، عشان
أعطيكم ملاحظة