بسم الله الرحمن الرحيم الصلاة والسلام على رسول
اللهأهلا و سهلا بكم في محاضرة جديدة من وثائق تقييم
البيانات اليوم ان شاء الله هتتكلم على ال second
mining task او ال third mining task اللي هي ال
clustering طبعا احنا كنا بتكلمنا سابقا ان ال
mining task تنقسم من ال predictive او ال
descriptive و ال predictive اتكلمنا عن ال
classification و ال regression و ال recommendation
اليوم طبعا ال recommendation ما شرحناها عشان
اتكلمنا عن classification و regressionواليوم إن
شاء الله تعالى هنتكلم .. نبدأ في الـ descriptive
task هنتكلم على ال clustering طب لما احنا بنتكلم
على ال clustering بنتكلم على unsupervised learning
وهذا نوع من ال machine learning اللي بتعلم من ال
test data يعني انا بهمني انه البيانات تبعتي مايكون
لهاش label هذا مفهوم ال test data ان ال test data
انه label مش موجود that has not been labeled
مالهاش labelclassified or categorized ما تمش
تصنيفها أو تقسيمها قبل هيك بال unsupervised
learning على خلاف كل ال machine learning مافيش
عندي output معروف مسبقا وبالتالي مافيش عندي
teacher أو instruction مافيش عندي أي structure لل
learning algorithm فحين انه في ال supervised
learning سواء كان في ال regression أو كان في ال
classification كان عندي واضحالـ label هو ال
guidance تبعي أو هو المعلم تبعي إيه الشغلات اللي
أنا بديها وإيه ال role اللي أنا كنت بحاول أحصل
عليها ال unsupervised learning ال learning
algorithm فقط بأعرض عليه البيانات و بأطلب يعمل
extract لل knowledge طبعا extract لل knowledge هان
إما بتقسيمهم لمجموعات أو يقول لي إيش ال frequent
pattern فيهم زي ما في ال association rules إلى
آخرينطبعاً لما اتكلم في الـ unsupervised learning
بدل
ما انا اخد feedback و
اقارب الـ unsupervised learning بعرف ال
communities أو الشغلات المشتركة في ال data الشغلات
ال common اللي موجودة اللي بتتشارك فيها مجمع معظم
ال instances اللي موجودة عنديوبتقرر .. وبت .. اللي
بعرف .. بعد ما بتقرر على الشغلات ال common هاي أو
الشغلات المشتركة هاي بناء عليها بتتصرف اما بتقرر
.. يعني بتتصرف وبصير ال algorithm بناء على وجود أو
عدم وجود ال properties أو ال common properties
اللي موجود عنده يعني يعني تخيل انا لو انا في عندى
مجموعة من الصور وقولنا بدنا نصنفهممجموعة من الصور
وانا بدي أصنفهم معناته حتى اللي عرف المحتوى الصور
واصيرك والله ان التصنيف هذا بيتبع كده او يتبع كده
الـ unsupervised learning زي ما قلناه عبارة عن
descriptive model في اكتر من نوع في ال
unsupervised learning زي ما بنعرف سابقا ل
clustering طبعا شفناها في المقدمة تابعة المساق ل
clustering معناته انا بدي اجسم ال data instances
اللي موجودة عندي لمجموعة منالـ groups طبعاً مجموع
الـ groups هذه عددها معروف مسبقاً طب من هنا علشان
نتم تجميعهم بدنا ندرس صفات ال properties هاي
وتجميعهم مع بعضهم ال anomaly detection أو ال
outlier detection أروح أدور على ال unusual أو
الشغلات النادرة في ال data set اللي موجودة عندها و
أظهرهاالـ association rules لما انا بتكلم على ال
patterns و بدور على ال frequent pattern اللي ممكن
تكون موجود عندي و ارتباط العناصر و اشوف ارتباط
القوانين او ارتباط ال data مع بعضهاعشان أقدر أبني
decision وفي عندي transformation اللي هي فعليا أنا
أقدر أحول ال data ل data set مختلفة عشان أقدر
أرسمها أو أقدر أتعامل معاها بشكل أبسط احنا طبعا
هنتكلم على ال course هذا ال clustering و ال
association rules طبعا لما نتكلم فعلا ال
clustering معناته ال clustering algorithm بده يروح
يجسم ال data set اللي عندي ل distinct groupsالجروب
هذي معروفة مسبقا تخيل
ان ال raw data تبعتي هي عبارة عن سلة الفواكه رمضان
كريم ان شاء الله كل عام طيبين ان شاء الله سلة
الفواكه هي عبارة عن ال input data ال raw data
تبعتي وانا قلت بدي اجسمها لتلت مجموعاتطبيعي ال
algorithm هيدرس خصائص العناصر كلياتها يعرف العناصر
المشتركة ويحدد العناصر المشتركة وبالتالي هيقول لي
في عندك مجموعة التفاح ومجموعة الموز ومجموعة
المانجو هذا لما قلت له جسم ليها لتلت مجموعات
متذكرين ال definition السابق؟ انا قلت لها
predefine او predetermine number of groups لازم
احدده مسبقاتمام طيب لو انا روح قولتله ل مجموعتين
روحت قولتله جسملي اياهم لمجموعتين مش تلات مجموعات
دراسة العناصر هاي و هيروح و كأنه هيقوللي انه هذه
انا بتوقع ان يكون هذه التفاح و المانجو في مجموعة و
الموز في مجموعة تانية لأن الشكل و اللون مختلف بعاد
كتير عنبعضهم وبالتالي عدد المجموعات هو اللي يلعب
دور طبعا يا جماعة الخير كل ما كان عندى عدد
المجموعات اللي انا بتديها تبعتي هو الصح معناته انا
بأشتغل عليها بشكل كويس أو بكون عندى النتيجة تبعتي
صح لما بتكلم في ال clustering معناته انا بتكلم ان
ال method تبعتي هي ال .. ال .. او ال clustering هي
عبارة عن method بتجسم البيانات اللي بتشارك
الصفات المشتركة أو الـ similar trend and better
يعني ان ال instances هتتوزع بناء على محتوى على
احتوائها على مجموعة من الشغلات المشتركة يعني هيكون
في عندي تشابه كبير جدا ما بين العناصر اللي في
المجموعة الواحدة الهدف الأساسي فعليا من ال
clustering معناته هو عبارة عن split up تقسيم ال
dataبطريقة طبعا تقسمها ل groups بطريقة ان النقاط
اللي في ال cluster الواحد او في المجموعة الواحدة
are very similar متشابهة جدا عشان هيك كانت في
الرسم السابق هان لما اتكلمنا كان التفاح لحال
المانجو لحال و الموز لحال و لما قلتلك انا بتقسمهم
لمجموعتين مش لتلات مجموعاتمعناه تقول نحن هنا
نضيفهم على مع بعضهم لكن الان ايش الشغلات المشتركة
اللي انت اعتمدت عليها الحجم مثلا و اللون لكن لو
واحد ايجي جالي والله انا بتقسمهم هالنا مجموعتين
بناء على طبيعة الفاكهة اللي موجودة هاي وبالتالي
احنا نتكلم في عندي فواكه استوائية ال mango و الموز
فاكهة استوائية ولا لأ وبالتالي ممكن يكون تصنيف في
الآخرمافيش عندي قرار صحيح مائة في المائة أن
التقسيمة تبعتي هذه صح أو .. لكن بقدر أقول والله
التقسيمة هذه أصح من هذه التقسيمة بناء على معرفتي
بالبيانات اللي موجودة عندها طبعا ال similarity
طبعا التشابه ما بين ال algorithm for the
unsupervised learning و ال classification
algorithm أنه ال cluster algorithm بيخصص أو بتنبأ
رقم المجموعة
للـ point يعني انا روح قلتله والله انا بدي تلت
مجموعات بروح بقولي هذه ال point في المجموعة رقم
واحد هذه ال point في المجموعة رقم اتنين هذه ال
point في المجموعة رقم تلاتة هذه ال point في
المجموعة رقم تلاتة وبالتالي هو بيعمل predict لرقم
المجموعة اللي انا قلبته من البداية عشان انا قلتله
بدي تلت مجموعات فهو هجسم ليهم تلت مجموعات طبعا و
هذه هي المفهوم التشابه اللي انا بتكلم عليه انهم
بنعمل prediction لالـ number بحيث انه فعليا كما زي
ما قلنا ان هذا ال number هي عبارة عن رقم المجموعة
أو رقم ال cluster اللي بيحتوي ال point اللي موجودة
عندها طبعا
لما بتكلم على ال clustering معناته ان انا بدي اخد
بيانات كلها في نفس ال space بتكلم على بيانات كلها
في نفس ال spaceفي مجموعات معينة يعني هذا الـ space
هو عبارة عن high dimensional ممكن يكون 2D, 3D, 4D
طبعا اتكلم دي اللي هي عدد ال attribute و بروح اللي
بجسمليها لمجموعات بجسم ال rows ال instances أو ال
points هاي بجسمليها لمجموعات عبارة عن مجموعات أو
طبعااللي ب guess ال point هذه لمجموعات اصغر ب
guess similarly عفوا اللي قولنا احنا كمان مرة ان
فكرة ال algorithm بياخد ال points اللي موجودة
عندها بغض النظر عن ال space او ال dimensionality
تبعتهالكن كل ال points أو ال data set تبعتي على
نفس العدد من ال attributes ثابتة بروح بجسمليها
لمجموعات أصغر يعني بين جوسين كانت والله عندي ال
data set فيها مائة ألف record وقلتله جسمليها لتلت
مجموعات المائة ألف هدولة بتجسموا على تلت مجموعات
حتماEach cluster consists of a point that are near
to some in some sense وهذه النقاط في كل مجموعة
متشابهة بشكل او باخر طبعا لما نتكلم على ال similar
أو العلاقة related similar to another في نفس
المجموعة عناصر المجموعة الواحدة متشابهة وعناصر
المجموعات المختلفة غير متشابهة
هذا المصطلح أهم و more professional أن الـ intra
distance أو ال cluster distance يجب أن يكون قليل
كان المسافة ما بين عناصر ال in instance أو ال
cluster الواحدة تكون قصيرة جدا ليس منها in
instance او ال distance لما بتكلم على distance يا
جماعة الخير لو تخيل ان في اتنين متطابقين او
متشابهين المسافة بينهم جديش صفر أصبحلكن لما يكون
المختلفين المسافة بينهم أبعد ما يمكن وبالتالي انا
بقى اتكلم انه لازم يكون في عند ال Inter distance
أبعد ما يمكن و ال intra distance أصغر ما يمكن
وبهيك انا بكون نجحت في تقسيم المجموعات اللي موجودة
عندها طبعا لو انا بده اعمل مقارنة فعليا ما بينالـ
Clustering و الـ Classification بناء على ال data
اللي موجودة عندي طبعا الرسم الأولى اللي فوق بتمثل
classification و الرسم اللي تحت بتمثل ال
clustering طبعا اللي بتكلم عن ال classification
يعني ان في عندي label لازم يكون label هي ال label
النقاط اللي باللون الأخضر proteins و اللي باللون
البن الغامق هذا او البن الداكن هي عبارة عن ال
genes و معناته ان لازم يكون في عندي ruleيخصص كل
point ل label واضح طبعا ال rule هذا زي ما بنعرف في
ال prediction أو في هاي في عندي هذا الخط الفاصل هو
العناصر الموجرة يعني لو انا اجيت تبعا لل variable
الأول و قلت والله لو كان ال variable الأول تبعي
قيمته كذامعناته هذا هيكون أكبر أو تساوي X معناته
أنا بتكلم على أن هذا هيكون مع ال label اللي موجود
كمان مرة بقول لو أنا إجيت فعليا الخط هذا هو بمثل
المعادلة أو ال role تبعتي في ال classification لو
أنا خدت خط مستقيب ل high على ال point اللي عندي
هنابالشكل هذا او اتكلمت فعليا انا هي العناصر اللي
موجودة عندي هناأنا فعلياً لما تكون ال point تبعتي
بالنسبة لل variable الأول أكبر أو تساوي X معناته
هذا genes otherwise بكون ال protein وهذا معادلة
الخط المستقيم زي ما في عندي classifier اسمه
support vector machine هو عبارة عن أفضل line يفصل
ما بين العناصر الموجودة طبعاً بهذا supervised
learning في ال non-clustering أو عفوا في ال
unsupervised في ال clustering أنا ماعنديش labelأنا
مجرد و اتجمعت البيانات بناء على ال similarity على
التشابه اللي بينها كلهم متشابهين مع بعض بناء على
ال distance اللي موجودة ال distance بين أي نقطين
اللي هي ال intra distance لازم تكون أصغر من أقرب
نقطين يعني أكبر intra distance لازم تكون أقصر من
أيمن اكتر الـ Inter distance كمان مرة بقول انه في
ال clustering لما انا بأجي بتكلم هنا انه المفروض
ال اقوى ال intra distance المفروض تكون عندى اقصر
من ال inter distance اللى موجودة اللى هنا لو انا
اجيت و قلتلك ان هذه ال data اللى عندي هي عبارة عن
data عشان نوضح الموضوع ال clusteringطبعاً عندما
أتكلم عن الوضع في البيانات يعني أنني أتكلم عن
توزيع البيانات وبشوف رسم أو هيكرية البيانات اللي
موجودة عندي لو أنا أتقعد نشوف بالمثال في البسيط
هذا جاب من ال .. لو أجيت و قلت أن ال data هيبتمثل
ال customer purchases و أجيت و قلت كالتالي هدق
طبعاً أنا ميزت هان بالألوان عشان أسهل عليكم عملية
الاستيعاب اللي هتصير كالتاليأنا فعليا لو أدرس
البيانات اللى موجودة عندى هان اللى باللون الأحمر
هي عبارة عن مجموعة من القطع الصغيرة أو عفوا
الأعداد القليلة واللي أسعارها عالية جدا يعنى عندى
1700 على 2 بتكلم في حدود 6850 3000 على 2000 على
3000 بتكلم على 660 تقريبابنتكلم على 2300 على 4
بينما اللي تحت بنتكلم على أعداد أعداد كبيرة و
أسعار قليلة بينما اللي تحت أعداد قليلة و أسعار
قليلة، مظبوط؟ لأ لو أنا بدي أجي أجسم، معناته هيكون
التقسيم في ال cluster الأول اللي على أسر باللون
الأحمر اللي هي few purchases with high pricesطبعا
احنا جماعة الخير واحد و اتنين و تلات اللي هي ال
raw number اللي باللون الأسود أنا مش ملونها معنى
هان عشان اقولك ان هذه ماتدخل في التصنيف مالهاش
داخل لأن ممكن ال data تكون عند هان shuffled، not
ordered
طيب ال cluster التاني هي عبارة عن money prices او
purchase money فهي عندى مجموعة عالية من ال items
عالية و ال purchases تبعتى high prices كذلك وهذه
اللى باللون الأزرق كذلك باللون الأخضر لما انا
بتكلم ان ال customer بيشتري مجموعة قليلة من
العناصر باسعار قليلة أو باسعار زهيدة نوعا ما تمام
طبعاً وين المجالات أو وين التطبيقات اللي ممكن انا
اشغل فيها اعفوا اشغل فيها او اطبق فيها ال
clustering العديد من المجالات في ال target
marketing في التسويق الموجه لما انا حابب استكشف من
الناس اللي ممكن يشتريهالإبداع تبعتي و أروح أوجه
لهم الإعلانات أو أعرض عليهم المنتج تبعي مثلا انا و
الله لو جينا سألنا انا عمال بعمل تطبيق IOS عشان
يتكلم او بعملي high prediction لضغط الدم و عدد
ضربات القلب و الاخره مين المعنيين لو انا بده اروح
ادور في ال data او بده احاول استكشفعندي data set
لل customers اللي بيشتغلوا applications ممكن انا
اروح ادور على فئة الناس اللي ممكن تشتري ال
application هذا من خلال اما من خلال ال similarity
او من خلال الاهتمامات
تبعتهم في الآخر لازم بلاقي بين العناصر هدولة شغلات
مشتركة وممكن انا اتوجههم لانه ممكن اتوجههم لكل
المجموعات فلما انا بروح و اجسمهم لمجموعات بلاقي
حتما مجموعة فيها هذه العناصرفي ال genomics أو في
علم الجينات ممكن انا اروح اصنف الجينات كذلك او
عفوا اقسم الجينات لمجموعات في ال astronomy او في
علم الفضاء عشان اصنف او اجسم المجموعات او اوجد
مجموعات لل similar stars و ال galaxies و المجارات
اللي موجودة عندىفي ال insurance أو في التأمين عشان
اعرف في المجموعات اللي انا فعليا كيف ممكن اعرف
فيها ال vehicles او انصدر او اقسم بوليست التأمين
حسب ال holder اللي موجود عندها لو جديش قيمة ال
insuranceفي ال city planning كذلك في التخطيط
الحضري للمدن كيف يتم جسمها لمجموعة من ال houses
بناء على أنواعهم وانواع سفرتهم و ال location أو ال
geographical location تبعتهم لكن أنا فعليا جامعة
الخيركل الكلام الجميل عن ال clustering في عندي من
ضمن الكلام كان في عندي مشكلة واضحة أو هي ال
challenge الأساسي في موضوع ال clustering فعليا إذا
ال data unlabeled يديش عدد ال clusters الحقيقية
اللي موجودة عندي لو أنا عرضت عنك ال data هاي كام
clusters؟ هاي ال data set unlabeled data مافيش
عليها أي علامات مميزة و سألتك هذه كام مجموعة؟
ممكن اكتر ؟ اه ممكن هاي اربع clusters هادول معبق
هادى لحال هادول لحال هادى لحال او هادلحال ممكن ستة
كذلك طب أي عدد فيهم الصح طب التلاتة ليش مش تلاتة؟
لو أنا قلت له تلاتة حاجة اسمهم على تلاتة مين الصح
فيهم؟ تين ولا تلاتة ولا أربعة ولا ستة ولا خمسة؟
مين؟ لأن ال label غايب عندي معناته انا في عندي
مشكلة او احنا بيقول في عندي challenge حقيقية لان
اقدر اقيمالـ Cluster Algorithm أو الـ Behavior تبع
الـ Cluster Algorithm علشان هي بيقول الـ
Clustering can be ambiguous ممكن يكون مضلل، مضلل
يعني مش واضح أو ضبابي في التعامل اللي موجود عندها
الـ Clustering Types لما أتكلم على الـ Clustering
Types المعنى هو .. ال .. ال Clustering هي عبارة عن
مجموعة من الست في ال clusters وهذه تراوح مجموعات
ال clusters هذه إما ما بين ال hierarchical أو ال
partitional ال cluster إما بتكون هرمي أو تجزيئي أو
تقطيعي ال clusters اللي موجودة لما أتكلم على
partitional ال clustering معناته أنا بتكلم على
division لل dataعلى مجموعات غير متقاطعة انا بجسم
ال data objects أو ال instances اللي موجودة على
مجموعات غير متقاطعة وهذا ما نسميها non overlapping
clusters او non overlapping subsets او نسميها احنا
cluster وبالتالي كل element بكون موجود فقط في one
subsetبينما في الـ Hierarchical Clustering معناته
أنا بتكلم على set of nested clusters organized as
hierarchical tree وبالتالي لأ انا في عندي تقاطع ما
بين كل cluster و التاني لما ان في عندي هيكلية او
hierarchy هيرامية او في عندي tree معناته انا قاعد
في عندي عناصر اللي هتكون عندي ماخدة أشكال مختلفة
لو انا قلت هي ال data اللي عندي هان وبدأ اطبق
عليها partitionary clusteringمعناته ممكن هيكون
عبارة عن الـ Partition Different Partitional
Clustering لو انا افترضت انه بالـ Hierarchical
data معناته انا ممكن احيي الـ Hierarchical فكرة
انه اتنين و تلاتة هان في one clusterوالـ cluster
هذا مع أربعة كوّنوا cluster جديد مع واحد كوّنوا
cluster جديد وهذه طبعا بسميها traditional
hierarchical clustering بينما هذه بسميها
dendrogram وطبعا الـ dendrogram بيبين بشكل واضح
علاقة ال instances مع بعض يعني أنا واضح ان عندي
اتنين و تلاتة انجمعوا بعدين انجمع لهم أربعة و
بعدين انجمع لكل اللي هي واحدةكذلك هنا هنا الـ non
-traditional الهيراريكال .. الهيراريكال طبعا ال
traditional في كل مرة انا عمالي بضيف point لكن في
ال non-traditional لأ ممكن تكون الأمور شوية مختلفة
ممكن بي واحد و بي اتنين مع بعض بي اتنين و بي تلاتة
مع بعض بي تلاتة و بي أربعة و هدول كلهم موجودين مع
بعض و هده هي في ال dendogram اللي بتظهر عندنا ان
شاء الله تعالى في التسجيل الجاي هروح باتجاه ال
partitional clustering أشوفكم على خير ان شاء الله
و السلام عليكم و مرحبا لله