علم البيانات والتعلّم الآلي
علم البيانات والتعلّم الآلي مقدم من منصة ادراك برعاية :
مدربو البرنامج:
د. غيدا إبراهيم
تعمل غيدا كمهندسة في فريق البنية التحتية المتطور في فيسبوك لندن حيث تستخدم تحليل البيانات والنمذجة لتحريك قرارات تصميم وتوسعة شبكة فيسبوك. قبل انضمامها إلى فيسبوك، عملت غيدا لأكثر من 6 سنوات في العديد من الأدوار المتعلقة بتحليل البيانات في مجال الاتصالات في فرنسا وهولندا، بما في ذلك إكمال درجة الدكتوراه في علوم الكمبيوتر بين مختبرات اورانج للبحث والتطوير وتيليكوم باريس تيك في باريس. أطلقت غيدا منصة رفيقي، وهي منصة تعزز الذكاء الاصطناعي لربط اللاجئين بفرص عمل والحصول على تدريبات موجهة. وهي من مشكّلين المنتدى الأقتصادي العالمي وعضو خبير في مجالس الأقتصاد العالمية للمستقبل التابعة للمنتدى الاقتصادي العالمي.
التعريف عن البرنامج:
علم البيانات والتعلّم الآلي هو مساق مجاني إلكتروني مقدّم من إدراك يتناول مواضيع مثل التعلم الآلي والذكاء الاصطناعي، والفرق بين علم البيانات وتحليل البيانات ، و خوارزميات التعلم الآلي ، وتطبيقات في تعليم الآلة والمزيد. وحتى تتمكن من استيعاب هذا المساق بشكل جيد، يفضل أن توجد لديك معرفة مسبقة بأساسيات البرمجة و الإحصاء لتفهم المصطلحات والتطبيقات الرياضية المطروحة هنا.
يُعرف علم البيانات والتعلّم الآلي بأنه مفهوم قائم على تعلّم الآلة ، وتحليل البيانات ، وتوحيد الإحصاء و الوسائل المرتبطة بهم من أجل فهم وتحليل ظاهرة فعلية باستخدام البيانات وبالاعتماد على تقنيات تعلّم الآلة و الذكاء الاصطناعي . ويعتبر المجال جديداً نسبياً وهو يجمع بين عدّة علوم ويؤثر على العالم العربي في مجالات مثل المالية، والتسويق، والرعاية الصحية، والطاقة، والتنقل، والتعليم، وغيرها.
ويهدف مساق علم البيانات و التعلّم الآلي إلى تعريف المتعلمين بمجال علوم البيانات ، بما في ذلك تسليط الضوء على أهمية هذا الحقل وتأثيره على كل مجال من مجالات حياتنا تقريباً، بالإضافة إلى تعريفهم بمفاهيم مثل التنقيب عن البيانات Data Mining، وتصور البيانات Data Visualization، والتعلم الآلي Machine Learning، والتعلم العميق Deep Learning وما إلى ذلك.
كما يشرح مساق علم البيانات والتعلّم الآلي وظائف علم البيانات، وكيفية بناء منتجات وشركات البيانات، وتزويدهم بالأدوات والموارد التي يحتاجونها لتعميق تعلمهم وتوسيع مداركهم فيما يتعلق بهذا التخصص. ويوضّح المساق أيضاً مراحل تطور تحليلات البيانات، وما هو المقصود بعلوم البيانات، وأوجه التشابه والاختلاف بين علوم البيانات، والتعلم الآلي، والذكاء الاصطناعي.
تركّز الوحدة الأولى من مساق علم البيانات والتعلّم الآلي على أهمية علم البيانات مع تقديم نظرة عامة على كيفية تطوره، بالإضافة إلى تسليط الضوء على أوجه التشابه والاختلاف بينه وبين التعلم الآلي والذكاء الاصطناعي، مع تقديم عدد من تطبيقات التعلم الآلي، وإعطاء نظرة عامة على مفهوم (Pipeline) علوم البيانات والأدوات الرئيسية التي يستخدمها عالم البيانات بشكل يومي.
ستتعلم في مساق علم البيانات والتعلّم الآلي أيضاً وظائف علم البيانات، والفرق بين علم البيانات وتحليل البيانات، إلى جانب تطبيقات في تعليم الآلة، كما ستتعرف على لغات البرمجة الرئيسية والمكتبات ومجموعات البيانات المفتوحة وغيرها من الدورات المتقدمة وبرامج الماجستير التي ستفيدك في حال كانت لديك الرغبة بالتعمق في هذا المجال.
سيسلط مساق علم البيانات والتعلّم الآلي الضوء بشكل خاص على التطبيقات المستمرة أو التي تشتد الحاجة إليها في المنطقة العربية. ويوفر الأسبوع الأخير من المساق الأفكار والموارد والأدوات اللازمة لمساعدة المتعلم على المضي قدماً بعد هذه الدورة التدريبية، إما عن طريق الاستمرار في تعميق معارفهم، أو عن طريق بناء منتجات وشركات البيانات.
تعرّف على التعلم الآلي والذكاء الاصطناعي وخوارزميات التعلم الآلي في هذه الدورة المجانية من إدراك بعنوان علم البيانات والتعلّم الآلي، والتي تناقش أيضاً التطبيقات الرئيسية لعلوم البيانات في مجالات مثل الرعاية الصحية، والتعليم، والتنقل، والطاقة، والتمويل، والتسويق، إلى جانب تطبيقات التعلم الآلي.
ماذا ستتعلم
- مفهوم علوم البيانات وتأثيره الاجتماعي في العالم العربي
- وظائف علم البيانات ومراحل تطور تحليلات البيانات وتطبيقات التعلم الآلي
- الفرق بين علم البيانات وتحليل البيانات والتعلم الآلي والذكاء الاصطناعي من أوجه تشابه واختلاف
- تأثير علم البيانات في مجالات مثل المالية والتسويق والرعاية الصحية والطاقة والتنقل والتعليم وإدراك إمكاناته
- مسار ومراحل علوم البيانات بما في ذلك جمع البيانات والاستكشاف والتصور والتحليلات التنبؤية والتعلم الآلي وتطبيقات في تعليم الآلة
- لغات البرمجة الرئيسية والمكتبات ومجموعات البيانات المفتوحة وغيرها من الدورات المتقدمة وبرامج الماجستير المتعلقة بعلوم البيانات
- كيفية ترجمة علوم البيانات إلى بناء منتجات وشركات البيانات و خوارزميات التعلم الآلي.
الخطّة الدراسية
الوحدة الأولى: مقدّمة إلى علم البيانات وتطبيقاته
في هذه الوحدة سنتعرف على مفاهيم وتطبيقات علوم البيانات في حياتنا، ومن هو عالم البيانات، وما الفرق بين علم البيانات (Data Science)، والذكاء الاصطناعي (Artificial Intelligence)، والتعلّم الآلي (Machine Learning)، والتعلّم العميق (Deep Learning)، وسنتعرف أيضاً على بعض مراحل علوم البيانات مثل الجمع، والمعالجة، والتنظيف، والتحضير.
الوحدة الثانية: التعلم الآلي ونماذجه وتطبيقاته
تناقش هذه الوحدة مفهوم التعلم الآلي وكيفية بناء نموذج تعلُّم آلي نحاكي فيه البيانات، وكيف يمكن استخدام علم البيانات والتعلم الآلي في الطب التنبؤي كمثال، وما هي تقنياته ومفاهيمه الرياضية المختلفة.
الوحدة الثالثة: الشبكات العصبية وتقييم نماذج التعلم الآلي
التعرف على ماهية الشبكات العصبية (Neural Networks)، والتقنيات التي يمكن استخدامها في نوعي التعلم الآلي (الموجّه وغير الموجّه)، وكيف يمكننا تقييم أداء نماذج التعلّم الآلي، مع نصائح لبناء مسار وظيفي في مجال علم البيانات.
جاهز لبدء رحلة التعلم ؟؟
أنتقل إلى الدرس التالي
مقدمة: من أنا، لماذا ولمن علم البيانات؟
ما هي البيانات؟ وما هو علم البيانات؟
لماذا الضجة حول علم البيانات؟
مفاهيم علوم البيانات: الذكاء الاصطناعي، التعلّم الآلي
مسار علم البيانات ومن هو عالم البيانات
ذكرنا في الفيديو السابق أهم الأدوات والبرامج التي يستخدمها عالم
البيانات. في هذه المقالة سنعرض تلك الأدوات ودورها في كل
مرحلة:
هذه تذكرة سريعة عن ما يقوم به عالم
البيانات:
- طرح التساؤلات وتحديد البيانات اللازمة للإجابة عن التساؤلات
- جمع البيانات
- تنظيف البيانات وتحضيرها
- تحليل وفهم البيانات
- تطوير النماذج والخوارزميات
- عرض البيانات
- تنفيذ النموذج
تعتبر لغتا البرمجة R و Python اللغات الاساسية في عملنا. يمكنك تهيئة جهازك للعمل على البيانات من خلال تحميل Python من هنا، أو Anaconda،
أما لو أردت استخدام R فيمكنك تحميلها من هنا، وأيضاً ستحتاج R-Studio،في ما يلي رصد سريع لأهم المكتبات والأدوات التي تحتاجها:
- جمع البيانات: Rvest, Beautiful Soup, scrapy, SQL, NoSQL
- في استكشاف البيانات وعرضها: ggplot2, Tableau, Matplotlib
- تنظيف البيانات وتحضيرها والتعامل مع البيانات الضخمة: NumPy, Pandas, plyr, dplyr tidyr, stringi
- لعمل التحليلات التنبؤية: Weka, SciPy, scikit-learn, pandas, NLTK e1071, rpart, caret
- لبناء منتجات تعتمد على البيانات: Git, github, docker, markdown, shiny
بالإضافة إلى تلك المكتبات نوصيك بالاطلاع على keras, tensorflow, PyTourch, Spark, MapReduce.
كذلك هناك العشرات من الخوارزميات المستخدمة في تعلم الآلة، يقوم الباحثين بتطوير الخوارزميات بشكل دوري، لذلك كن دائم الاطلاع عليها.
أهم خوارزميات تعلم الآلة:
كذلك هناك العشرات من الخوارزميات المستخدمة في تعلم الآلة، يقوم الباحثين بتطوير الخوارزميات بشكل دوري، لذلك كن دائم الاطلاع عليها.
Linear Regression
Logistic Regression
Decision Trees
K- Nearest Neighbours
K-Means
Naïve Bayes
Support Vector Machines
لاحظ أن هناك العديد من الامتداد لكل خوارزمية مثل K-Modes هو امتداد من K-Means ولكل خوارزمية صفة خاصة بها.
هذه نظرة عامة عن مهارات وأدوات علم البيانات. نحن هنا كي نساعدك على التعلم، لذا لا تقلق من كثرة الأدوات والمصطلحات، فقط كن مستعداً للوحدة القادمة وستتوضح الصورة شيئاً فشيئاً.
م. علي سعد - مساعد ومشرف المساق
تطبيقات علم البيانات - محركات البحث عن الإنترنت
تطبيقات علم البيانات - كيف يعرف YouTube و Netflix ما أحب؟
تطبيقات عامة لعلم البيانات في حياتنا
مقابلة مع رئيس قسم الذكاء الاصطناعي في شركة موضوع
عملية جمع البيانات ومعالجتها
لغتي R و Python لغات برمجة مفتوحة المصدر مع مجتمع كبير من المطورين. تستخدم R بشكل أساسي للتحليل الإحصائي بينما توفّر Python نهجًا أكثر عمومية لعلوم البيانات. كلتا اللغتين هما الأفضل في مجال علم البيانات وتعلم الآلة. تعلّم كليهما هو - بطبيعة الحال - الحل المثالي. لكن هذا يتطلب استثماراً كبيراً في الوقت، هذا الوقت قد لا يكون متاحاً للكثير منا. بايثون هي لغة عامة تستخدم في أغراض عامة مثل مثل تطبيقات الويب وتحليل البيانات والتعلم العميق. بايثون كسبت شهرة بسبب سهولة قراءة وفهم الكود عن نظيراتها من لغات البرمجة. R لغة معروفة بقوتها في التحليلات الإحصائية، تم انشائها في تسعينيات القرن الماضي من قبل الإحصائيين وهي صممت لعمل تحليلات إحصائية وتصميم نماذج رسومية. السؤال الشائع: أيهما أفضل R أم Python؟
هناك العديد من المقارنات بين لغتي البرمجة R و Pyhton. لا توجد كفة راجحة بنسبة 100% إلا أن هناك تحيز أكبر لصالح Python بسبب قوة وسرعة أداء اللغة، وسهولة قراءة الكود. كلا اللغتين يستخدمان في تحليل البيانات وبناء نماذج تعلم الالة وكلاهما لديهم شريحة كبيرة من المطورين الداعمين لكل لغة، وكلاهما مستخدمتان في سوق العمل، لكن معظم الشركات لديها ميول أو توجه أكثر للغة البايثون.
هناك أسباب عامة للاختيار بين R و Python:
R جيدة جدا في تصوير البيانات وتصميم نماذج رسومية وهي أسهل وأسرع في التحليلات الإستكشافية.
بينما أداء البايثون مع البيانات الكبيرة وفي تطبيق الخوارزميات وبناء ونشر النماذج.
أيضا هناك أسباب خاصة مثل توافر مكتبات موجودة في R وليست موجودة في نظيرتها Python أو العكس. تلك الحالات قد تستدعي منك استخدام لغة عن أخرى. لأن بناء مكتبة جديدة سيستغرق وقـتًـا قد لايكون لديك.
إن نظرنا لسوق العمل فإن هناك انتشار أكبر للغة البايثون لعدة أسباب أهمها:
كونها لغة عامة يعطيها الأفضلية في بناء التطبيقات.
أدوات التعلم العميق والبيانات الضخمة أكثر توافقا مع البايثون ومعظمها بُني باستخدام البايثون.
لأن البايثون لغة عامة، أتاحت للمطورين وعلماء البيانات وعلماء الذكاء الاصطناعي استخدام منصة واحدة لتطوير منتجاتهم.
كذلك إذا نظرنا لمؤشر شعبية اللغة من IEEE Spectrum سنجد أن بايثون تقع في المركز الأول مقارنة بR التي تقع في المركز السابع (مصدر)
بالإضافة إلى ذلك على مدار الخمس سنوات الماضية فرص العمل المتعلقة بعلم البيانات متوافرة بلغة بايثون أكثر من R والفارق بينهما يزداد كل عام، في هذه الصورة نجد اتجاهات الوظائف المتعلقة بعلم البيانات بلغة R باللون الأزرق وبلغة بايثون باللون البرتقالي:
أيهما أستخدم؟
في رأينا ، إذا كنت مبتدئًا في علم البيانات، وتريد أن تتعلم كيف تعمل الخوارزمية، وبناء ونشر نماذج أو models فإننا ننصحك بتعلم بايثون. أما إذا كنت ستركز على الأساليب الإحصائية فإن R ستكون الأفضل لك، كذلك إذا كنت مهتماً بإعداد تقارير وإنشاء لوحات عرض للبيانات (dashboards) فإن R ستكون الأفضل لك. وفي هذا المساق نحن نستخدم لغة بايثون.
مصادر للتعلم:
إذا كنت مهتم بتعلم علم البيانات باستخدام R، يمكنك البدء بتخصص علم البيانات من جامعة جون هوبكينز على موقع كورسيرا
https://www.coursera.org/specializations/jhu-data-science
أيضا يمكنك الإطلاع على كتاب R for Data Science المقدم بواسطة غاريت جرلموند وهادلي ويكهام.
وكتاب Introduction to Machine Learning with R المقدم بواسطة جيك فاندر بلاس.
وإذا أردت تعلم علم البيانات باستخدام بايثون، يمكنك البدء بتخصص علم البيانات التطبيقي بالبايثون المقدم من جامعة ميتشيجن على كورسيرا
https://www.coursera.org/specializations/data-science-python
كذلك مساقات تعلم الآلة والتعلم العميق المقدمة من أندرو ان جيه على كورسيرا
https://www.coursera.org/learn/machine-learning
https://www.coursera.org/specializations/deep-learning
ملاحظة: جميع الدورات على موقع Coursera يمكن مشاهدة محتواها كاملاً بشكل مجاني، ويمكنك القيام بذلك باختيار خيار "Audit This Course" الموجود في صفحة الدورة.
أيضا يمكنك الإطلاع على كتاب Python for Data Analysis المقدم من ويس ماكيني.
وكتاب Hands-On Machine Learning with Scikit-Learn and TensorFlow المقدم من أوريلين جيرون.
باختصار، تقترب الفجوة الإحصائية بين R وبايثون. معظم المهام يمكن القيام بها باللغتين. من الأفضل أن تختار الأداة التي تناسب احتياجاتك ولكن أيضًا الأداة التي يستخدمها معظم زملاؤك. بعد أن تعرف لغة البرمجة الأولى، يصبح تعلم اللغة الثانية أكثر بساطة.
تذكر في النهاية أن الأهم من اللغة هو الناتج، نحن نهتم بعمل تحليلات وإنتاج بيانات صحيحة أكثر من كتابة كود صحيح.
م. علي سعد - مساعد ومشرف المساق
تنظيف البيانات وتحضيرها
استكشاف البيانات وعرضها
تطبيق عملي - استخراج ومعالجة وعرض البيانات
اختبار الوحدة الأولى
الوحدة الثانية: التعلّم الآلي ونماذجه وتطبيقاته
ما هو التعلم الآلي Machine Learning؟
ما هي دائرة التعلّم الآلي - هندسة الميزات؟
كيفية بناء نموذج تعلّم آلي
استخدام علوم البيانات في الطب التنبؤي
تطبيق عملي لاستخدام علوم البيانات في الطب التنبؤي
أنواع نماذج التعلّم الآلي
كيفية اختيار الخوارزمية المناسبة لحل أي مشكلة
ما هي الخوارزمية التي سأستخدمها في حل هذه
المشكلة؟
هذا أول سؤال يخطر ببالي عندما أبدأ بالعمل على
مشروع أو بناء نموذج جديد. يليه هل ظهرت خوارزميات
جديدة لحل هذه المشكلة بصورة أفضل؟
إن طُلب منك تحديد ورم إن كان حميداً أم خبيثاً باستخدام صورة الأشعة. ما هي الخوارزمية التي ستستخدمها؟
للوهلة الأولى يبدوا السؤال صعباً لكن إنه ليس كذلك، لقد قمنا بتسهيل الأمر عليك باتباع خطوات من خلالها تستطيع تصنيف المشكلة وتحديد الخوارزميات المناسبة لبناء نموذج بدقة مناسبة.
هذه الخطوات ستسهل عليك اختيار أفضل خوارزمية تعلم الآلة:
تصنيف المشكلة: أي تحديد ان كانت Supervised Machine Learning أو Unsupervised Machine Learning هناك طريقتان لتصنيف المشكلة:
تصنيف المشكلة من خلال المدخلات
إذا كانت البيانات مصنفة فإنها تعلم تحت إشراف (Supervised Machine Learning)
إذا كانت البيانات غير مصنفة والغرض منها فهم نمط أو اسلوب البيانات فإنها تعلم بدون إشراف (Unsupervised Machine Learning).
تصنيف المشكلة من خلال المخرجات
إذا كانت المخرجات عبارة عن أرقام فإنه يكون Regression.
إذا كانت المخرجات عبارة عن فئات أو تصنيفات فإنه يكون مشكلة تصنيف Classification.
إذا كانت المخرجات عبارة عن تقسيم وتجميع البيانات فإنه يكون Clustering.
قمنا بعمل هذا الرسم التوضيحي لتصل الفكرة بشكل أوضح:
فهم البيانات: أي تحديد طبيعة
البيانات التي ستقوم بتدريب الآلة عليها.
فهم البيانات تلعب دورا رئيسيا في اختيار الخوارزمية المناسبة. حيث أن هناك خوارزميات تحتاج لبيانات صغيرة وأخرى تحتاج لبيانات كبيرة.
كذلك هناك بيانات تتعامل مع بيانات تسلسلية وأخرى رقمية.
اختيار الخوارزمية: هناك بعض العوامل التي نراعيها في تحديد الخوارزمية
قابلية التطبيق في وقت مناسب،
دقة النموذج
تفسير النموذج
تعقيد النموذج
قابلية النموذج للتوسع
المدة الزمنية لبناء وتعليم واختبار النموذج
المدة الزمنية لعمل التنبؤات باستخدام النموذج
توافق النموذج مع متطلبات العمل
أكثر الخوارزميات شيوعا:
Regression
Decision trees
K-means
Principal component analysis
Support Vector Machines
Naive Bayes
Random Forest
Neural networks
استخدم جوجل للبحث عن أكثر التطبيقات المستخدمة مع كل خوارزمية.
أنت الآن قادر على تحديد بعض الخوارزميات التي يمكنك العمل عليها. ومنها تقوم بتجربة خوارزميات مختلفة لبناء أفضل نموذج.
لكن تذكر عالم البيانات عليه أن يكون مُـلِــما بالصناعة التي يعمل عليها، عليه أن يعرف من أين وكيف جاءت البيانات. وتأثير البيانات على الصناعة.
م. علي سعد - مشرف ومساعد المساق
تقنيات التعلّم الآلي ومفاهيمه الرياضية
التعرّف على الـ Loss Function
تطبيق عملي لاستخدام Gradiant Descent
أنواع مختلفة من الـ Gradiant Descent - ١
أنواع مختلفة من الـ Gradiant Descent - ٢
التعرّف على الـ Logistic Regression
التعرّف على برنامج Tableau واستخدامه لمعالجة البيانات
يمكنكم تحميل الـ Dataset المستخدمة في الفيديو من هنا.
مختبر 1: كيفية تحديد نوع زهرة السوسن Iris
في هذا المختبر سنقوم بالتنبؤ بين ثلاثة أنواع من الأزهار من الفصيلة السوسنية من خلال مقاسات الزهرة باستخدام ثلاثة خوارزميات مختلفة،. في هذا المختبر أنت لست مطالب بأن تكون على دراية بكل شيء، فالغرض من هذا المختبر الافتراضي هو ان تقوم بتجربة دورة حياة عالم البيانات لأننا سنستخدم خوارزميات لم نذكرها في المساق.
يمكنك معرفة المزيد عن البيانات التي سنستخدمها من خلال هذا الرابط
مشاهدة وتعلّم وتطبيق ممتع:
https://colab.research.google.com/drive/1Xs1ZpF-mXjYDFi80cRu1bYzpzV6nwVUH
اختبار الوحدة الثانية
الوحدة الثالثة: الشبكات العصبية وتقييم نماذج التعلّم الآلي
ما هي الشبكات العصبية؟
تطبيق عملي - مبادئ عملية في الشبكات العصبية
تقنية الـ Clustering في التعلّم الآلي غير الموجّه
مشاكل نماذج التعّلم الآلي وكيفية حلها
ما هو الـ Regularization وكيف يستخدم لتحديد أوزان الميزات؟
تقييم أداء نموذج التعلّم الآلي
ما هي مصفوفة التشتت Confusion Matrix؟
تأثير عتبة التصنيف Classification Threshold على أداء نموذج التعلّم الآلي
مصادر تعليمية إضافية في علوم البيانات
خطة تطور وظيفي في علم البيانات
تطبيق عملي - استخدام مكتبة TensorFlow لمعالجة البيانات
يمكنكم الوصول للمختبر الافتراضي الذي تم العمل عليه في الفيديو من هنا:
مختبر 2: كيفية التنبؤ بعدد الطلاب المتسرّبين
في هذا المختبر الافتراضي سنقوم باستخدام شجرة القرارات أو decision tree algorithm لتوقع نجاح ورسوب طلبة في مدرسة ثانوية في البرتغال.
ستتعلم كيفية قراءة البيانات وتحضيرها ثم بناء نموذج تعلم آلي يتوقع أداء الطالب من نجاح ورسوب.
يمكنك معرفة المزيد عن البيانات التي سنستخدمها من خلال هذا الرابط
مشاهدة وتعلّم وتطبيق ممتع:
https://colab.research.google.com/drive/1NqXRDcAVAWmaEoQ2yr0IHzvSYp4v2rvB