دوره آموزشی یادگیری Hadoop آپدیت (2020)
4 ساعت 7 دقیقهمبتدی2020-03-19
مدرسین
Lynn Langit
Cloud Architect
جزئیات دوره
Hadoop در هنگام پردازش داده های بزرگ ضروری است - برای درک اطلاعات شما همانطور که سرورها برای ذخیره سازی آنها لازم هستند. این دوره مقدمه شما در Hadoop است. سیستم فایل های کلیدی مورد استفاده با Hadoop. موتور پردازش آن ، MapReduce و بسیاری از کتابخانه ها و ابزارهای برنامه نویسی آن. لین و لانگیت ، توسعه دهنده و مشاور داده های بزرگ ، چگونگی راه اندازی محیط توسعه Hadoop ، اجرای و بهینه سازی مشاغل MapReduce ، کدگذاری درخواستهای اساسی با Hive و Pig و ایجاد گردش کار برای برنامه ریزی مشاغل را نشان می دهد. به علاوه ، در مورد عمق و وسعت کتابخانه های موجود Apache Spark که برای استفاده با خوشه Hadoop در دسترس هستند و همچنین گزینه هایی برای اجرای مشاغل یادگیری ماشین در خوشه Hadoop ، اطلاعات کسب کنید.
مهارت ها
HadoopApacheData EngineeringLearningData Science
سرفصل ها
0. مقدمه
- 01-شروع با Hadoop
- 02-آنچه قبل از تماشای این دوره باید بدانید
- 03-استفاده از خدمات ابری
1. چرا تغییر
- 04-محدودیت های سیستم های مدیریت پایگاه داده رابطه ای
- 05-معرفی CAP (ثبات، در دسترس بودن، پارتیشن بندی)
- 06-درک داده های بزرگ
10. درک گردش کار و اتصالات
- 45-معرفی Oozie
- 46- ایجاد یک گردش کار با Oozie
- 47-معرفی Sqoop
- 48-وارد کردن داده با Sqoop
49-معرفی ZooKeeper
- 50-هماهنگی گردش کار با ZooKeeper
- 11. استفاده از Spark
- 51-معرفی آپاچی اسپارک
- 52- اجرای Spark job برای محاسبه Pi
- 53- اجرای کار اسپارک در نوت بوک Jupyter
- 12. Hadoop Today
54-آشنایی با گزینه های یادگیری ماشین
- 55-درک دریاچه های داده
- 56-تجسم سیستم های هدوپ
- 2. Hadoop چیست
- 07-معرفی هادوپ
- 08-درک توزیع هادوپ
- 09-درک تفاوت بین HBase و Hadoop
10-کاوش در آینده Hadoop
- 3. درک اجزای هسته Hadoop
- 11-آشنایی با ماشین های مجازی جاوا (JVM)
- 12-کاوش HDFS و سیستم های فایل دیگر
- 13-معرفی اجزای خوشه Hadoop
- 14-معرفی هادوپ اسپارک
- 15-کاوش در توزیع های Apache و Cloudera Hadoop
16- استفاده از ابر عمومی برای میزبانی Hadoop - AWS یا GCP
- 4. راه اندازی Hadoop Development Environment
- 17- شناخت قطعات و قطعات
- 18- میزبانی Hadoop به صورت محلی با توزیع توسعه دهنده Cloudera
- 19- راه اندازی ماشین مجازی توسعه دهنده Cloudera Hadoop
20-افزودن کتابخانه های Hadoop به محیط تست خود
- 21- زبان برنامه نویسی و IDE خود را انتخاب کنید
- 22-از GCP Dataproc برای توسعه استفاده کنید
- 5. درک MapReduce 1.0
23-آشنایی با MapReduce 1.0
- 24-کاوش در اجزای یک کار MapReduce
- 25-کار با فایل سیستم Hadoop
- 26- اجرای یک کار MapReduce با استفاده از کنسول
- 27-بازبینی کد کار MapReduce WordCount
- 28- اجرا و ردیابی مشاغل Hadoop
6. تنظیم MapReduce
- 29-تنظیم به روش های فیزیکی
- 30-تنظیم نقشه کش
- 31-تنظیم یک کاهنده
- 32-استفاده از کش برای جستجوها
7. درک MapReduce 2.0_YARN
- 33-آشنایی با MapReduce 2.0
- 34- کدنویسی یک WordCount اساسی در جاوا با استفاده از MapReduce 2.0
- 35-کاوش تعداد کلمات پیشرفته در جاوا با استفاده از MapReduce 2.0
- 8. درک کندو
- 36-معرفی Hive and HBase
- 37-درک کندو
38-بازبینی WordCount با استفاده از Hive
- 39- درک بیشتر در مورد بهینه سازی پرس و جو HQL
- 40-استفاده از Hive در GCP Dataproc
- 9. درک خوک
41-معرفی Pig
- 42-درک Pig
- 43-کاوش موارد استفاده برای Pig
- 44-کاوش ابزارهای Pig در GCP Dataproc
مراحل بعدی
- 57-مراحل بعدی با Hadoop