دوره آموزشی یادگیری Hadoop
1 ساعت 53 دقیقهمتوسط2023-10-20
مدرسین
Lynn Langit
Cloud Architect
جزئیات دوره
Hadoop هنگام پردازش کلان داده ضروری است - همانطور که سرورها برای ذخیره اطلاعات شما لازم است. در این دوره، معمار ابر، لین لنگیت، معرفی کاملی از Hadoop ارائه می دهد. نحوه راه اندازی Cloud Hadoop را بیاموزید و در مورد اجزای اصلی مانند JVM ها، سیستم فایل HDFS، AWS S3 و اجزای کلاستر بیاموزید. مراحل تنظیم و تأیید محیط توسعه خود را طی کنید. راههایی را که میتوانید از MapReduce با Hadoop استفاده کنید، کاوش کنید و یاد بگیرید که چگونه هر کار MapReduce را تنظیم کنید. به مقیاسبندی خوشههای Hadoop مبتنی بر VM در GCP Dataproc HDFS بروید. نحوه انتخاب گزینه های NoSQL مناسب برای Hadoop با Hive، HBase و Pig را بیاموزید. به علاوه، به معماری Apache Spark و نحوه اجرای یک کار Apache Spark در یک کلاستر Hadoop بپردازید.
مهارت ها
HadoopApacheData EngineeringLearningData Science
سرفصل ها
0. مقدمه
- 01 - چی و چرا هادوپ
- 02 - آنچه باید بدانید
- 03 - از خدمات ابری استفاده کنید
1. Cloud Hadoop را راهاندازی کنید
- 04 - Hadoop چیست
- 05 - توزیع هادوپ و خدمات ابری را مرور کنید
- 06 - GCP Dataproc Metastore و VM Cluster را راهاندازی کنید
- 07 - خوشه GCP Dataproc VM را تأیید کنید
2. اجزای هسته Hadoop را درک کنید
- 08 - اجزای Hadoop را درک کنید
- 09 - ماشینهای مجازی جاوا (JVM) را بشناسید
- 10 - سیستمهای فایل Hadoop - HDFS را کاوش کنید
- 11 - سیستمهای فایل Hadoop - AWS S3 را کاوش کنید
- 12 - بررسی اجزای خوشه Hadoop
3. محیط توسعه را تنظیم و تأیید کنید
- 13 - مشاغل آزمون را مرور کنید
- 14 - بررسی خروجی کار
- 15 - رابطهای وب Hadoop را در محیط تست خود بررسی کنید
- 16 - رابطهای وب Hadoop Spark را در محیط آزمایشی خود بررسی کنید
- 17 - از رابط Jupyter برای Hadoop استفاده کنید
4. MapReduce را درک کنید
- 18 - MapReduce چیست
- 19 - MapReduce کلمه count چیست
- 20 - کار MapReduce word count را مرور کنید
- 21 - برای کدنویسی جاوا MapReduce آماده شوید
- 22 - کد شغل MapReduce WordCount را مرور کنید
5. MapReduce را تنظیم کنید
- 23 - کوک با روشهای فیزیکی
- 24 - یک نقشه کش را تنظیم کنید
- 25 - شناخت انواع داده ها
- 26 - کاهش دهنده را تنظیم کنید
- 27 - از MR 2.0 و 3.0 استفاده کنید
- 28 - نمونههای بهینهسازی MR را مرور کنید
6. Scale Cloud Hadoop
- 29 - به Cloud Hadoop مهاجرت کنید
- 30 - کلاسترهای مبتنی بر VM را مقیاس کنید
- 31 - از سیاستهای مقیاس خودکار استفاده کنید
- 32 - مقیاس خوشههای Kubernetes Spark
7. از Hive، Pig و Spark استفاده کنید
- 33 - Hive و HBase را درک کنید
- 34 - جداول را با Hive ایجاد و کوئری کنید
- 35 - خوک را درک کنید
- 36 - WordCount را با استفاده از Pig اجرا کنید
- 37 - معماری Spark را مرور کنید
- 38 - یک کار Spark را برای محاسبه پی مقیاس کنید
نتیجه
- 39 - در مورد استفاده از Hadoop بیشتر بدانید