دوره آموزشی یادگیری جامع Azure Spark Databricks
2 ساعت 58 دقیقهمتوسط2025-02-06
مدرسین

Lynn Langit
Cloud Architect
جزئیات دوره
Apache Spark و Microsoft Azure دو مورد از پرتقاضاترین پلتفرمها و مجموعههای فناوری در تیمهای علم داده امروزی هستند. این دو پلتفرم در کنار هم، Azure Databricks را شکل میدهند؛ یک پلتفرم تحلیلی مبتنی بر Apache Spark که برای سادهتر و مشارکتیتر کردن فرآیند تحلیل داده طراحی شده است.
در این دوره آموزشی، لین لانگیت به بررسی الگوها، ابزارها و بهترین روشهایی میپردازد که به توسعهدهندگان و متخصصان DevOps کمک میکند تا با استفاده از Azure Databricks، راهکارهای دادهمحور مقیاسپذیر را روی Apache Spark پیادهسازی کنند.
این دوره شامل آموزش راهاندازی کلاسترها، استفاده از دفترچههای (Notebooks) Azure Databricks، مدیریت وظایف (Jobs) و سرویسهای تحلیلی برای پردازش حجم بالای دادهها است. همچنین، نحوه ساخت خطوط پردازش داده (Data Pipelines) در Azure Databricks مورد بررسی قرار میگیرد، از جمله پیادهسازی پایپلاینهای یادگیری ماشین (ML Pipelines) و استفاده از الگوهای معماری یادگیری ماشین.
اهداف آموزشی این دوره:
آشنایی با سناریوهای کسبوکار برای Apache Spark
نحوه راهاندازی کلاسترها در Azure Databricks
استفاده از دفترچههای Python، R و Scala برای پردازش داده
مقیاسپذیری جریانهای کاری Azure Databricks
طراحی و پیادهسازی خطوط پردازش داده (Data Pipelines)
آشنایی با معماریهای یادگیری ماشین در Azure Databricks
در این دوره آموزشی، لین لانگیت به بررسی الگوها، ابزارها و بهترین روشهایی میپردازد که به توسعهدهندگان و متخصصان DevOps کمک میکند تا با استفاده از Azure Databricks، راهکارهای دادهمحور مقیاسپذیر را روی Apache Spark پیادهسازی کنند.
این دوره شامل آموزش راهاندازی کلاسترها، استفاده از دفترچههای (Notebooks) Azure Databricks، مدیریت وظایف (Jobs) و سرویسهای تحلیلی برای پردازش حجم بالای دادهها است. همچنین، نحوه ساخت خطوط پردازش داده (Data Pipelines) در Azure Databricks مورد بررسی قرار میگیرد، از جمله پیادهسازی پایپلاینهای یادگیری ماشین (ML Pipelines) و استفاده از الگوهای معماری یادگیری ماشین.
اهداف آموزشی این دوره:
آشنایی با سناریوهای کسبوکار برای Apache Spark
نحوه راهاندازی کلاسترها در Azure Databricks
استفاده از دفترچههای Python، R و Scala برای پردازش داده
مقیاسپذیری جریانهای کاری Azure Databricks
طراحی و پیادهسازی خطوط پردازش داده (Data Pipelines)
آشنایی با معماریهای یادگیری ماشین در Azure Databricks
مهارت ها
Apache SparkApacheData EngineeringAzureEssential TrainingData ScienceMicrosoft
سرفصل ها
0. مقدمه
- 01 - خطوط لوله داده را بهینه کنید
- 02 - آنچه باید بدانید
- 03 - در مورد استفاده از خدمات ابری
1. دادههای بزرگ در Azure Databricks
- 04 - با خوشههای Databricks Apache Spark آشنا شوید
- 05 - سناریوهای تجاری برای اسپارک
- 06 - اجزای کلیدی Spark را درک کنید
- 07 - مفاهیم Azure Databricks
- 08 - شروع سریع - از یک دفترچه یادداشت استفاده کنید
- 09 - Databricks AI Playground را راهاندازی کنید
- 10 - از Databricks AI Playground استفاده کنید
2. حجم کاری Core Azure Databricks
- 11 - تنظیم خوشه Databricks Azure را مرور کنید
- 12 - از یک نوت بوک پایتون با داشبورد استفاده کنید
- 13 - از دفترچه یادداشت R استفاده کنید
- 14 - از دفترچه یادداشت اسکالا برای تجسم استفاده کنید
- 15 - از یک دفترچه یادداشت با scikit-learn استفاده کنید
- 16 - از نوت بوک Spark Streaming استفاده کنید
- 17 - از کتابخانه خارجی Scala - variant-spark استفاده کنید
3. مقیاس کاری Azure Databricks بارهای کاری
- 18 - مراحل بار کاری مهندسی داده را درک کنید
- 19 - تنظیمات خوشه را درک کنید
- 20 - سربار اجرای کار Spark را درک کنید
- 21 - هواپیماهای کنترل بهینهسازی را کاوش کنید
- 22 - خوشه و شغل را بهینه کنید
- 23 - یک کار به اندازه تولید را اجرا کنید
4. خطوط لوله داده با Azure Databricks
- 24 - از کارهای Databricks و کنترل مبتنی بر نقش استفاده کنید
- 25 - از Databricks Runtime ML استفاده کنید
- 26 - ML Pipelines API را درک کنید
- 27 - از ML Pipelines API استفاده کنید
- 28 - از آموزش ML توزیع شده استفاده کنید
- 29 - Databricks Delta را درک کنید
- 30 - از Databricks Delta استفاده کنید
- 31 - از ذخیرهسازی Azure Blob استفاده کنید
- 32 - MLflow را درک کنید
5. معماریهای یادگیری ماشین
- 33 - ملاحظات خط لوله Azure Databricks
- 34 - Azure Databricks برای انبار داده
- 35 - Azure Databricks و یادگیری ماشینی
- 36 - Azure Databricks برای تجزیهوتحلیل Churn
- 37 - Azure Databricks برای تشخیص نفوذ
نتیجه گیری
- 38 - مراحل بعدی
دوره های مرتبط
- دوره آموزشی یادگیری جامع اسکالا برای علوم داده
- دوره آموزشی DataOps با Apache Iceberg با استفاده از Spark، Nessie و Dremio
- دوره آموزشی Cloud Hadoop: پیمایش آپاچی اسپارک
- دوره آموزشی تحلیل دادههای کلان با Hadoop و Apache Spark
- دوره آموزشی پلتفرمهای داده: از Spark تا Snowflake
- دوره آموزشی آمادگی گواهینامه Databricks Certified Data Engineer Associate: بخش دوم ELT با Spark SQL و Python
- دورهی آموزشی مقدماتی آپاچی اسپارک: مهندسی دادههای بزرگ
- دوره آموزشی معماری برنامه های کاربردی داده های بزرگ: مهندسی کاربرد حالت دسته ای