دوره آموزشی آمادگی گواهینامه Microsoft Azure Data Engineer Associate (DP-203)
9 ساعت 27 دقیقهمتوسط2024-09-17
مدرسین

Microsoft Press
Microsoft

Tim Warner
Technical Trainer and Content Developer
جزئیات دوره
در این دوره، تیم وارنر که از برگزیدگان Microsoft MVP است، شما را با محتوای آزمون DP-203 «مهندسی داده در مایکروسافت آژور» آشنا میکند و تمامی اهداف آزمون را به شیوهای دوستانه و منطقی پوشش میدهد. تیم به جزئیات پیچیده مهندسی داده در Microsoft Azure پرداخته و بر ایجاد راهحلهای پردازش دادهای کارآمد، امن و پایدار تمرکز دارد. در این دوره یاد میگیرید چگونه استراتژیهای متنوع ذخیرهسازی داده را طراحی و پیادهسازی کنید و از Azure Synapse Analytics برای مدیریت مجموعهدادههای بزرگ به شیوهای بهینه بهره ببرید. با تکنیکهای فشردهسازی داده، تقسیمبندی و قطعهبندی آشنا شوید تا سرعت دسترسی و ذخیرهسازی را بهبود دهید. علاوه بر این، اصول طراحی جدولها، افزونگی داده و روشهای بایگانی برای دسترسیپذیری و حفاظت از دادهها را بررسی خواهید کرد. این دوره برای متخصصان IT، دانشمندان داده و علاقهمندان به قابلیتهای مهندسی داده در Azure ایدهآل بوده و به شما این امکان را میدهد که راهحلهای دادهای مقیاسپذیر ایجاد کنید و اطمینان حاصل کنید که برنامههای مبتنی بر داده به صورت روان و بیدردسر عمل میکنند.
مهارت ها
Cloud StorageCloud AdministrationData EngineeringAzureCloud PlatformsCert PrepCloud ComputingData ScienceMicrosoft
سرفصل ها
0. مقدمه
- 01 - مقدمه
1. طراحی و پیادهسازی ذخیرهسازی داده ها
- 02 - اهداف آموزشی
- 03 - یک راه حل Azure Data Lake طراحی کنید
- 04 - انواع فایل را برای ذخیرهسازی توصیه کنید
- 05 - انواع فایل را برای کوئریهای تحلیلی توصیه کنید
- 06 - طراحی برای کوئری کارآمد
2. طراحی برای هرس داده ها
- 07 - اهداف آموزشی
- 08 - یک ساختار پوشه ای طراحی کنید که نشان دهنده سطوح تبدیل دادهها باشد
- 09 - یک استراتژی توزیع طراحی کنید
- 10 - طراحی راه حل آرشیو داده ها
3. یک استراتژی پارتیشن طراحی کنید
- 11 - اهداف آموزشی
- 12 - طراحی استراتژی پارتیشن برای فایل ها
- 13 - طراحی استراتژی پارتیشن برای بارهای کاری تحلیلی
- 14 - طراحی استراتژی پارتیشن برای کارایی و عملکرد
- 15 - یک استراتژی پارتیشن برای Azure Synapse Analytics طراحی کنید
- 16 - شناسایی زمانی که پارتیشن بندی در Azure Data Lake Storage Gen2 مورد نیاز است
4. لایه سرویس را طراحی کنید
- 17 - اهداف آموزشی
- 18 - طرحوارههای ستاره ای طراحی کنید
- 19 - طراحی به آرامی در حال تغییر ابعاد
- 20 - یک سلسله مراتب بعدی طراحی کنید
- 21 - راه حلی برای دادههای زمانی طراحی کنید
- 22 - طراحی برای بارگذاری افزایشی
- 23 - طراحی فروشگاههای تحلیلی
- 24 - متاستورها را در Azure Synapse Analytics و Azure Databricks طراحی کنید
5. ساختارهای ذخیرهسازی دادههای فیزیکی را پیادهسازی کنید
- 25 - اهداف آموزشی
- 26 - فشرده سازی را اجرا کنید
- 27 - اجرای پارتیشن بندی
- 28 - اجرای شاردینگ
- 29 - هندسههای مختلف جدول را با استخرهای Azure Synapse Analytics پیادهسازی کنید
- 30 - افزونگی دادهها را پیادهسازی کنید
- 31 - توزیعها را اجرا کنید
- 32 - اجرای آرشیو داده ها
6. ساختارهای داده منطقی را پیادهسازی کنید
- 33 - اهداف آموزشی
- 34 - یک راه حل دادههای زمانی بسازید
- 35 - یک بعد به آرامی در حال تغییر بسازید
- 36 - یک ساختار پوشه منطقی بسازید
- 37 - جداول خارجی بسازید
- 38 - برای کوئری و هرس دادهها ساختارهای فایل و پوشه را پیادهسازی کنید
7. لایه سرویس را پیادهسازی کنید
- 39 - اهداف آموزشی
- 40 - دادهها را در یک طرحواره ستاره ای رابطه ای تحویل دهید
- 41 - دادهها را در فایلهای پارکت تحویل دهید
- 42 - ابرداده را حفظ کنید
- 43 - سلسله مراتب بعدی را اجرا کنید
8. دادهها را بلعیده و تبدیل کنید
- 44 - اهداف آموزشی
- 45 - با استفاده از آپاچی اسپارک دادهها را تبدیل کنید
- 46 - تبدیل دادهها با استفاده از Transact-SQL
- 47 - تبدیل دادهها با استفاده از Data Factory
- 48 - تبدیل دادهها با استفاده از خطوط لوله Azure Synapse
- 49 - با استفاده از Stream Analytics دادهها را تغییر دهید
9. با دادههای تبدیل شده کار کنید
- 50 - اهداف آموزشی
- 51 - دادهها را پاک کنید
- 52 - دادهها را تقسیم کنید
- 53 - JSON را خرد کنید
- 54 - دادهها را رمزگذاری و رمزگشایی کنید
10. عیب یابی تبدیل داده ها
- 55 - اهداف آموزشی
- 56 - مدیریت خطا را برای تبدیل پیکربندی کنید
- 57 - مقادیر را عادی و غیرعادی کنید
- 58 - تبدیل دادهها با استفاده از Scala
- 59 - انجام تجزیهوتحلیل اکتشافی داده ها
11. یک راه حل پردازش دسته ای طراحی کنید
- 60 - اهداف آموزشی
- 61 - راه حلهای پردازش دسته ای را با استفاده از Data Factory، Data Lake، Spark، Azure Synapse خطوط لوله، PolyBase و Azure Databricks ایجاد کنید.
- 62 - خطوط لوله داده ایجاد کنید
- 63 - طراحی و اجرای بارهای افزایشی داده
- 64 - طراحی و توسعه ابعاد به آرامی در حال تغییر
- 65 - رسیدگی به الزامات امنیتی و انطباق
- 66 - منابع مقیاس
12. یک راه حل پردازش دسته ای ایجاد کنید
- 67 - اهداف آموزشی
- 68 - اندازه دسته را پیکربندی کنید
- 69 - طراحی و ایجاد تست برای خطوط لوله داده
- 70 - نوت بوکهای Jupyter و Python را در خط لوله داده ادغام کنید
- 71 - دادههای تکراری را مدیریت کنید
- 72 - دادههای از دست رفته را مدیریت کنید
- 73 - دادههای دیر رسیدن را مدیریت کنید
13. یک راه حل پردازش دسته ای را پیکربندی کنید
- 74 - اهداف آموزشی
- 75 - دادهها را اضافه کنید
- 76 - بازگشت به حالت قبلی
- 77 - مدیریت استثنا را طراحی و پیکربندی کنید
- 78 - حفظ دسته ای را پیکربندی کنید
- 79 - بازنگری در طراحی راه حل پردازش دسته ای
- 80 - کارهای Spark را با استفاده از Spark UI اشکال زدایی کنید
14. یک راه حل پردازش جریان طراحی کنید
- 81 - هدف یادگیری
- 82 - با استفاده از Stream Analytics، Azure Databricks و Azure Event Hubs یک راه حل پردازش جریان ایجاد کنید.
- 83 - پردازش دادهها با استفاده از جریان ساختاری Spark
- 84 - پایش عملکرد و رگرسیونهای عملکردی
- 85 - مصالح پنجره ای را طراحی و ایجاد کنید
- 86 - دریفت طرحواره را کنترل کنید
15. پردازش دادهها در یک راه حل پردازش جریانی
- 87 - اهداف آموزشی
- 88 - پردازش دادههای سری زمانی
- 89 - پردازش در پارتیشن ها
- 90 - پردازش در یک پارتیشن
- 91 - پیکربندی نقاط بازرسی و واترمارکینگ در حین پردازش
- 92 - منابع مقیاس
- 93 - طراحی و ایجاد تست برای خطوط لوله داده
- 94 - بهینهسازی خطوط لوله برای اهداف تحلیلی یا معاملاتی
16. عیب یابی راه حل پردازش جریان
- 95 - اهداف آموزشی
- 96 - وقفهها را مدیریت کنید
- 97 - مدیریت استثنا را طراحی و پیکربندی کنید
- 98 - دادهها را اضافه کنید
- 99 - دادههای جریان بایگانی شده را دوباره پخش کنید
- 100 - یک راه حل پردازش جریانی طراحی کنید
17. دستهها و خطوط لوله را مدیریت کنید
- 101 - اهداف آموزشی
- 102 - دستههای ماشه ای
- 103 - بارهای دسته ای ناموفق را مدیریت کنید
- 104 - بارهای دسته ای را تأیید کنید
- 105 - خطوط لوله داده را در خطوط لوله داده Factory و Synapse مدیریت کنید
- 106 - خطوط لوله داده را در خطوط لوله داده Factory و Synapse برنامه ریزی کنید
- 107 - اجرای کنترل نسخه برای مصنوعات خط لوله
- 108 - مشاغل Spark را در خط لوله مدیریت کنید
18. طراحی امنیت برای سیاستهای داده
- 109 - اهداف آموزشی
- 110 - طراحی رمزگذاری دادهها برای دادهها در حالت استراحت و در حال انتقال
- 111 - طراحی استراتژی حسابرسی داده ها
- 112 - یک استراتژی پوشش داده طراحی کنید
- 113 - طراحی برای حفظ حریم خصوصی داده ها
19. طراحی امنیت برای استانداردهای داده
- 114 - اهداف آموزشی
- 115 - سیاست حفظ دادهها را طراحی کنید
- 116 - طراحی برای پاکسازی دادهها بر اساس نیازهای تجاری
- 117 - طراحی Azure RBAC و ACL مانند POSIX برای Data Lake Storage Gen2
- 118 - طراحی امنیت در سطح ردیف و سطح ستون
20. حفاظت از امنیت دادهها را اجرا کنید
- 119 - اهداف آموزشی
- 120 - پوشش دادهها را اجرا کنید
- 121 - رمزگذاری دادهها در حالت استراحت و در حال حرکت
- 122 - اجرای امنیت در سطح ردیف و سطح ستون
- 123 - Azure RBAC را پیادهسازی کنید
- 124 - ACLهای مشابه POSIX را برای Data Lake Storage Gen2 پیادهسازی کنید
- 125 - سیاست حفظ دادهها را اجرا کنید
- 126 - اجرای استراتژی حسابرسی داده ها
21. دسترسی به امنیت دادهها را پیادهسازی کنید
- 127 - اهداف آموزشی
- 128 - هویت ها , کلیدها و اسرار را در بسترهای داده مختلف مدیریت کنید
- 129 - اجرای نقاط پایانی امن - خصوصی و عمومی
- 130 - توکنهای منبع را در Azure Databricks پیادهسازی کنید
- 131 - یک DataFrame را با اطلاعات حساس بارگذاری کنید
- 132 - دادههای رمزگذاری شده را روی جداول یا فایلهای پارکت بنویسید
- 133 - اطلاعات حساس را مدیریت کنید
22. نظارت بر ذخیرهسازی داده ها
- 134 - اهداف آموزشی
- 135 - اجرای logging مورد استفاده توسط Azure Monitor
- 136 - خدمات مانیتورینگ را پیکربندی کنید
- 137 - اندازهگیری عملکرد حرکت داده ها
- 138 - نظارت و به روز رسانی آمار در مورد دادهها در سراسر یک سیستم
- 139 - نظارت بر عملکرد خط لوله داده ها
- 140 - عملکرد کوئری را اندازهگیری کنید
23. نظارت بر پردازش داده ها
- 141 - اهداف آموزشی
- 142 - نظارت بر عملکرد خوشه
- 143 - گزینههای ثبت سفارشی را بدانید
- 144 - برنامه ریزی و نظارت بر آزمایشات خط لوله
- 145 - متریکها و گزارشهای مانیتور Azure را تفسیر کنید
- 146 - تفسیر یک نمودار غیر چرخشی به کارگردانی جرقه (DAG)
24. ذخیرهسازی دادهها را تنظیم کنید
- 147 - اهداف آموزشی
- 148 - فایلهای کوچک فشرده
- 149 - بازنویسی توابع تعریف شده توسط کاربر (UDF)
- 150 - چولگی در دادهها را کنترل کنید
- 151 - نشت دادهها را مدیریت کنید
- 152 - پارتیشنها را تنظیم کنید
- 153 - بر هم زدن را در خط لوله بیابید
- 154 - مدیریت منابع را بهینه کنید
25. بهینهسازی و عیب یابی پردازش داده ها
- 155 - اهداف آموزشی
- 156 - را با استفاده از پروفایل سازها تنظیم کنید
- 157 - را با استفاده از حافظه پنهان تنظیم کنید
- 158 - خطوط لوله را برای اهداف تحلیلی یا معاملاتی بهینه کنید
- 159 - بهینهسازی خط لوله برای بارهای کاری توصیفی در مقابل تحلیلی
- 160 - عیب یابی کارهای ناموفق Spark
- 161 - عیب یابی اجرای ناموفق خط لوله
نتیجه گیری
- 162 - خلاصه
دوره های مرتبط
- دوره آموزشی آموزش عملی پیشرفته SQL Server: استراتژیها و تکنیکها
- دوره آموزشی ساخت اپلیکیشنهای هوش مصنوعی تولیدی برای گفتگو با دادههای شما
- دوره آموزشی مهندسی داده پیشرفته با اسنوفلیک (Snowflake)
- دوره آموزشی برنامهریزی داده، استراتژی و رعایت قوانین برای پروژههای هوش مصنوعی
- دوره آموزشی استراتژی داده در هوش مصنوعی: تهیه و ذخیرهسازی دادهها
- دوره آموزشی مقدمهای بر مهندسی داده مدرن با Snowflake
- دوره آموزشی مقدمهای بر هوش مصنوعی نسل جدید (Gen AI) با Snowflake
- دوره آموزشی مقدمهای بر Snowflake برای توسعهدهندگان، دانشمندان داده و مهندسان داده