دوره آموزشی آمادگی گواهینامه Microsoft Azure Data Engineer Associate (DP-203): بخش دوم طراحی و توسعه پردازش داده ها
3 ساعت 28 دقیقهمتوسط2023-08-14
مدرسین

Microsoft Learn
Build Skills That Open Doors

Tim Warner
Technical Trainer and Content Developer
جزئیات دوره
گواهینامههای حرفهای جدید از Azure برای نقشهای خاص در صنعت طراحی شدهاند. گرفتن گواهینامه Azure کمک میکنه تا مهارتهای خاص خودتو تو Azure تأیید کنی و ارزشتو تو بازار کار IT امروز افزایش بدی. تو این دوره، تیم وارنر، مایکروسافت MVP و مهندس راهحلهای مایکروسافت Azure، مفاهیم و مهارتهای اصلی که برای قبولی در امتحان گواهینامه Microsoft Azure Data Engineer Associate (DP-203) نیاز داری رو معرفی میکنه. این دوره، دومین قسمت از سری دورههای آمادهسازی گواهینامه هست که اصول طراحی و توسعه راهحلهای پردازش داده رو بررسی میکنه. تو این دوره یاد میگیری چطور دادهها رو با ابزارهایی مثل Apache Spark، Transact SQL، Data Factory، و Stream Analytics وارد و تبدیل کنی. همچنین با دادههای تبدیلشده کار میکنی و مشکلات احتمالی رو حل میکنی. علاوه بر این، طراحی، توسعه، پیکربندی، و رفع مشکلات راهحلها برای پردازش دستهای و پردازش استریم رو یاد میگیری. در این مسیر، متوجه میشی چطور دستهها و لولهها رو مدیریت کنی تا تحویل دادهها به طور مداوم و موفق انجام بشه.
مهارت ها
Data EngineeringAzureNetwork AdministrationCloud PlatformsCert PrepNetwork and System AdministrationCloud ComputingData ScienceMicrosoft
سرفصل ها
دادهها را بلعیده و تبدیل کنید
- اهداف آموزشی
- با استفاده از Apache Spark دادهها را تبدیل کنید
- تبدیل دادهها با استفاده از Transact-SQL
- تبدیل دادهها با استفاده از Data Factory
- تبدیل دادهها با استفاده از خطوط لوله Azure Synapse
- با استفاده از Stream Analytics دادهها را تغییر دهید
با دادههای تبدیل شده کار کنید
- اهداف آموزشی
- دادهها را پاک کنید
- دادهها را تقسیم کنید
- JSON را خرد کنید
- رمزگذاری و رمزگشایی داده ها
عیب یابی تبدیل داده ها
- اهداف آموزشی
- مدیریت خطا را برای تبدیل پیکربندی کنید
- مقادیر را عادی و غیرعادی کنید
- تبدیل دادهها با استفاده از Scala
- انجام تجزیهوتحلیل اکتشافی داده ها
یک راه حل پردازش دسته ای طراحی کنید
- اهداف آموزشی
- با استفاده از Data Factory، Data Lake، Spark، Azure Synapse، PolyBase و Azure Databricks راه حلهای پردازش دسته ای ایجاد کنید.
- خطوط لوله داده ایجاد کنید
- طراحی و اجرای بارهای افزایشی داده
- طراحی و توسعه ابعاد به آرامی در حال تغییر
- رسیدگی به الزامات امنیتی و انطباق
- منابع مقیاس
یک راه حل پردازش دسته ای ایجاد کنید
- اهداف آموزشی
- اندازه دسته را پیکربندی کنید
- طراحی و ایجاد تست برای خطوط لوله داده
- نوت بوکهای Jupyter و Python را در خط لوله داده ادغام کنید
- دادههای تکراری را مدیریت کنید
- دادههای از دست رفته را مدیریت کنید
- دادههای دیر رسیدن را مدیریت کنید
یک راه حل پردازش دسته ای را پیکربندی کنید
- اهداف آموزشی
- دادهها را اضافه کنید
- بازگشت به حالت قبلی
- مدیریت استثنا را طراحی و پیکربندی کنید
- حفظ دسته ای را پیکربندی کنید
- طراحی راه حل پردازش دسته ای را مجددا بررسی کنید
- کارهای Spark را با استفاده از Spark UI اشکال زدایی کنید
یک راه حل پردازش جریان طراحی کنید
- هدف یادگیری
- با استفاده از Stream Analytics، Azure Databricks و Azure Event Hubs یک راه حل پردازش جریان ایجاد کنید.
- پردازش دادهها با استفاده از جریان ساختاری Spark
- پایش عملکرد و رگرسیونهای عملکردی
- مصالح پنجره ای را طراحی و ایجاد کنید
- دریفت طرحواره را کنترل کنید
پردازش دادهها در یک راه حل پردازش جریانی
- اهداف آموزشی
- پردازش دادههای سری زمانی
- پردازش در پارتیشن ها
- پردازش در یک پارتیشن
- تنظیمات ایست بازرسی و واترمارکینگ در حین پردازش
- منابع مقیاس
- طراحی و ایجاد تست برای خطوط لوله داده
- خطوط لوله را برای مقاصد تحلیلی یا معاملاتی بهینه کنید
عیب یابی راه حل پردازش جریان
- اهداف آموزشی
- وقفهها را مدیریت کنید
- مدیریت استثنا را طراحی و پیکربندی کنید
- دادهها را اضافه کنید
- دادههای جریان آرشیو شده را دوباره پخش کنید
- یک راه حل پردازش جریانی طراحی کنید
دستهها و خطوط لوله را مدیریت کنید
- اهداف آموزشی
- دستههای ماشه ای
- بارهای دسته ای ناموفق را مدیریت کنید
- بارهای دسته ای را تأیید کنید
- خطوط لوله داده را در خطوط لوله داده Factory و Synapse مدیریت کنید
- خطوط لوله داده را در خطوط لوله داده Factory و Synapse برنامه ریزی کنید
- اجرای کنترل نسخه برای مصنوعات خط لوله
- مشاغل Spark را در خط لوله مدیریت کنید
دوره های مرتبط
- دوره آموزشی کلانداده در عصر هوش مصنوعی
- دوره آموزشی راهنمای کامل مهندسی تحلیل دادهها
- دوره آموزشی مهندسی تحلیل پیشرفته: تمرینهای دنیای واقعی
- دوره آموزشی راهنمای کامل Google BigQuery برای مهندسان داده و یادگیری ماشین
- دوره آموزشی یادگیری اصولی PySpark: معرفی ساخت خطوط پردازش داده
- دوره آموزشی پاکسازی دادهها برای علم داده مؤثر: واردکردن دادهها، تشخیص ناهنجاری، پرکردن مقادیر گمشده و مهندسی ویژگیها
- دوره آموزشی یادگیری جامع اسکالا برای علوم داده
- دوره آموزشی SPSS: آمادهسازی، مصورسازی و مدلسازی دادهها