دوره آموزشی آمادگی گواهینامه مهندسی داده مایکروسافت آژور (DP-203): بخش 4 نظارت و بهینه سازی ذخیره سازی داده ها و پردازش داده ها

دوره آموزشی آمادگی گواهینامه مهندسی داده مایکروسافت آژور (DP-203): بخش 4 نظارت و بهینه سازی ذخیره سازی داده ها و پردازش داده ها

34 دقیقهمتوسط2022-12-15

مدرسین

Noah Gift

Noah Gift

MLOps Expert | Solopreneur | Author | Adjunct Professor | CTO

جزئیات دوره

آیا برای آزمون Microsoft Azure Data Engineering (DP-203) آماده می شوید یا به دنبال درک بهتری از نحوه طراحی و توسعه پردازش داده هستید؟ این دوره، چهارمین دوره از یک سری، می تواند به شما کمک کند. نوح گیفت، بنیانگذار Pragmatic A.I. آزمایشگاه ها و یکی از همکاران بنیاد نرم افزار پایتون، نحوه نظارت و بهینه سازی ذخیره سازی داده ها و پردازش داده ها را پوشش می دهد. نوح ابتدا نحوه نظارت بر ذخیره سازی داده ها و پردازش داده ها را پوشش می دهد و نحوه اجرای logging مورد استفاده توسط Azure Monitor را نشان می دهد. پیکربندی خدمات نظارت؛ اندازه گیری عملکرد پرس و جو؛ و بیشتر. او سپس موضوعات مربوط به بهینه سازی و عیب یابی ذخیره سازی و پردازش داده ها را شرح می دهد، از جمله چگونگی: بازنویسی توابع تعریف شده توسط کاربر. تنظیم نمایش داده شد با استفاده از نمایه ساز و حافظه پنهان. کنترل انحراف در داده ها و نشت داده ها. عیب یابی شکست Spark job و اجرای خط لوله.

مهارت ها

Cloud StorageData EngineeringAzureNetwork AdministrationCloud PlatformsCert PrepNetwork and System AdministrationCloud ComputingData ScienceMicrosoft

سرفصل ها

مقدمه

  • معرفی دوره

نظارت بر ذخیره سازی داده ها و پردازش داده ها

  • اجرای لاگ مورد استفاده توسط Azure Monitor
  • خدمات مانیتورینگ را پیکربندی کنید
  • اندازه گیری عملکرد حرکت داده ها
  • نظارت بر عملکرد خوشه خط لوله سیستم داده
  • عملکرد پرس و جو را اندازه گیری کنید
  • برنامه ریزی و نظارت بر آزمایشات خط لوله
  • یک نمودار غیر چرخه ای جهت دار جرقه را تفسیر کنید (DAG)

بهینه سازی و عیب یابی ذخیره سازی داده ها و پردازش داده ها

  • بازنویسی توابع تعریف شده توسط کاربر (UDF)
  • کنترل انحراف در داده ها و نشت داده ها
  • خطوط لوله پارتیشن ها را تنظیم کنید
  • مدیریت منابع را بهینه کنید
  • کوئری ها را با استفاده از نمایه سازها و کش تنظیم کنید
  • عیب یابی شکست Spark job و اجرای خط لوله

نتیجه

  • خلاصه و مراحل بعدی
۴۰,۰۰۰ تومان