دوره آموزشی آمادگی گواهینامه مهندسی داده مایکروسافت آژور (DP-203): بخش 4 نظارت و بهینه سازی ذخیره سازی داده ها و پردازش داده ها
34 دقیقهمتوسط2022-12-15
مدرسین
Noah Gift
MLOps Expert | Solopreneur | Author | Adjunct Professor | CTO
جزئیات دوره
آیا برای آزمون Microsoft Azure Data Engineering (DP-203) آماده می شوید یا به دنبال درک بهتری از نحوه طراحی و توسعه پردازش داده هستید؟ این دوره، چهارمین دوره از یک سری، می تواند به شما کمک کند. نوح گیفت، بنیانگذار Pragmatic A.I. آزمایشگاه ها و یکی از همکاران بنیاد نرم افزار پایتون، نحوه نظارت و بهینه سازی ذخیره سازی داده ها و پردازش داده ها را پوشش می دهد. نوح ابتدا نحوه نظارت بر ذخیره سازی داده ها و پردازش داده ها را پوشش می دهد و نحوه اجرای logging مورد استفاده توسط Azure Monitor را نشان می دهد. پیکربندی خدمات نظارت؛ اندازه گیری عملکرد پرس و جو؛ و بیشتر. او سپس موضوعات مربوط به بهینه سازی و عیب یابی ذخیره سازی و پردازش داده ها را شرح می دهد، از جمله چگونگی: بازنویسی توابع تعریف شده توسط کاربر. تنظیم نمایش داده شد با استفاده از نمایه ساز و حافظه پنهان. کنترل انحراف در داده ها و نشت داده ها. عیب یابی شکست Spark job و اجرای خط لوله.
مهارت ها
Cloud StorageData EngineeringAzureNetwork AdministrationCloud PlatformsCert PrepNetwork and System AdministrationCloud ComputingData ScienceMicrosoft
سرفصل ها
مقدمه
- معرفی دوره
نظارت بر ذخیره سازی داده ها و پردازش داده ها
- اجرای لاگ مورد استفاده توسط Azure Monitor
- خدمات مانیتورینگ را پیکربندی کنید
- اندازه گیری عملکرد حرکت داده ها
- نظارت بر عملکرد خوشه خط لوله سیستم داده
- عملکرد پرس و جو را اندازه گیری کنید
- برنامه ریزی و نظارت بر آزمایشات خط لوله
- یک نمودار غیر چرخه ای جهت دار جرقه را تفسیر کنید (DAG)
بهینه سازی و عیب یابی ذخیره سازی داده ها و پردازش داده ها
- بازنویسی توابع تعریف شده توسط کاربر (UDF)
- کنترل انحراف در داده ها و نشت داده ها
- خطوط لوله پارتیشن ها را تنظیم کنید
- مدیریت منابع را بهینه کنید
- کوئری ها را با استفاده از نمایه سازها و کش تنظیم کنید
- عیب یابی شکست Spark job و اجرای خط لوله
نتیجه
- خلاصه و مراحل بعدی