دوره آموزشی آمادگی آزمون مهندس داده Microsoft Azure Databricks Associate (DP-750)

اگر می‌خواهید مهندسی داده را در محیط Azure Databricks به‌صورت حرفه‌ای یاد بگیرید و هم‌زمان برای آزمون Microsoft Azure Databricks Data Engineer Associate (DP-750) آماده شوید، این دوره یک مسیر عملی و ساختاریافته در اختیار شما قرار می‌دهد.

در این دوره ابتدا با راه‌اندازی و پیکربندی Azure Databricks Workspace و منابع محاسباتی آشنا می‌شوید و یاد می‌گیرید چگونه محیط Databricks را برای اجرای workloadهای مهندسی داده آماده کنید. سپس به سراغ مدیریت و حاکمیت داده می‌روید و با Unity Catalog برای کنترل دسترسی و مدیریت متمرکز داده‌ها و Delta Lake برای طراحی و بهینه‌سازی ذخیره‌سازی داده کار می‌کنید.

بخش مهمی از دوره به دریافت و پردازش داده اختصاص دارد. روش‌های Batch و Streaming Ingestion را با استفاده از Apache Spark Structured Streaming و Azure Event Hubs بررسی می‌کنید و یاد می‌گیرید داده‌ها را برای استفاده در فرایندهای تحلیلی و عملیاتی وارد سیستم کنید.

در ادامه، تکنیک‌های مختلف تبدیل و آماده‌سازی داده از جمله Join، تغییر ساختار داده، Schema Enforcement و اعتبارسنجی کیفیت داده را تمرین می‌کنید. این بخش کمک می‌کند Pipelineهایی بسازید که علاوه بر پردازش صحیح داده، در برابر خطاها و تغییرات ساختاری نیز قابل اعتماد باشند.

سپس با LakeFlow Jobs برای ساخت، زمان‌بندی و Orchestration پایپ‌لاین‌های Production آشنا می‌شوید. در کنار آن، اصول CI/CD و استفاده از Git Workflowها و Testing Pyramid را یاد می‌گیرید تا بتوانید کد و Pipelineهای مهندسی داده را به شکل استانداردتر توسعه، تست و منتشر کنید.

این دوره توسط Microsoft Press تهیه شده و برای Data Engineerها و سایر متخصصان داده‌ای طراحی شده است که می‌خواهند مهارت‌های خود را در Azure Databricks تقویت کنند و برای آزمون DP-750 آماده شوند.

اهداف یادگیری
Azure Databricks Workspace را برای workloadهای مهندسی داده پیکربندی کنید.
منابع محاسباتی موردنیاز برای پردازش داده را تنظیم و مدیریت کنید.
با استفاده از Unity Catalog، حاکمیت و دسترسی به داده‌ها را مدیریت کنید.
از Delta Lake برای طراحی و بهینه‌سازی ذخیره‌سازی داده استفاده کنید.
داده‌ها را با روش‌های Batch و Streaming وارد Azure Databricks کنید.
با Spark Structured Streaming داده‌های جریانی را پردازش کنید.
Azure Event Hubs را برای دریافت داده‌های Streaming به کار بگیرید.
داده‌ها را با استفاده از Join و تکنیک‌های Reshaping تبدیل و آماده کنید.
Schema Enforcement را برای کنترل ساختار و کیفیت داده‌ها اعمال کنید.
Validation و کنترل کیفیت داده را در Pipelineهای مهندسی داده پیاده‌سازی کنید.
Pipelineهای Production را با استفاده از LakeFlow Jobs ایجاد و Orchestrate کنید.
Pipelineهای داده را زمان‌بندی و مدیریت کنید.
Git Workflowها را در فرایند توسعه مهندسی داده به کار بگیرید.
اصول CI/CD را برای توسعه و انتشار راهکارهای داده‌ای اجرا کنید.
از Testing Pyramid برای طراحی رویکرد مناسب تست در پروژه‌های داده استفاده کنید.
راهکارهای مهندسی داده کارآمد و قابل اعتماد را در Azure Databricks طراحی کنید.
مهارت‌های لازم برای آمادگی آزمون Microsoft Azure Databricks Data Engineer Associate (DP-750) را تقویت کنید.