دوره آموزشی یادگیری Apache Airflow

در این دوره، جنانی راوی (Janani Ravi)، معمار ابری گوگل و مهندس داده، شما را با Apache Airflow آشنا می‌کند؛ یکی از محبوب‌ترین پلتفرم‌های متن‌باز برای طراحی، زمان‌بندی و مانیتورینگ گردش‌کارهای داده و پردازش‌های دسته‌ای (Batch Workflows).

Apache Airflow به شما امکان می‌دهد وظایف مختلف یک فرآیند پردازشی را به‌صورت برنامه‌نویسی‌شده در Python تعریف کنید، وابستگی بین آن‌ها را مشخص نمایید و اجرای کل فرآیند را به‌صورت خودکار مدیریت کنید.

در این دوره یاد می‌گیرید چگونه Workflowها را در Airflow ایجاد و اجرا کنید، وظایف (Tasks) مختلف را تعریف نمایید و روابط وابستگی میان آن‌ها را مدیریت کنید. همچنین با اپراتورهای Python و SQLite آشنا می‌شوید و نحوه استفاده از آن‌ها در ساخت Pipelineهای داده را فرا می‌گیرید.

علاوه بر این، مفاهیم مهمی مانند Conditional Branching برای تصمیم‌گیری در مسیر اجرای Workflowها و همچنین قابلیت‌های Catchup و Backfill برای اجرای داده‌های گذشته و بازیابی پردازش‌های از دست رفته را یاد خواهید گرفت.

این دوره برای مهندسان داده، متخصصان ETL، مهندسان DevOps، تحلیلگران داده و افرادی که قصد ورود به حوزه Data Engineering را دارند بسیار مناسب است.

🎯 اهداف یادگیری
آشنایی با معماری و مفاهیم Apache Airflow
درک نقش Airflow در مهندسی داده و اتوماسیون Workflowها
ایجاد و اجرای Workflow در Apache Airflow
تعریف Taskها در Airflow
مدیریت وابستگی‌ها میان وظایف مختلف
استفاده از Python برای تعریف Pipelineها
کار با Python Operator در Airflow
کار با SQLite Operator در Airflow
طراحی و مدیریت Data Pipelineها
زمان‌بندی اجرای فرآیندها
مانیتورینگ و نظارت بر Workflowها
مدیریت اجرای خودکار وظایف
پیاده‌سازی Conditional Branching
طراحی مسیرهای اجرایی شرطی
درک مفهوم DAG در Airflow
مدیریت اجرای Workflowهای پیچیده
استفاده از قابلیت Catchup
استفاده از قابلیت Backfill
بازیابی پردازش‌های از دست رفته
مدیریت گردش‌کارهای داده در محیط‌های واقعی