دوره آموزشی یادگیری Apache Airflow آپدیت (2023)

جزئیات دوره

با جانانی راوی، معمار گوگل کلود و مهندس داده، یه معرفی از Apache Airflow داشته باشید. Apache Airflow یه پلتفرم متن‌باز برای توسعه، زمان‌بندی و نظارت بر ورک‌فلوهای دسته‌ای هست. با Airflow می‌تونید کارهایی که می‌خواهید به عنوان بخشی از خط پردازش‌تون انجام بشه رو زمان‌بندی کنید، وابستگی‌های بین این کارها رو مشخص کنید و همه این‌ها رو به صورت برنامه‌نویسی با Python انجام بدید. Airflow این وابستگی‌ها رو مدیریت می‌کنه و اطمینان حاصل می‌کنه که کارها به ترتیب درست اجرا بشن. با جانانی همراه شوید تا نشون بده چطور می‌تونید ورک‌فلوها رو در Airflow اجرا کنید، کارها و وابستگی‌ها رو تعریف کنید و از اپراتورهای Python و SQLite استفاده کنید. همچنین با branching شرطی و نحوه کارکرد Catch up و backfill در Apache Airflow آشنا می‌شید.

سرفصل ها

مقدمه

مروری بر جریان هوای آپاچی

معرفی Apache Airflow

مفاهیم و معماری Apache Airflow
راه‌اندازی اولیه - macOS و Windows
درک پیکربندی جریان هوا
جریان هوا در حال اجرا

اجرای گردش کار در جریان هوا

پیمایش و کاوش در رابط کاربری Airflow
اولین DAG خود را ایجاد کنید
اولین DAG خود را اجرا کنید
ایجاد یک DAG با استفاده از کلمه کلیدی with

تعریف وظایف و وابستگی ها

تعیین وابستگی‌های وظیفه
استفاده از عملگرهای Bitshift برای مشخصات وابستگی
استفاده از اسکریپت‌های bash در DAG

استفاده از عملگر پایتون و XCom

معرفی عملگر پایتون
عملگرها و وابستگی‌های پایتون
ارسال پارامترها به فراخوانی‌های پایتون
معرفی XCom
استفاده از XCom برای ارسال مقادیر
اجرای خط لوله انتقال داده DAG قسمت 1
اجرای خط لوله انتقال داده DAG قسمت 2

استفاده از اپراتور SQLite برای عملیات SQL

راه‌اندازی SQLite DB و اتصال
معرفی عملگر SQLite
پیاده‌سازی خط لوله DAG مبتنی بر SQL، قسمت 1
پیاده‌سازی خط لوله DAG مبتنی بر SQL، قسمت 2

شاخه‌های مشروط و گروه‌های وظیفه

معرفی انشعاب
انشعاب شرطی با متغیرها
گروه‌های وظیفه و برچسب‌های لبه

عبارات Catch Up، Backfill و CRON

با تمام اجراهای برنامه ریزی شده قبلی هماهنگ شوید
اجرای برنامه ریزی شده Backfill

نتیجه

خلاصه و مراحل بعدی