دوره آموزشی یادگیری اصولی Apache Airflow
2 ساعت 46 دقیقهمتوسط2026-07-16
مدرسین
Janani Ravi
Certified Google Cloud Architect and Data Engineer
جزئیات دوره
این دوره به شما کمک میکند مهارتهای مدیریت Workflow و خودکارسازی فرآیندهای دادهای را ارتقا دهید و با جدیدترین قابلیتهای TaskFlow API در Apache Airflow برای طراحی و مدیریت گردشکارهای پیچیده آشنا شوید.
در این آموزش یاد میگیرید چگونه Workflowها را تعریف، سازماندهی و مدیریت کنید و Pipelineهای دادهای قابل اعتماد ایجاد نمایید. همچنین نحوه یکپارچهسازی PostgreSQL با Airflow برای انجام عملیات دادهای روان و هماهنگ میان سیستمهای مختلف بررسی میشود.
در ادامه دوره با استفاده از Sensors برای نظارت بر رویدادهای خارجی مهم و اجرای خودکار واکنشهای مناسب آشنا خواهید شد. همچنین یاد میگیرید چگونه از Hooks برای دسترسی سادهتر و ساختاریافتهتر به پایگاههای داده خارجی، سرویسهای ابری و APIها استفاده کنید.
این دوره بر مفاهیم عملی و کاربردی تمرکز دارد و به شما نشان میدهد چگونه فرآیندهای اتوماسیون Workflow را بهینه کنید، وابستگیهای میان وظایف را مدیریت کنید و Pipelineهای دادهای پیچیده را با اطمینان بیشتری اجرا نمایید.
در پایان این دوره، توانایی طراحی و مدیریت Workflowهای حرفهای و هماهنگسازی Pipelineهای داده در محیطهای مدرن مهندسی داده را خواهید داشت.
🎯 اهداف یادگیری
تعریف و مدیریت Workflowها با استفاده از TaskFlow API در Apache Airflow.
طراحی Pipelineهای دادهای ساختاریافته و قابل نگهداری.
استفاده از قابلیتهای TaskFlow API برای سادهسازی توسعه Workflowها.
اتصال Apache Airflow به PostgreSQL برای مدیریت عملیات دادهای.
استفاده از Sensorها برای پایش رویدادهای خارجی و اجرای خودکار وظایف.
مدیریت تعامل میان سیستمها و سرویسهای مختلف در Workflowها.
استفاده از Hookها برای اتصال آسانتر به Databaseها، Cloud Platformها و APIها.
بهینهسازی فرآیندهای Workflow Automation در پروژههای دادهای.
مدیریت Pipelineهای پیچیده داده با رویکرد قابل اعتماد و مقیاسپذیر.
توسعه مهارتهای لازم برای Orchestration داده در محیطهای حرفهای.
در این آموزش یاد میگیرید چگونه Workflowها را تعریف، سازماندهی و مدیریت کنید و Pipelineهای دادهای قابل اعتماد ایجاد نمایید. همچنین نحوه یکپارچهسازی PostgreSQL با Airflow برای انجام عملیات دادهای روان و هماهنگ میان سیستمهای مختلف بررسی میشود.
در ادامه دوره با استفاده از Sensors برای نظارت بر رویدادهای خارجی مهم و اجرای خودکار واکنشهای مناسب آشنا خواهید شد. همچنین یاد میگیرید چگونه از Hooks برای دسترسی سادهتر و ساختاریافتهتر به پایگاههای داده خارجی، سرویسهای ابری و APIها استفاده کنید.
این دوره بر مفاهیم عملی و کاربردی تمرکز دارد و به شما نشان میدهد چگونه فرآیندهای اتوماسیون Workflow را بهینه کنید، وابستگیهای میان وظایف را مدیریت کنید و Pipelineهای دادهای پیچیده را با اطمینان بیشتری اجرا نمایید.
در پایان این دوره، توانایی طراحی و مدیریت Workflowهای حرفهای و هماهنگسازی Pipelineهای داده در محیطهای مدرن مهندسی داده را خواهید داشت.
🎯 اهداف یادگیری
تعریف و مدیریت Workflowها با استفاده از TaskFlow API در Apache Airflow.
طراحی Pipelineهای دادهای ساختاریافته و قابل نگهداری.
استفاده از قابلیتهای TaskFlow API برای سادهسازی توسعه Workflowها.
اتصال Apache Airflow به PostgreSQL برای مدیریت عملیات دادهای.
استفاده از Sensorها برای پایش رویدادهای خارجی و اجرای خودکار وظایف.
مدیریت تعامل میان سیستمها و سرویسهای مختلف در Workflowها.
استفاده از Hookها برای اتصال آسانتر به Databaseها، Cloud Platformها و APIها.
بهینهسازی فرآیندهای Workflow Automation در پروژههای دادهای.
مدیریت Pipelineهای پیچیده داده با رویکرد قابل اعتماد و مقیاسپذیر.
توسعه مهارتهای لازم برای Orchestration داده در محیطهای حرفهای.
سرفصل ها
مقدمه
- آموزش ضروری آپاچی ایرفلو
- پیش نیازها
کار با API تسکفلو
- بررسی اجمالی تنظیمات سریع جریان هوا
- DAG با استفاده از عملگرهای پایتون
- DAG با استفاده از TaskFlow
- ارسال داده با استفاده از XCom با عملگرها
- ارسال داده با استفاده از API TaskFlow
- وظایفی با چندین خروجی
- ارسال چندین خروجی در TaskFlow
- ارسال متغیرهای زمینهای و آرگومانهای سفارشی
شاخهبندی و وظایف شرطی با TaskFlow
- شاخهبندی با استفاده از عملگرها
- شاخهبندی با استفاده از API TaskFlow
- مدلسازی دادهها و وابستگیهای وظایف با TaskFlow
- ساختارهای DAG تمیزتر با مدلسازی وابستگیهای وظیفه
- تعامل با وظایف سنتی
- راهاندازی، تشریح و بررسی دکوراتورهای شرطی در TaskFlow
قوانین مربوط به وظایف را فعال کنید
- قانون محرک موفقیت کامل
- قانون عدم موفقیت در تریگر
- تفاوتهای ظریف قوانین تریگر
- قانون «هیچ شکستی حداقل یک موفقیت»
ادغام PostgreSQL در Airflow
- نصب PostgreSQL در macOS
- نصب PostgreSQL روی WSL
- اتصال به PostgreSQL
- استفاده از SQLExecuteQueryOperator
- انجام عملیات درج PostgreSQL
- انجام عملیات اتصال PostgreSQL
- یک خط لوله کامل سرتاسری با PostgreSQL
- پیکربندی PostgreSQL به عنوان یک پایگاه داده فراداده
استفاده از حسگرها در جریان هوا
- معرفی حسگر فایل که در حالت poke کار میکند
- حسگر فایل در حالت برنامهریزی مجدد کار میکند
- ایجاد خط لوله با استفاده از حسگر فایل
- اجرای DAGها با حسگر فایل
- ایجاد و اجرای یک خط لوله با سنسورهای SQL
- عملگرهای قابل تعویق
کار با قلابها در جریان هوا
- راهاندازی خط لوله PostgreSQL با قلابها
- ایجاد و اجرای یک خط لوله با قلابهای PostgreSQL
- تنظیم دسترسی به سطلهای Amazon S3
- راهاندازی اتصال به سطلهای Amazon S3
- ایجاد و اجرای خط لوله با قلاب S3
نتیجهگیری
- خلاصه و مراحل بعدی