دوره آموزشی مدیریت خط لوله مهندسی داده با Apache Airflow
2 ساعت 9 دقیقهمتوسط2023-08-15
مدرسین
Janani Ravi
Certified Google Cloud Architect and Data Engineer
جزئیات دوره
در این دوره، با مدیریت خط لولههای داده با استفاده از Apache Airflow بیشتر آشنا میشی. در این دوره که توسط جانانی راوی، معمار و مهندس داده معتبر گوگل کلاد، هدایت میشه، یاد میگیری چطور از Apache Airflow برای تکمیل کارهای مدیریت خط لوله داده استفاده کنی. چطور با کنترل دسترسی مبتنی بر نقش کار کنی، از جمله ایجاد کاربران با نقشهای مختلف، اجرای یک DAG شاخهای و یک DAG SQL، به خاطر آوردن اقداماتی که کاربران با نقشهای مختلف میتونن انجام بدن و خیلی چیزای دیگه. همچنین یاد میگیری چطور SLAها رو مدیریت کنی و DAGها رو با دیتاستها زمانبندی کنی. در مورد کار با پلاگینهای AirFlow یاد میگیری و پلاگین CSV reader رو بررسی میکنی. علاوه بر این، چطور Apache Airflow رو مقیاسبندی کنی، یک خط لوله داده برای تبدیل دادهها راه بندازی، وظایف رو اجرا کنی و خیلی کارهای دیگه رو یاد میگیری.
مهارت ها
Apache AirflowApacheOperations ManagementDevOps ToolsData EngineeringDevOpsProject ManagementData ScienceBusiness Analysis and StrategyOne-Off
سرفصل ها
0. مقدمه
- 01 - ویژگیهای مدیریت خط لوله مهندسی داده
1. کار با کنترل دسترسی مبتنی بر نقش
- 02 - پیش نیازها
- 03 - مروری بر نصب سریع
- 04 - ایجاد کاربر ادمین و بررسی نقش ها
- 05 - ایجاد کاربران با نقشهای مختلف
- 06 - اجرای DAG انشعاب ساده
- 07 - اجرای یک SQL DAG ساده
- 08 - نقشهای عمومی و بیننده
- 09 - نقش کاربر
- 10 - نقش آپ
- 11 - اقدامات، منابع و مجوزها
- 12 - اضافه کردن مجوز به نقش عمومی
- 13 - ایجاد و پیکربندی یک نقش سفارشی
2. مدیریت SLA ها
- 14 - پیکربندی ایمیلها برای مدیریت SLA
- 15 - پیکربندی SLA در سطح وظیفه
- 16 - راهاندازی و مشاهده خطاهای SLA
- 17 - پیکربندی SLAهای سطح DAG
- 18 - پیکربندی عمل ناموفق DAG
3. زمان بندی DAGها با مجموعه داده ها
- 19 - خط لوله تولید مجموعه داده
- 20 - خط لوله مصرفی مجموعه داده
- 21 - برنامه ریزی اطلاعاتی
- 22 - خط لوله تولید کننده و خط لوله را خریداری میکند
- 23 - زمانبندی آگاهانه از داده با مجموعه دادههای متعدد
4. کار با پلاگینهای جریان هوا
- 24 - معرفی افزونه ها
- 25 - افزودن آیتمهای منو با استفاده از افزونه ها
- 26 - بررسی افزونه CSV reader
- 27 - پیادهسازی افزونه CSV reader
5. جرم گیری جریان هوا
- 28 - جرم گیری جریان هوای آپاچی
- 29 - راهاندازی اولیه برای خط لوله انتقال
- 30 - DAG برای خط لوله انتقال
- 31 - RabbitMQ را روی macOS و Linux نصب کنید
- 32 - یک کاربر ادمین برای RabbitMQ تنظیم کنید
- 33 - پیکربندی CeleryExecutor برای جریان هوا
- 34 - اجرای وظایف بر روی یک کارگر کرفس
- 35 - اجرای وظایف بر روی چندین کارگر کرفس
- 36 - واگذاری وظایف به صف
نتیجه
- 37 - خلاصه و مراحل بعدی