دوره آموزشی یادگیری جامع Apache Airflow
2 ساعت 15 دقیقهمتوسط2023-08-15
مدرسین
Janani Ravi
Certified Google Cloud Architect and Data Engineer
جزئیات دوره
اگه قبلاً با اصول اولیه Apache Airflow آشنا هستی اما دوست داری بیشتر یاد بگیری، این دوره برای تو مناسبه. جانانی راوی، مهندس داده و معمار ابری گواهیشده گوگل، تو رو از طریق ویژگیهای ضروری Apache Airflow راهنمایی میکنه. بعد از یک مرور سریع بر اینکه Airflow چیه، جانانی میره سراغ کار کردن با API TaskFlow و استفاده از اون برای انجام عملیات مختلف. بهت نشون میده چطور PostgreSQL رو در Airflow ادغام کنی، همچنین چطور از سنسورها استفاده کنی و با هوکها کار کنی. این دوره بهت کمک میکنه که استفادهات از Apache Airflow رو به سطح بالاتری برسونی.
مهارت ها
Apache AirflowApacheDevOps ToolsData EngineeringDevOpsData ScienceOne-Off
سرفصل ها
0. مقدمه
- 01 - آموزش جامع Apache Airflow
1. کار با TaskFlow API
- 02 - پیش نیازها
- 03 - نمای کلی راهاندازی جریان هوای سریع
- 04 - DAG با استفاده از PythonOperators
- 05 - DAG با استفاده از TaskFlow
- 06 - انتقال دادهها با استفاده از XCom با اپراتورها
- 07 - انتقال دادهها با استفاده از TaskFlow API
- 08 - وظایف با خروجیهای متعدد
- 09 - ارسال چندین خروجی در TaskFlow
2. انجام عملیات با استفاده از TaskFlow
- 10 - انشعاب با استفاده از عملگرها
- 11 - انشعاب با استفاده از TaskFlow API
- 12 - خط لوله انشعاب را با استفاده از TaskFlow کامل کنید
- 13 - تعامل و ارسال داده بین اپراتورها و TaskFlow
- 14 - انجام عملیات SQL با TaskFlow
- 15 - تبدیل و ذخیرهسازی دادهها با استفاده از TaskFlow
3. یکپارچه سازی PostgreSQL در جریان هوا
- 16 - نصب PostgreSQL در macOS
- 17 - نصب PostgreSQL در WSL
- 18 - اتصال به PostgreSQL
- 19 - استفاده از عملگر PostgreSQL
- 20 - انجام عملیات درج PostgreSQL
- 21 - انجام عملیات Join PostgreSQL
- 22 - یک خط لوله کامل سرتاسر با PostgreSQL
- 23 - پیکربندی PostgreSQL به عنوان پایگاه داده ابرداده و استفاده از LocalExecutor
4. استفاده از سنسورها در جریان هوا
- 24 - معرفی FileSensor
- 25 - ایجاد خط لوله با استفاده از FileSensor
- 26 - اجرای DAG با FileSensor
- 27 - ایجاد و اجرای خط لوله با SQLSensors
5. کار با هوک در جریان هوا
- 28 - راهاندازی خط لوله PostgreSQL با قلاب
- 29 - ایجاد و اجرای خط لوله با قلابهای PostgresSQL
- 30 - راهاندازی دسترسی به سطلهای آمازون S3
- 31 - راهاندازی اتصال به سطلهای آمازون S3
- 32 - ایجاد و اجرای خط لوله با قلاب S3
نتیجه
- 33 - خلاصه و مراحل بعدی