دوره آموزشی مهارتهای بنیادی مهندسی داده
1 ساعت 29 دقیقهمبتدی2023-04-28
مدرسین

Vinoo Ganesh
CEO and founder of Stealth Startup
جزئیات دوره
📌 در دنیای امروز که مملو از داده است، سازمانها و شرکتها به دنبال اتخاذ تصمیمهای مبتنی بر داده هستند. اما بسیاری از متخصصان جدید داده، آموزش رسمی در زمینه ساخت پایپلاینهای دادهای پایدار و مقیاسپذیر ندیدهاند.
💡 در این دوره، "وینو گانش" اصول و ابزارهای کلیدی مهندسی داده را آموزش میدهد تا بتوانید مشکلات پیچیده دادهای را بهصورت کارآمد و در مقیاس بزرگ حل کنید.
📖 آنچه در این دوره یاد میگیرید:
✅ مبانی و ابزارهای اصلی مهندسی داده
✅ درک اصول ELT، OLTP/OLAP و مدیریت داده
✅ مقدمهای بر ارکستراسیون داده و DAGs
✅ راهاندازی Apache Airflow بهصورت محلی
✅ ساخت پایپلاینهای ETL در مقیاس صنعتی
✅ کاربرد مهندسی داده در سناریوهای واقعی
🎯 پس از این دوره، شما قادر خواهید بود دادههای سازمانی را به شیوهای بهینه پردازش کنید و پایپلاینهای دادهای پایدار بسازید.
💡 در این دوره، "وینو گانش" اصول و ابزارهای کلیدی مهندسی داده را آموزش میدهد تا بتوانید مشکلات پیچیده دادهای را بهصورت کارآمد و در مقیاس بزرگ حل کنید.
📖 آنچه در این دوره یاد میگیرید:
✅ مبانی و ابزارهای اصلی مهندسی داده
✅ درک اصول ELT، OLTP/OLAP و مدیریت داده
✅ مقدمهای بر ارکستراسیون داده و DAGs
✅ راهاندازی Apache Airflow بهصورت محلی
✅ ساخت پایپلاینهای ETL در مقیاس صنعتی
✅ کاربرد مهندسی داده در سناریوهای واقعی
🎯 پس از این دوره، شما قادر خواهید بود دادههای سازمانی را به شیوهای بهینه پردازش کنید و پایپلاینهای دادهای پایدار بسازید.
مهارت ها
Data EngineeringData ScienceOne-Off
سرفصل ها
مقدمه
- مهندسی داده عملی
- دانش پیشینه
- تاریخچه دادهها در شرکت
- نحوه استفاده از GitHub Codespace با این دوره
دریافت بلبرینگ
- مهندسی داده و خطوط لوله داده
- ارکستراسیون - به معنای امروزی
- استخراج، تبدیل، بارگذاری (ETL)
- وظایف، DAGها و وابستگی ها
معرفی جریان هوا
- مقدمه ای بر جریان هوا
- نصب جریان هوا
- اجرای وب سرور و زمانبندی Airflow
- تنظیم تنظیمات پیکربندی جریان هوا
- یک DAG 1 Task بسازید
- یک DAG 2 Task بسازید
ETL پایه در جریان هوا
- ETL در جریان هوا
- یک کار مهندسی داده در دنیای واقعی
- استخراج دادهها به صورت دستی
- استخراج دادهها با Airflow
- تبدیل دادهها به صورت دستی
- تبدیل دادهها با جریان هوا
- بارگذاری اطلاعات به صورت دستی
- بارگذاری دادهها با جریان هوا
- ساخت ETL DAG با جریان هوا
- چالش - سؤالات ETL را مرور کنید
- راه حل - راه حل سؤالات ETL
نتیجه
- آینده مهندسی داده