دوره آموزشی ETL در پایتون و SQL
1 ساعت 21 دقیقهمتوسط2024-03-06
مدرسین

Jennifer Ebe
جزئیات دوره
داده ها به طور تصاعدی در حال افزایش هستند، زیرا جهان به تولید حجم عظیمی ادامه می دهد. در این دوره، یک مهندس داده با بیش از 5 سال تجربه، جنیفر ایبه، به شما نشان می دهد که چگونه سیستم هایی بسازید که داده ها را از منابع مختلف جمع آوری می کند، آنها را تبدیل می کند و داده ها را ذخیره می کند تا بتوانید به طور موثر بینش هایی را از آن استخراج کنید. ما به این خواهیم پرداخت که ETL ها چیست و چگونه آنها را ایجاد می کنید. ما یاد خواهیم گرفت که چگونه از پایتون برای استخراج و تبدیل داده ها استفاده کنیم، ما داده های خود را با استفاده از پانداها و SQL کاوش خواهیم کرد. و در نهایت، داده ها را در سیستم هدف خود بارگذاری کنید. همچنین می توانید زمان بندی مشاغل ETL را با استفاده از پایتون تمرین کنید. هر فصل با چالشهای مفید و کاربردی همراه است تا به شما کمک کند آنچه را که یاد میگیرید تمرین کنید.
مهارت ها
SQLDatabase AdministrationData EngineeringDatabase DevelopmentPythonDatabase ManagementData AnalysisProgramming LanguagesData ScienceBusiness Analysis and StrategyBusiness Software and ToolsOpen SourceSoftware DevelopmentOne-Off
سرفصل ها
0. مقدمه
- 01 - یک ETL در Python و SQL ایجاد کنید
- 02 - ابزارهای مورد استفاده در این دوره
1. ETL چیست؟
- 03 - ETLها چیست و چگونه آنها را ایجاد میکنید
- 04 - مروری بر فرآیند ETL
- 05 - کاوش دادههای خود با پانداها (Python) و SQL
- 06 - درک اطلاعات شما
- 07 - چالش - خواندن دادهها با استفاده از پایتون
- 08 - راه حل - خواندن دادهها با استفاده از پایتون
2. استخراج و تبدیل دادهها با پایتون
- 09 - بارگذاری دادهها از منابع مختلف
- 10 - استخراج اطلاعات شما
- 11 - پاکسازی، پیش پردازش دادهها و قالببندی داده ها
- 12 - استانداردسازی، رسیدگی به موارد تکراری و مقادیر از دست رفته
- 13 - چالش - بارگذاری دادهها با استفاده از SQLAlchemy و پانداها
- 14 - راه حل - بارگذاری دادهها با استفاده از SQLAlchemy و pandas
3. بارگذاری دادهها در سیستمهای هدف
- 15 - آشنایی با انبارهای داده و دریاچههای داده
- 16 - بارگذاری دادهها در پایگاه دادههای رابطه ای
- 17 - بررسی کیفیت دادهها و اعتبارسنجی با SQL
- 18 - چالش - تبدیل دادهها و حذف موارد تکراری و پوچ
- 19 - راه حل - تبدیل دادهها و حذف موارد تکراری و پوچ
4. خودکارسازی مشاغل ETL - زمانبندی مشاغل ETL با پایتون
- 20 - کوئری دادههای خود با SQL
- 21 - برنامه ریزی مشاغل ETL با Airflow - قسمت 1
- 22 - برنامه ریزی مشاغل ETL با Airflow - قسمت 2
- 23 - چالش - بارگذاری دادهها در پایگاه داده و خودکارسازی
- 24 - راه حل - بارگذاری دادهها در پایگاه داده و خودکارسازی
نتیجه
- 25 - دانش خود را در مورد ETLها گسترش دهید
دوره های مرتبط
- دوره آموزشی راهنمای کامل مهندسی تحلیل دادهها
- دوره آموزشی یادگیری جامع اسکالا برای علوم داده
- دوره آموزشی SQL : گزارش و تجزیه و تحلیل دادهها
- دوره آموزشی تبدیل متن به SQL: سرویس بدون سرور آمازون ردشیفت برای تولید SQL در آمازون Q
- دوره آموزشی پایگاههای داده SQL در Microsoft Fabric
- دوره آموزشی یادگیری عملی SQL: ساخت محصولات دادهای در Dremio
- دوره آموزشی راهنمای کامل SQL برای مهندسی داده: از مبتدی تا پیشرفته
- دوره آموزشی SQL سطح متوسط برای دانشمندان داده