دوره آموزشی پروژه مهندسی داده End-to-End
1 ساعت 16 دقیقهمتوسط2023-11-03
مدرسین

Thalia Barrera
جزئیات دوره
دنیای مهندسی داده همواره در حال تغییر است و ابزارها و فناوری های جدیدی به طور منظم در حال ظهور هستند. ساختن یک پلتفرم تحلیلی موثر میتواند یک کار دلهرهآور باشد، به خصوص اگر با همه ابزارهای موجود آشنا نباشید. چگونه داده های پراکنده و پیچیده را به مدلی تبدیل می کنید که بینش و تصمیم گیری را هدایت می کند؟ در این دوره، Thalia Barrera به متخصصان داده آموزش می دهد که چگونه یک پروژه مهندسی داده را با استفاده از ابزارهای باز از پشته داده مدرن پیاده سازی کنند. او بهترین روشها مانند مدلسازی داده، آزمایش، مستندسازی و کنترل نسخه را لمس میکند و به شما نشان میدهد که چگونه دادهها را به طور موثر استخراج، بارگیری و تبدیل به یک قالب یکپارچه و آماده برای تجزیه و تحلیل کنید. Thalia به شما نشان می دهد که چگونه از طریق مثال های عملی ابزارها را با اطمینان انتخاب کرده و از آنها استفاده کنید - که شما را در ساخت یک خط لوله داده قوی برای یک شرکت تجارت الکترونیک خیالی هدایت می کند - و نحوه اجرای بهترین شیوه ها در مهندسی داده.
مهارت ها
Data EngineeringProjectData Science
سرفصل ها
0. مقدمه
- 01 - دادههای پیچیده را به بینش تبدیل کنید
- 02 - آنچه باید بدانید
1. بررسی اجمالی و آماده سازی پروژه
- 03 - نمای کلی معماری پروژه
- 04 - راهاندازی پروژه
- 05 - درک پایگاه داده Big Star Collectibles
- 06 - راهاندازی انبار داده خود
2. استخراج و بارگذاری داده ها
- 07 - شروع کار با ابزارهای ELT - مقدمه ای بر Airbyte
- 08 - استقرار Airbyte برای همگام سازی داده ها
- 09 - تنظیم منابع و مقاصد در Airbyte
- 10 - ایجاد ارتباط در Airbyte
- 11 - همگام سازی و پیمایش در میان داده ها
3. شروع تبدیل دادهها و مدل سازی
- 12 - مقدمه ای بر مدل سازی دادهها با dbt
- 13 - شناخت ساختار پروژه dbt
- 14 - شروع پروژه dbt خود
- 15 - پیکربندی منابع داده در dbt
- 16 - چالش - اضافه کردن یک بررسی تازگی
- 17 - راه حل - اضافه کردن یک بررسی تازگی
4. تبدیل دادهها و مدل سازی
- 18 - ایجاد و سفارشی سازی مدلهای dbt شما
- 19 - بررسی و اجرای dbt
- 20 - ایمن سازی اطلاعات خود با تستهای dbt
- 21 - چالش - اضافه کردن تستها به مدل Marts
- 22 - راه حل - اضافه کردن تستها به مدل Marts
- 23 - خودکارسازی مستندات در dbt
- 24 - تکمیل پروژه dbt شما - چرخه توسعه کامل
5. هماهنگ سازی داده ها
- 25 - مقدمه ای بر ارکستراسیون دادهها با داگستر
- 26 - یکپارچه سازی مدلهای dbt با داراییهای Dagster
- 27 - یکپارچه سازی اتصالات Airbyte با داراییهای Dagster
- 28 - تحقق داراییها با استفاده از Dagit
- 29 - چالش - برنامهای را به خط لوله داده خود اضافه کنید
- 30 - راه حل - برنامهای را به خط لوله داده خود اضافه کنید
نتیجه
- 31 - میدان در حال تحول
دوره های مرتبط
- دوره آموزشی کلانداده در عصر هوش مصنوعی
- دوره آموزشی راهنمای کامل مهندسی تحلیل دادهها
- دوره آموزشی مهندسی تحلیل پیشرفته: تمرینهای دنیای واقعی
- دوره آموزشی راهنمای کامل Google BigQuery برای مهندسان داده و یادگیری ماشین
- دوره آموزشی یادگیری اصولی PySpark: معرفی ساخت خطوط پردازش داده
- دوره آموزشی پاکسازی دادهها برای علم داده مؤثر: واردکردن دادهها، تشخیص ناهنجاری، پرکردن مقادیر گمشده و مهندسی ویژگیها
- دوره آموزشی یادگیری جامع اسکالا برای علوم داده
- دوره آموزشی SPSS: آمادهسازی، مصورسازی و مدلسازی دادهها