دوره آموزشی پروژه مهندسی داده دنیای واقعی از ابتدا تا انتها با استفاده از Snowflake
1 ساعت 36 دقیقهمتوسط2024-09-30
مدرسین

Deepak Goyal
جزئیات دوره
در دنیای امروز که دادهها به یک منبع استراتژیک تبدیل شدهاند، توانایی ساخت و مدیریت پایپلاینهای داده کارآمد و مقیاسپذیر برای تحلیل و تصمیمگیری بسیار اهمیت دارد. Snowflake یکی از پلتفرمهای ابری پیشرفته برای مدیریت دادهها است که به طور ویژه برای ذخیرهسازی و پردازش دادههای مقیاسپذیر طراحی شده است. در این دوره، شما از طریق یک پروژه عملی واقعی یاد خواهید گرفت که چگونه دادهها را از منابع مختلف وارد کنید، آنها را در Snowflake ذخیره و پردازش کنید و دادههای تحلیلپذیر را آماده کنید.
این دوره شامل پیادهسازی معماری سهلایه مدالیون است که یکی از رویکردهای محبوب در مهندسی دادههای مدرن است. در این معماری، دادهها ابتدا در لایه برنز (Bronze) به صورت خام ذخیره میشوند، سپس در لایه نقرهای (Silver) تمیز و پردازش میشوند و در نهایت در لایه طلایی (Gold) دادههای تجزیه و تحلیل شده و گزارشهای آماده برای تصمیمگیری قرار میگیرند.
این دوره برای افرادی که در زمینه مهندسی داده یا تحلیل داده مشغول به کار هستند بسیار مفید است، زیرا به شما مهارتهای فنی پیشرفتهای میآموزد که میتواند شما را برای مشاغل سطح بالاتر در صنعت داده آماده کند. با یادگیری نحوه ساخت و مدیریت یک پایپلاین داده مقیاسپذیر، شما میتوانید در پروژههای بزرگ و پیچیده مشارکت کنید و ارزش افزوده زیادی به سازمانها و تیمهای داده اضافه کنید.
این دوره شامل پیادهسازی معماری سهلایه مدالیون است که یکی از رویکردهای محبوب در مهندسی دادههای مدرن است. در این معماری، دادهها ابتدا در لایه برنز (Bronze) به صورت خام ذخیره میشوند، سپس در لایه نقرهای (Silver) تمیز و پردازش میشوند و در نهایت در لایه طلایی (Gold) دادههای تجزیه و تحلیل شده و گزارشهای آماده برای تصمیمگیری قرار میگیرند.
این دوره برای افرادی که در زمینه مهندسی داده یا تحلیل داده مشغول به کار هستند بسیار مفید است، زیرا به شما مهارتهای فنی پیشرفتهای میآموزد که میتواند شما را برای مشاغل سطح بالاتر در صنعت داده آماده کند. با یادگیری نحوه ساخت و مدیریت یک پایپلاین داده مقیاسپذیر، شما میتوانید در پروژههای بزرگ و پیچیده مشارکت کنید و ارزش افزوده زیادی به سازمانها و تیمهای داده اضافه کنید.
مهارت ها
SnowflakeCloud StorageData EngineeringDatabase DevelopmentDatabase ManagementCloud ServicesCloud ComputingData ScienceSoftware DevelopmentOne-Off
سرفصل ها
0. مقدمه
- 01 - شروع پروژه - دریاچه داده تا دانه برف
- 02 - آنچه باید بدانید
1. جزئیات پروژه دنیای واقعی دانه برف
- 03 - مطالعه موردی پروژه دنیای واقعی دانه برف - بررسی اجمالی
- 04 - دریاچه داده به دانه برف - راه حل سطح بالا
- 05 - نمودار معماری پروژه دانه برف
2. Snowflake Project Setup
- 06 - ایجاد حساب ADLS
- 07 - ایجاد حساب کاربری Snowflake
- 08 - بارگذاری دادههای نمونه در ADLS
- 09 - حافظه خارجی در Snowflake ایجاد کنید
3. اجرای لایه برنز دانه برف
- 10 - پایگاه داده را در Snowflake و طرح لایه برنز ایجاد کنید
- 11 - فرمت فایل CSV را در Snowflake ایجاد کنید تا دادههای فایل CSV بارگذاری شود
- 12 - یک کار Snowflake برای بارگذاری اطلاعات مشتری در جدول خام ایجاد کنید
- 13 - فرمت فایل JSON را در Snowflake ایجاد کنید تا دادههای فایل JSON بارگذاری شود
- 14 - یک کار Snowflake برای بارگذاری اطلاعات محصول در جدول خام ایجاد کنید
- 15 - فرمت فایل Parquet را در Snowflake ایجاد کنید تا اطلاعات فایل Parquet بارگذاری شود
- 16 - یک کار Snowflake برای بارگذاری دادههای سفارش در جدول خام ایجاد کنید
4. اجرای لایه نقره ای برف ریزه
- 17 - طرحواره لایه نقره ای را در پایگاه داده ایجاد کنید
- 18 - برای ثبت تغییرات جدول مشتری، استریم را در Snowflake ایجاد کنید
- 19 - برای ثبت تغییرات جدول محصول، استریم را در Snowflake ایجاد کنید
- 20 - برای ثبت تغییرات جدول سفارش، استریم را در Snowflake ایجاد کنید
- 21 - وظیفه ادغام تغییرات مشتری در لایه Silver را ایجاد کنید
- 22 - وظیفه ادغام تغییرات محصول را در لایه Silver ایجاد کنید
- 23 - وظیفه ادغام تغییرات ترتیب در لایه Silver را ایجاد کنید
5. اجرای لایه طلای برف
- 24 - طرح لایه طلا را در پایگاه داده ایجاد کنید
- 25 - جدول نمایشی لایه طلا را ایجاد کنید
- 26 - نمای 1 را در لایه طلا ایجاد کنید
- 27 - نمای 2 را در لایه طلا ایجاد کنید
نتیجه گیری
- 28 - مراحل بعدی
دوره های مرتبط
- دوره آموزشی داشبوردهای مجهز به هوش مصنوعی با Streamlit
- دوره آموزشی اپ تحلیل داده با قدرت LLM با پایتون و Streamlit
- دوره آموزشی ساخت اپلیکیشنهای هوش مصنوعی تولیدی برای گفتگو با دادههای شما
- دوره آموزشی مهندسی داده پیشرفته با اسنوفلیک (Snowflake)
- دوره آموزشی مقدمهای بر مهندسی داده مدرن با Snowflake
- دوره آموزشی مقدمهای بر هوش مصنوعی نسل جدید (Gen AI) با Snowflake
- دوره آموزشی مقدمهای بر Snowflake برای توسعهدهندگان، دانشمندان داده و مهندسان داده
- دوره آموزشی یادگیری SnowflakeDB