دوره آموزشی راهنمای کامل Databricks برای مهندسی دادهها
6 ساعت 10 دقیقهمتوسط2025-02-28
مدرسین

Deepak Goyal
جزئیات دوره
توی این دوره، یاد میگیری چطور با پلتفرم Databricks حرفهای کار کنی و تبدیل به یه مهندس داده درجهیک بشی. مدرس این دوره، Deepak Goyal، قدم به قدم بهت نشون میده که چطور حجم عظیمی از دادهها رو پردازش، آنالیز و رفع اشکال کنی و در نهایت راهحلهایی بسازی که مقیاسپذیر و کاربردی باشن.
تو این دوره با مفاهیم مهمی مثل تبدیل دادهها با PySpark، نوشتن و خوندن DataFrameها، کار با Spark SQL، کار با Delta Lake و بهینهسازی joinها آشنا میشی. تازه یاد میگیری چطور نوتبوکهات رو زمانبندی کنی، کلاسترها رو مدیریت کنی، و با سیستم Workflowها و Unity Catalog توی Databricks کار کنی.
این دوره هم مناسب کساییه که تازه وارد دنیای Big Data شدن، هم اونایی که میخوان به سطح پیشرفته برسن.
🎯 اهداف یادگیری (خیلی خلاصه و ساده):
درک کامل از نحوه کار Databricks از ابتدا تا انتها.
یادگیری استفاده از Delta Lake برای ذخیرهسازی مؤثر و قابل اعتماد.
اجرای تبدیلات داده با PySpark.
کار با Spark SQL برای تحلیل دادهها.
نوشتن و خوندن DataFrame در PySpark.
مدیریت کلاسترها در Databricks.
آشنایی با Unity Catalog برای مدیریت دادهها.
تو این دوره با مفاهیم مهمی مثل تبدیل دادهها با PySpark، نوشتن و خوندن DataFrameها، کار با Spark SQL، کار با Delta Lake و بهینهسازی joinها آشنا میشی. تازه یاد میگیری چطور نوتبوکهات رو زمانبندی کنی، کلاسترها رو مدیریت کنی، و با سیستم Workflowها و Unity Catalog توی Databricks کار کنی.
این دوره هم مناسب کساییه که تازه وارد دنیای Big Data شدن، هم اونایی که میخوان به سطح پیشرفته برسن.
🎯 اهداف یادگیری (خیلی خلاصه و ساده):
درک کامل از نحوه کار Databricks از ابتدا تا انتها.
یادگیری استفاده از Delta Lake برای ذخیرهسازی مؤثر و قابل اعتماد.
اجرای تبدیلات داده با PySpark.
کار با Spark SQL برای تحلیل دادهها.
نوشتن و خوندن DataFrame در PySpark.
مدیریت کلاسترها در Databricks.
آشنایی با Unity Catalog برای مدیریت دادهها.
مهارت ها
DatabricksData EngineeringData ScienceOne-Off
سرفصل ها
0. مقدمه
- 01 - معرفی دوره
- 02 - آنچه باید بدانید
1. مقدمه ای بر Databricks
- 03 - Databricks چیست
- 04 - راهاندازی یک فضای کاری Databricks
- 05 - پیمایش در رابط Databricks
- 06 - مقدمه ای بر نوت بوکهای Databricks
- 07 - یک خوشه تک گره برای تمرین ایجاد کنید
2. شروع به کار با Databricks
- 08 - آشنایی با سیستم فایل Databricks (DBFS)
- 09 - دادههای نمونه را در DBFS بارگذاری کنید
- 10 - دادهها را در DBFS مرور و کاوش کنید
3. دادهها را با Databricks بخوانید
- 11 - DataFrames را بشناسید
- 12 - یک فایل CSV را در Databricks بخوانید
- 13 - برای خواندن فایل در Databricks از طرحواره استفاده کنید
- 14 - یک فایل JSON را در Databricks بخوانید
- 15 - یک فایل پارکت را در Databricks بخوانید
- 16 - دادههای JSON تودرتو را در Databricks مدیریت کنید
4. تبدیل PySpark در Databricks
- 17 - از تبدیلهای filter and Where در PySpark استفاده کنید
- 18 - اضافه کردن یا حذف ستونها در PySpark
- 19 - از تابع select در PySpark استفاده کنید
- 20 - از UNION و DISTINCT در PySpark استفاده کنید
- 21 - Nullها را در PySpark مدیریت کنید
- 22 - از sortBy و orderBy در PySpark استفاده کنید
- 23 - از groupBy و aggregation در PySpark استفاده کنید
- 24 - رشتهها را در PySpark دستکاری کنید
- 25 - دستکاری تاریخ در PySpark را مدیریت کنید
- 26 - کنترل زمان دستکاری در PySpark
5. یک DataFrame در Databricks بنویسید
- 27 - یک DataFrame به صورت فایل در DBFS بنویسید
- 28 - یک DataFrame را با استفاده از پارتیشن بندی بنویسید
6. Spark SQL در Databricks
- 29 - Spark SQL چیست
- 30 - ایجاد نماهای موقت در Databricks
- 31 - در Databricks نماهای temp global ایجاد کنید
- 32 - از تبدیلهای Spark SQL استفاده کنید
- 33 - DataFrames را به صورت جداول مدیریت شده در PySpark بنویسید
- 34 - یک DataFrame به عنوان جدول خارجی در PySpark بنویسید
7. جداول دلتا لیک و دلتا در Databricks
- 35 - دریاچه دلتا چیست و فواید آن
- 36 - جداول دلتا ایجاد کنید
- 37 - عملیات DML را در جداول دلتا مدیریت کنید
- 38 - سفر در زمان با استفاده از دریاچه دلتا
8. به بهینه سازیها در Databricks بپیوندید
- 39 - انواع مختلف اتصال را مدیریت کنید
- 40 - پخش پیوست
- 41 - Bucketing در PySpark
9. برنامه ریزی دفترچه یادداشت
- 42 - نوت بوک نوبت کاری
10. مدیریت خوشه در Databricks
- 43 - خوشه تعاملی را درک کنید
- 44 - پیکربندی خوشه و رابط کاربری را کاوش کنید
- 45 - خوشههای شغلی را درک کنید
11. گردش کار در Databricks
- 46 - گردش کار در Databricks را درک کنید
- 47 - یک گردش کار در Databricks ایجاد کنید
12. dbutils در Databricks
- 48 - dbutils در Databricks چیست
- 49 - دستورات dbutils fs
- 50 - نصب dbutils
- 51 - دفترچه یادداشت dbutils
13. کاتالوگ Unity در Databricks
- 52 - کاتالوگ یونیتی را درک کنید
14. پروژه Capstone
- 53 - مورد استفاده پروژه
- 54 - راه حل
نتیجه گیری
- 55 - مراحل بعدی
دوره های مرتبط
- دوره آموزشی یادگیری Databricks GenAI
- دوره آموزشی بهرهگیری از هوش مصنوعی و مهندسی داده برای راهحلهای پایدار
- دوره آموزشی MLOps با Databricks
- دوره آموزشی پروژه مهندسی داده دنیای واقعی از ابتدا تا انتها با استفاده از Databricks
- دوره آموزشی آمادگی گواهینامه Databricks Certified Data Engineer Associate: بخش پنجم حاکمیت داده ها
- دوره آموزشی آمادگی گواهینامه Databricks Certified Data Engineer Associate: بخش ششم دسترسی به داده ها با Unity Catalog
- دوره آموزشی آمادگی گواهینامه Databricks Certified Data Engineer Associate: بخش سوم پردازش اطلاعات افزایشی
- دوره آموزشی آمادگی گواهینامه Databricks Certified Data Engineer Associate: بخش چهارم خطوط لوله تولید