دوره آموزشی راهنمای کامل Databricks برای مهندسی دادهها
6 ساعت 10 دقیقهمتوسط2025-02-28
مدرسین

Deepak Goyal
جزئیات دوره
توی این دوره، یاد میگیری چطور با پلتفرم Databricks حرفهای کار کنی و تبدیل به یه مهندس داده درجهیک بشی. مدرس این دوره، Deepak Goyal، قدم به قدم بهت نشون میده که چطور حجم عظیمی از دادهها رو پردازش، آنالیز و رفع اشکال کنی و در نهایت راهحلهایی بسازی که مقیاسپذیر و کاربردی باشن.
تو این دوره با مفاهیم مهمی مثل تبدیل دادهها با PySpark، نوشتن و خوندن DataFrameها، کار با Spark SQL، کار با Delta Lake و بهینهسازی joinها آشنا میشی. تازه یاد میگیری چطور نوتبوکهات رو زمانبندی کنی، کلاسترها رو مدیریت کنی، و با سیستم Workflowها و Unity Catalog توی Databricks کار کنی.
این دوره هم مناسب کساییه که تازه وارد دنیای Big Data شدن، هم اونایی که میخوان به سطح پیشرفته برسن.
🎯 اهداف یادگیری (خیلی خلاصه و ساده):
درک کامل از نحوه کار Databricks از ابتدا تا انتها.
یادگیری استفاده از Delta Lake برای ذخیرهسازی مؤثر و قابل اعتماد.
اجرای تبدیلات داده با PySpark.
کار با Spark SQL برای تحلیل دادهها.
نوشتن و خوندن DataFrame در PySpark.
مدیریت کلاسترها در Databricks.
آشنایی با Unity Catalog برای مدیریت دادهها.
تو این دوره با مفاهیم مهمی مثل تبدیل دادهها با PySpark، نوشتن و خوندن DataFrameها، کار با Spark SQL، کار با Delta Lake و بهینهسازی joinها آشنا میشی. تازه یاد میگیری چطور نوتبوکهات رو زمانبندی کنی، کلاسترها رو مدیریت کنی، و با سیستم Workflowها و Unity Catalog توی Databricks کار کنی.
این دوره هم مناسب کساییه که تازه وارد دنیای Big Data شدن، هم اونایی که میخوان به سطح پیشرفته برسن.
🎯 اهداف یادگیری (خیلی خلاصه و ساده):
درک کامل از نحوه کار Databricks از ابتدا تا انتها.
یادگیری استفاده از Delta Lake برای ذخیرهسازی مؤثر و قابل اعتماد.
اجرای تبدیلات داده با PySpark.
کار با Spark SQL برای تحلیل دادهها.
نوشتن و خوندن DataFrame در PySpark.
مدیریت کلاسترها در Databricks.
آشنایی با Unity Catalog برای مدیریت دادهها.
مهارت ها
DatabricksData EngineeringData ScienceOne-Off
سرفصل ها
مقدمه
- معرفی دوره
- آنچه باید بدانید
مقدمه ای بر Databricks
- Databricks چیست
- راهاندازی یک فضای کاری Databricks
- پیمایش در رابط Databricks
- مقدمه ای بر نوت بوکهای Databricks
- یک خوشه تک گره برای تمرین ایجاد کنید
شروع به کار با Databricks
- آشنایی با سیستم فایل Databricks (DBFS)
- دادههای نمونه را در DBFS بارگذاری کنید
- دادهها را در DBFS مرور و کاوش کنید
دادهها را با Databricks بخوانید
- DataFrames را بشناسید
- یک فایل CSV را در Databricks بخوانید
- برای خواندن فایل در Databricks از طرحواره استفاده کنید
- یک فایل JSON را در Databricks بخوانید
- یک فایل پارکت را در Databricks بخوانید
- دادههای JSON تودرتو را در Databricks مدیریت کنید
تبدیل PySpark در Databricks
- از تبدیلهای filter and Where در PySpark استفاده کنید
- اضافه کردن یا حذف ستونها در PySpark
- از تابع select در PySpark استفاده کنید
- از UNION و DISTINCT در PySpark استفاده کنید
- Nullها را در PySpark مدیریت کنید
- از sortBy و orderBy در PySpark استفاده کنید
- از groupBy و aggregation در PySpark استفاده کنید
- رشتهها را در PySpark دستکاری کنید
- دستکاری تاریخ در PySpark را مدیریت کنید
- کنترل زمان دستکاری در PySpark
یک DataFrame در Databricks بنویسید
- یک DataFrame به صورت فایل در DBFS بنویسید
- یک DataFrame را با استفاده از پارتیشن بندی بنویسید
Spark SQL در Databricks
- Spark SQL چیست
- ایجاد نماهای موقت در Databricks
- در Databricks نماهای temp global ایجاد کنید
- از تبدیلهای Spark SQL استفاده کنید
- DataFrames را به صورت جداول مدیریت شده در PySpark بنویسید
- یک DataFrame به عنوان جدول خارجی در PySpark بنویسید
جداول دلتا لیک و دلتا در Databricks
- دریاچه دلتا چیست و فواید آن
- جداول دلتا ایجاد کنید
- عملیات DML را در جداول دلتا مدیریت کنید
- سفر در زمان با استفاده از دریاچه دلتا
به بهینه سازیها در Databricks بپیوندید
- انواع مختلف اتصال را مدیریت کنید
- پخش پیوست
- Bucketing در PySpark
برنامه ریزی دفترچه یادداشت
- نوت بوک نوبت کاری
مدیریت خوشه در Databricks
- خوشه تعاملی را درک کنید
- پیکربندی خوشه و رابط کاربری را کاوش کنید
- خوشههای شغلی را درک کنید
گردش کار در Databricks
- گردش کار در Databricks را درک کنید
- یک گردش کار در Databricks ایجاد کنید
dbutils در Databricks
- dbutils در Databricks چیست
- دستورات dbutils fs
- نصب dbutils
- دفترچه یادداشت dbutils
کاتالوگ Unity در Databricks
- کاتالوگ یونیتی را درک کنید
پروژه Capstone
- مورد استفاده پروژه
- راه حل
نتیجه گیری
- مراحل بعدی