دوره آموزشی راهنمای کامل Databricks برای مهندسی داده‌ها

دوره آموزشی راهنمای کامل Databricks برای مهندسی داده‌ها

6 ساعت 10 دقیقهمتوسط2025-02-28

مدرسین

Deepak Goyal

Deepak Goyal

جزئیات دوره

توی این دوره، یاد می‌گیری چطور با پلتفرم Databricks حرفه‌ای کار کنی و تبدیل به یه مهندس داده درجه‌یک بشی. مدرس این دوره، Deepak Goyal، قدم به قدم بهت نشون می‌ده که چطور حجم عظیمی از داده‌ها رو پردازش، آنالیز و رفع اشکال کنی و در نهایت راه‌حل‌هایی بسازی که مقیاس‌پذیر و کاربردی باشن.

تو این دوره با مفاهیم مهمی مثل تبدیل داده‌ها با PySpark، نوشتن و خوندن DataFrameها، کار با Spark SQL، کار با Delta Lake و بهینه‌سازی joinها آشنا می‌شی. تازه یاد می‌گیری چطور نوت‌بوک‌هات رو زمان‌بندی کنی، کلاسترها رو مدیریت کنی، و با سیستم Workflowها و Unity Catalog توی Databricks کار کنی.

این دوره هم مناسب کساییه که تازه وارد دنیای Big Data شدن، هم اونایی که می‌خوان به سطح پیشرفته برسن.

🎯 اهداف یادگیری (خیلی خلاصه و ساده):
درک کامل از نحوه کار Databricks از ابتدا تا انتها.
یادگیری استفاده از Delta Lake برای ذخیره‌سازی مؤثر و قابل اعتماد.
اجرای تبدیلات داده با PySpark.
کار با Spark SQL برای تحلیل داده‌ها.
نوشتن و خوندن DataFrame در PySpark.
مدیریت کلاسترها در Databricks.
آشنایی با Unity Catalog برای مدیریت داده‌ها.

مهارت ها

DatabricksData EngineeringData ScienceOne-Off

سرفصل ها

مقدمه

  • معرفی دوره
  • آنچه باید بدانید

مقدمه ای بر Databricks

  • Databricks چیست
  • راه‌اندازی یک فضای کاری Databricks
  • پیمایش در رابط Databricks
  • مقدمه ای بر نوت بوک‌های Databricks
  • یک خوشه تک گره برای تمرین ایجاد کنید

شروع به کار با Databricks

  • آشنایی با سیستم فایل Databricks (DBFS)
  • داده‌های نمونه را در DBFS بارگذاری کنید
  • داده‌ها را در DBFS مرور و کاوش کنید

داده‌ها را با Databricks بخوانید

  • DataFrames را بشناسید
  • یک فایل CSV را در Databricks بخوانید
  • برای خواندن فایل در Databricks از طرحواره استفاده کنید
  • یک فایل JSON را در Databricks بخوانید
  • یک فایل پارکت را در Databricks بخوانید
  • داده‌های JSON تودرتو را در Databricks مدیریت کنید

تبدیل PySpark در Databricks

  • از تبدیل‌های filter and Where در PySpark استفاده کنید
  • اضافه کردن یا حذف ستون‌ها در PySpark
  • از تابع select در PySpark استفاده کنید
  • از UNION و DISTINCT در PySpark استفاده کنید
  • Null‌ها را در PySpark مدیریت کنید
  • از sortBy و orderBy در PySpark استفاده کنید
  • از groupBy و aggregation در PySpark استفاده کنید
  • رشته‌ها را در PySpark دستکاری کنید
  • دستکاری تاریخ در PySpark را مدیریت کنید
  • کنترل زمان دستکاری در PySpark

یک DataFrame در Databricks بنویسید

  • یک DataFrame به صورت فایل در DBFS بنویسید
  • یک DataFrame را با استفاده از پارتیشن بندی بنویسید

Spark SQL در Databricks

  • Spark SQL چیست
  • ایجاد نماهای موقت در Databricks
  • در Databricks نماهای temp global ایجاد کنید
  • از تبدیل‌های Spark SQL استفاده کنید
  • DataFrames را به صورت جداول مدیریت شده در PySpark بنویسید
  • یک DataFrame به عنوان جدول خارجی در PySpark بنویسید

جداول دلتا لیک و دلتا در Databricks

  • دریاچه دلتا چیست و فواید آن
  • جداول دلتا ایجاد کنید
  • عملیات DML را در جداول دلتا مدیریت کنید
  • سفر در زمان با استفاده از دریاچه دلتا

به بهینه سازی‌ها در Databricks بپیوندید

  • انواع مختلف اتصال را مدیریت کنید
  • پخش پیوست
  • Bucketing در PySpark

برنامه ریزی دفترچه یادداشت

  • نوت بوک نوبت کاری

مدیریت خوشه در Databricks

  • خوشه تعاملی را درک کنید
  • پیکربندی خوشه و رابط کاربری را کاوش کنید
  • خوشه‌های شغلی را درک کنید

گردش کار در Databricks

  • گردش کار در Databricks را درک کنید
  • یک گردش کار در Databricks ایجاد کنید

dbutils در Databricks

  • dbutils در Databricks چیست
  • دستورات dbutils fs
  • نصب dbutils
  • دفترچه یادداشت dbutils

کاتالوگ Unity در Databricks

  • کاتالوگ یونیتی را درک کنید

پروژه Capstone

  • مورد استفاده پروژه
  • راه حل

نتیجه گیری

  • مراحل بعدی
۱۲۰,۰۰۰ تومان