دوره آموزشی آمادگی برای گواهینامه Databricks Certified Data Engineer Associate
2 ساعت 19 دقیقهمتوسط2025-03-18
مدرسین
Noah Gift
MLOps Expert | Solopreneur | Author | Adjunct Professor | CTO
جزئیات دوره
تو این دوره، خودتو برای آزمون Databricks Certified Data Engineer Associate آماده میکنی. مدرس دوره، نوآ گیفت، تمام موضوعاتی که باید بلد باشی رو قدمبهقدم بهت یاد میده. از معرفی پلتفرم Databricks Lakehouse شروع میکنه، بعد میره سراغ تبدیل داده با Apache Spark، مدیریت داده با Delta Lake، ساختن پایپلاین داده با Delta Live Tables، اجرای کارها (Jobs) و در آخر، دسترسی به دادهها با استفاده از Unity Catalog رو بررسی میکنه.
این دوره مناسب کساییه که میخوان مهندس داده حرفهای بشن و دنبال مدرک رسمی از دیتابریکس هستن.
اهداف یادگیری:
آشنایی با Databricks Lakehouse: یاد میگیری این پلتفرم چی هست و چطور ترکیبی از دیتا ویهاوس و دیتا لیک رو ارائه میده.
تبدیل داده با Apache Spark: یاد میگیری چطور با اسپارک دادهها رو پردازش و تبدیل کنی.
مدیریت داده با Delta Lake: با مفهوم نسخهبندی داده، ذخیرهسازی قابل اعتماد و مدیریت دادهها آشنا میشی.
ساخت پایپلاین با Delta Live Tables: یاد میگیری چطور جریانهای دادهای رو بهصورت زنده مدیریت و پیادهسازی کنی.
اجرای ورکلودها با Jobs: با نحوه زمانبندی و اجرای خودکار تسکها در دیتابریکس آشنا میشی.
کنترل دسترسی با Unity Catalog: میفهمی چطور میتونی دادههات رو ایمن نگهداری و مدیریت کنی.
این دوره مناسب کساییه که میخوان مهندس داده حرفهای بشن و دنبال مدرک رسمی از دیتابریکس هستن.
اهداف یادگیری:
آشنایی با Databricks Lakehouse: یاد میگیری این پلتفرم چی هست و چطور ترکیبی از دیتا ویهاوس و دیتا لیک رو ارائه میده.
تبدیل داده با Apache Spark: یاد میگیری چطور با اسپارک دادهها رو پردازش و تبدیل کنی.
مدیریت داده با Delta Lake: با مفهوم نسخهبندی داده، ذخیرهسازی قابل اعتماد و مدیریت دادهها آشنا میشی.
ساخت پایپلاین با Delta Live Tables: یاد میگیری چطور جریانهای دادهای رو بهصورت زنده مدیریت و پیادهسازی کنی.
اجرای ورکلودها با Jobs: با نحوه زمانبندی و اجرای خودکار تسکها در دیتابریکس آشنا میشی.
کنترل دسترسی با Unity Catalog: میفهمی چطور میتونی دادههات رو ایمن نگهداری و مدیریت کنی.
مهارت ها
Data EngineeringData AnalysisCert PrepData ScienceBusiness Analysis and StrategyBusiness Software and Tools
سرفصل ها
0. مقدمه
- 01 - مروری بر دوره
1. Databricks Lakehouse Platform
- 02 - آشنایی با پلتفرم Databricks Lakehouse
- 03 - مروری بر معماری Databricks
- 04 - ایجاد و مدیریت خوشه ها
- 05 - پیکربندی زمانهای اجرا خوشه
- 06 - خوشههای پایان دهنده
- 07 - راهاندازی مجدد خوشه ها
- 08 - فیلتر کردن لیست خوشه ها
- 09 - خوشههای شغلی همه منظوره در مقابل
2. تبدیل دادهها با اسپارک آپاچی
- 10 - IntelliJ را برای Databricks با Go راهاندازی کنید
- 11 - نصب و استفاده از Databricks CLI
- 12 - نصب و استفاده از Databricks برای RStudio
- 13 - مقدمه ای بر نوت بوک
- 14 - اجرای دفترچه یادداشت
- 15 - اشتراک گذاری دفترچه یادداشت
- 16 - پشتیبانی چند زبانه
- 17 - بررسی اجمالی Databricks Repos
3. مدیریت دادهها با دریاچه دلتا
- 18 - تبدیل کارآمد دادهها با Spark SQL
- 19 - استفاده از Catalog Explorer
- 20 - ایجاد جداول از فایل ها
- 21 - استعلام از منابع داده خارجی
- 22 - بازرسی جداول
- 23 - خطوط لوله داده قابل اعتماد با دریاچه دلتا
- 24 - معاملات اسید
- 25 - بهینهسازی ترتیب Z
4. خطوط لوله داده با جداول زنده دلتا
- 26 - جاروبرقی و جمعآوری زباله
- 27 - مستندات جدول
- 28 - خطوط لوله خودکار با جداول زنده دلتا
- 29 - اجزای جداول زنده دلتا
- 30 - خطوط لوله پیوسته در مقابل راه اندازی
- 31 - پیکربندی خودکار لودر
- 32 - کوئری از رویدادهای خط لوله
- 33 - نمونه سرتاسر جداول زنده دلتا
5. بار کاری با جابز
- 34 - سازماندهی حجم کار با مشاغل
- 35 - نسخه ی نمایشی مشاغل Databricks
- 36 - گردش کار چند وظیفه ای
- 37 - وابستگیهای وظیفه
- 38 - مشاهده سوابق شغلی
- 39 - استفاده از داشبورد
- 40 - رسیدگی به خرابی ها
- 41 - پیکربندی تلاشهای مجدد
6. دسترسی به دادهها با کاتالوگ Unity
- 42 - دسترسی یکپارچه به دادهها با Unity Catalog
- 43 - کاتالوگها در مقابل متاستورها
- 44 - Unity Catalog شروع سریع با پایتون
- 45 - اعمال امنیت شی
- 46 - بهترین شیوهها برای کاتالوگ
- 47 - بهترین شیوهها برای اتصالات
- 48 - بهترین شیوهها برای واحدهای تجاری
دوره های مرتبط
- دوره آموزشی کلانداده در عصر هوش مصنوعی
- دوره آموزشی راهنمای کامل مهندسی تحلیل دادهها
- دوره آموزشی مهندسی تحلیل پیشرفته: تمرینهای دنیای واقعی
- دوره آموزشی راهنمای کامل Google BigQuery برای مهندسان داده و یادگیری ماشین
- دوره آموزشی یادگیری اصولی PySpark: معرفی ساخت خطوط پردازش داده
- دوره آموزشی پاکسازی دادهها برای علم داده مؤثر: واردکردن دادهها، تشخیص ناهنجاری، پرکردن مقادیر گمشده و مهندسی ویژگیها
- دوره آموزشی یادگیری جامع اسکالا برای علوم داده
- دوره آموزشی SPSS: آمادهسازی، مصورسازی و مدلسازی دادهها