دوره آموزشی DataOps با Apache Iceberg با استفاده از Spark، Nessie و Dremio
1 ساعت 23 دقیقهمتوسط2025-02-14
مدرسین

Dremio
جزئیات دوره
زمان آن رسیده که با Nessie آشنا شوید؛ کاتالوگ تراکنشی برای دریاچههای داده که با Apache Iceberg و سماتیکهای مشابه Git کار میکند. در این دوره که توسط Dremio طراحی شده، یاد خواهید گرفت که چگونه از سماتیکهای کاتالوگ الهامگرفته از Git هنگام استفاده از کاتالوگ داده Nessie با جداول Apache Iceberg استفاده کنید. اصول پایهای DataOps و ابزارهای اصلی آن مانند Docker را بیاموزید. نحوه راهاندازی محیط کاری خود را یاد بگیرید و سپس با کاتالوگ داده Nessie و جداول Iceberg به صورت عملی کار کنید. در طول این دوره، بینشهایی به دست خواهید آورد که میتوانید در نقش خود از آنها برای بهرهبرداری از قدرت dbt و GitHub Actions استفاده کنید.
اهداف یادگیری:
آشنایی با کاتالوگ داده Nessie و نحوه کار با جداول Apache Iceberg.
یادگیری اصول DataOps و ابزارهای آن مانند Docker.
راهاندازی محیط کاری برای استفاده از Nessie و جداول Iceberg.
استفاده عملی از dbt و GitHub Actions در کار با Nessie و Iceberg.
اهداف یادگیری:
آشنایی با کاتالوگ داده Nessie و نحوه کار با جداول Apache Iceberg.
یادگیری اصول DataOps و ابزارهای آن مانند Docker.
راهاندازی محیط کاری برای استفاده از Nessie و جداول Iceberg.
استفاده عملی از dbt و GitHub Actions در کار با Nessie و Iceberg.
مهارت ها
Apache SparkApacheBusiness IntelligenceData EngineeringFull-Stack Web DevelopmentData AnalysisWeb DevelopmentData ScienceBusiness Analysis and StrategyBusiness Software and ToolsOpen SourceOne-Off
سرفصل ها
0. مقدمه
- 01 - مقدمه
1. DataOps چیست؟
- 02 - DataOps چیست
- 03 - ابزار DataOps
2. داکر
- 04 - داکر چیست
3. تنظیم محیط
- 05 - محیط خود را تنظیم کنید
4. Nessie and Catalog Versioning
- 06 - نسخه سازی نسی و کاتالوگ چیست
- 07 - دستی با نسی
5. dbt
- 08 - dbt چیست
- 09 - دستی با dbt
6. GitHub Actions
- 10 - GitHub Actions چیست
- 11 - نگاهی عمیقتر به GitHub Actions
نتیجه گیری
- 12 - نتیجه گیری
دوره های مرتبط
- دوره آموزشی یادگیری جامع اسکالا برای علوم داده
- دوره آموزشی Cloud Hadoop: پیمایش آپاچی اسپارک
- دوره آموزشی یادگیری جامع Azure Spark Databricks
- دوره آموزشی تحلیل دادههای کلان با Hadoop و Apache Spark
- دوره آموزشی پلتفرمهای داده: از Spark تا Snowflake
- دوره آموزشی آمادگی گواهینامه Databricks Certified Data Engineer Associate: بخش دوم ELT با Spark SQL و Python
- دورهی آموزشی مقدماتی آپاچی اسپارک: مهندسی دادههای بزرگ
- دوره آموزشی معماری برنامه های کاربردی داده های بزرگ: مهندسی کاربرد حالت دسته ای