دوره آموزشی جامع Apache Spark: مهندسی داده بزرگ (2021)
1 ساعت 2 دقیقهپیشرفته2021-09-15
مدرسین

Kumaran Ponnambalam
Working with data for 20+ years
جزئیات دوره
مهندسی داده، پایه و اساس تجزیه و تحلیل و کاربردهای علم داده در دنیای جدید داده های بزرگ است. مهندسی داده نیازمند ترکیب چندین فناوری داده بزرگ برای ساخت خط لوله داده و شبکه هایی برای جریان، پردازش و ذخیره داده ها است. این دوره بر ایجاد راه حل های کامل تمرکز می کند که Apache Spark را با سایر ابزارهای Big Data ترکیب می کند تا خطوط لوله داده به انتها ایجاد کند. مربی Kumaran Ponnambalam با تعریف مهندسی داده، عملکردها و مفاهیم آن شروع می کند. در مرحله بعد، کوماران می گوید چگونه قابلیت های Spark مانند پردازش موازی، برنامه های اجرایی، گزینه های مدیریت حالت و یادگیری ماشین با استخراج، تبدیل، بارگذاری (ETL) کار می کند. او شما را با موارد و فرایندهای استفاده از پردازش دسته ای و همچنین خطوط لوله پردازش در زمان واقعی آشنا می کند. پس از گذراندن چندین شیوه مفید مفید، کومانان با یک پروژه تمرینی به پایان می رسد.
مهارت ها
Apache SparkApacheData EngineeringEssential TrainingData Science
سرفصل ها
0. مقدمه
- 01 - رانندگی مهندسی دادههای بزرگ با Apache Spark
- 02 - پیش نیازهای دوره
- 03 - تنظیم فایلهای تمرین
1. مفاهیم مهندسی داده
- 04 - مهندسی داده چیست
- 05 - مهندسی داده در مقابل تجزیهوتحلیل داده در مقابل علم داده
- 06 - توابع مهندسی داده
- 07 - پردازش دسته ای در مقابل زمان واقعی
- 08 - مهندسی داده با اسپارک
2. قابلیتهای Spark برای ETL
- 09 - بررسی معماری اسپارک
- 10 - پردازش موازی با اسپارک
- 11 - طرح اجرای جرقه
- 12 - پردازش جریان حالت دار
- 13 - تجزیهوتحلیل جرقه و ML
3. خط لوله پردازش دسته ای
- 14 - مورد استفاده پردازش دسته ای - بیان مشکل
- 15 - مورد استفاده پردازش دسته ای - طراحی
- 16 - راهاندازی DB محلی
- 17 - بارگذاری سهام در فروشگاه مرکزی
- 18 - تجمیع موجودی انبارها
4. خطوط لوله پردازش زمان واقعی
- 19 - مورد استفاده در زمان واقعی - مشکل
- 20 - مورد استفاده در زمان واقعی - طراحی
- 21 - ایجاد جریان داده بازدید
- 22 - ساخت کار تجزیهوتحلیل وب سایت
- 23 - اجرای خط لوله بلادرنگ
5. مهندسی داده با اسپارک - بهترین روش ها
- 24 - گزینههای دسته ای در مقابل زمان واقعی
- 25 - عملیات استخراج و بارگذاری رسوب گذاری
- 26 - عملیات پردازش مقیاس
- 27 - مقاوم سازی ساختمان
6. پروژه تمرین پایان به پایان
- 28 - الزامات تمرین پروژه
- 29 - طراحی راه حل
- 30 - استخراج اقدامات طولانی مدت
- 31 - ساختن کارت امتیازی
نتیجه
- 32 - اطلاعات بیشتر در مورد آپاچی اسپارک
دوره های مرتبط
- دوره آموزشی یادگیری جامع اسکالا برای علوم داده
- دوره آموزشی DataOps با Apache Iceberg با استفاده از Spark، Nessie و Dremio
- دوره آموزشی Cloud Hadoop: پیمایش آپاچی اسپارک
- دوره آموزشی یادگیری جامع Azure Spark Databricks
- دوره آموزشی تحلیل دادههای کلان با Hadoop و Apache Spark
- دوره آموزشی پلتفرمهای داده: از Spark تا Snowflake
- دوره آموزشی آمادگی گواهینامه Databricks Certified Data Engineer Associate: بخش دوم ELT با Spark SQL و Python
- دورهی آموزشی مقدماتی آپاچی اسپارک: مهندسی دادههای بزرگ