دوره آموزشی الگوهای طراحی پردازش جریان با اسپارک
1 ساعت 9 دقیقهپیشرفته2020-10-14
مدرسین

Kumaran Ponnambalam
Working with data for 20+ years
جزئیات دوره
با تولید داده های بیشتر و بیشتر توسط وب سایت ها، دستگاه ها و ارتباطات، پردازش جریان محبوب تر می شود. آپاچی اسپارک یک پلتفرم پیشرو است که پردازش جریانی مقیاسپذیر و سریع را ارائه میدهد، اما همچنان برای دستیابی به حداکثر کارایی به طراحی هوشمندانه نیاز دارد. این دوره به توسعه دهندگان کمک می کند تا از بهترین شیوه ها و الگوهای طراحی معتبر برای پیاده سازی پردازش جریان در Apache Spark استفاده کنند. مربی Kumaran Ponnambalam نحوه تنظیم محیط خود را نشان می دهد و سپس در چهار الگوی طراحی و موارد استفاده در دنیای واقعی قدم می گذارد: تجزیه و تحلیل جریان، هشدارها و آستانه ها، تابلوهای امتیازات، و پیش بینی های زمان واقعی. در فصل ششم، او پروژهای از شروع تا پایان را معرفی میکند که نشان میدهد چگونه با استفاده از Spark، Apache Kafka، MariaDB و Redis از طراحی به کار اجرا شده برویم. در پایان دوره، تمام قابلیت های این پلتفرم قدرتمند را خواهید فهمید و می توانید آن را در راه حل های مهندسی داده خود بگنجانید.
اهداف یادگیری
فرصت ها و چالش های جریانی
راه اندازی محیط
تجزیه و تحلیل بخار با اسپارک
نظارت بر هشدارها و آستانه ها با Spark
ایجاد تابلوهای امتیازات با Spark
ایجاد پیشبینی در زمان واقعی با Spark
پروژه استریم عملی Spark
اهداف یادگیری
فرصت ها و چالش های جریانی
راه اندازی محیط
تجزیه و تحلیل بخار با اسپارک
نظارت بر هشدارها و آستانه ها با Spark
ایجاد تابلوهای امتیازات با Spark
ایجاد پیشبینی در زمان واقعی با Spark
پروژه استریم عملی Spark
مهارت ها
Apache SparkApacheData EngineeringData ScienceDeep Dive (X:Y)
سرفصل ها
0. مقدمه
- 01-استریم با اسپارک
- 02-پیش نیازها
1. پردازش جریان با اسپارک
- 03-استریم پردازش چیست
- 04-فرصت ها و چالش های استریمینگ
- 05-استریم با آپاچی اسپارک
- 06-Spark Structured Streaming API و SQL
- 07-تنظیم فایل های تمرین
- 08- راه اندازی کافکا
- 09-راه اندازی MariaDB و Redis
2. جریان تجزیه و تحلیل
- 10-تحلیل جریان - الگو
- 11-تحلیل جریان - طراحی مورد استفاده
- 12-تحلیل جریان - کلاس های کمکی
- 13-تحلیل جریان - پیاده سازی خط لوله
- 14-تحلیل جریان - بررسی نتایج
3. هشدارها و آستانه ها
- 15-هشدارها و آستانه ها - الگو
- 16-هشدارها و آستانه ها - طراحی مورد استفاده
- 17-هشدارها و آستانه ها - کلاس های کمکی
- 18-هشدارها و آستانه ها - اجرای خط لوله
- 19-هشدارها و آستانه ها - بررسی
4. تابلوهای امتیازات
- 20- تابلوهای امتیاز - الگو
- 21- تابلوهای امتیاز - طراحی کیس استفاده کنید
- 22-Leaderboards - کلاس های کمکی
- 23-Leaderboards - اجرای خط لوله
- 24-Leaderboards - نقد و بررسی
5. پیش بینی های زمان واقعی
- 25-پیشبینیهای بیدرنگ - الگو
- 26-پیشبینیهای بیدرنگ - از طراحی موردی استفاده کنید
- 27-پیشبینیهای بیدرنگ - کلاسهای کمکی
- 28-پیشبینیهای بیدرنگ - اجرای خط لوله
- 29-پیشبینیهای بیدرنگ - مرور
6. موارد استفاده
- 30-از تعریف موردی استفاده کنید
- 31-طراحی پروژه
- 32-کد walk-through
- 33-اجرا و تحلیل کنید
نتیجه
- 34- مراحل بعدی
دوره های مرتبط
- دوره آموزشی یادگیری جامع اسکالا برای علوم داده
- دوره آموزشی DataOps با Apache Iceberg با استفاده از Spark، Nessie و Dremio
- دوره آموزشی Cloud Hadoop: پیمایش آپاچی اسپارک
- دوره آموزشی یادگیری جامع Azure Spark Databricks
- دوره آموزشی تحلیل دادههای کلان با Hadoop و Apache Spark
- دوره آموزشی پلتفرمهای داده: از Spark تا Snowflake
- دوره آموزشی آمادگی گواهینامه Databricks Certified Data Engineer Associate: بخش دوم ELT با Spark SQL و Python
- دورهی آموزشی مقدماتی آپاچی اسپارک: مهندسی دادههای بزرگ