دوره آموزشی الگوهای طراحی پردازش جریان با اسپارک
1 ساعت 9 دقیقهپیشرفته2020-10-14
مدرسین

Kumaran Ponnambalam
Working with data for 20+ years
جزئیات دوره
با تولید داده های بیشتر و بیشتر توسط وب سایت ها، دستگاه ها و ارتباطات، پردازش جریان محبوب تر می شود. آپاچی اسپارک یک پلتفرم پیشرو است که پردازش جریانی مقیاسپذیر و سریع را ارائه میدهد، اما همچنان برای دستیابی به حداکثر کارایی به طراحی هوشمندانه نیاز دارد. این دوره به توسعه دهندگان کمک می کند تا از بهترین شیوه ها و الگوهای طراحی معتبر برای پیاده سازی پردازش جریان در Apache Spark استفاده کنند. مربی Kumaran Ponnambalam نحوه تنظیم محیط خود را نشان می دهد و سپس در چهار الگوی طراحی و موارد استفاده در دنیای واقعی قدم می گذارد: تجزیه و تحلیل جریان، هشدارها و آستانه ها، تابلوهای امتیازات، و پیش بینی های زمان واقعی. در فصل ششم، او پروژهای از شروع تا پایان را معرفی میکند که نشان میدهد چگونه با استفاده از Spark، Apache Kafka، MariaDB و Redis از طراحی به کار اجرا شده برویم. در پایان دوره، تمام قابلیت های این پلتفرم قدرتمند را خواهید فهمید و می توانید آن را در راه حل های مهندسی داده خود بگنجانید.
اهداف یادگیری
فرصت ها و چالش های جریانی
راه اندازی محیط
تجزیه و تحلیل بخار با اسپارک
نظارت بر هشدارها و آستانه ها با Spark
ایجاد تابلوهای امتیازات با Spark
ایجاد پیشبینی در زمان واقعی با Spark
پروژه استریم عملی Spark
اهداف یادگیری
فرصت ها و چالش های جریانی
راه اندازی محیط
تجزیه و تحلیل بخار با اسپارک
نظارت بر هشدارها و آستانه ها با Spark
ایجاد تابلوهای امتیازات با Spark
ایجاد پیشبینی در زمان واقعی با Spark
پروژه استریم عملی Spark
مهارت ها
Apache SparkApacheData EngineeringData ScienceDeep Dive (X:Y)
سرفصل ها
مقدمه
- استریم با اسپارک
- پیش نیازها
پردازش جریان با اسپارک
- استریم پردازش چیست
- فرصت ها و چالش های استریمینگ
- استریم با آپاچی اسپارک
- Spark Structured Streaming API و SQL
- تنظیم فایل های تمرین
- راه اندازی کافکا
- راه اندازی MariaDB و Redis
جریان تجزیه و تحلیل
- تحلیل جریان - الگو
- تحلیل جریان - طراحی مورد استفاده
- تحلیل جریان - کلاس های کمکی
- تحلیل جریان - پیاده سازی خط لوله
- تحلیل جریان - بررسی نتایج
هشدارها و آستانه ها
- هشدارها و آستانه ها - الگو
- هشدارها و آستانه ها - طراحی مورد استفاده
- هشدارها و آستانه ها - کلاس های کمکی
- هشدارها و آستانه ها - اجرای خط لوله
- هشدارها و آستانه ها - بررسی
تابلوهای امتیازات
- تابلوهای امتیاز - الگو
- تابلوهای امتیاز - طراحی کیس استفاده کنید
- Leaderboards - کلاس های کمکی
- Leaderboards - اجرای خط لوله
- Leaderboards - نقد و بررسی
پیش بینی های زمان واقعی
- پیشبینیهای بیدرنگ - الگو
- پیشبینیهای بیدرنگ - از طراحی موردی استفاده کنید
- پیشبینیهای بیدرنگ - کلاسهای کمکی
- پیشبینیهای بیدرنگ - اجرای خط لوله
- پیشبینیهای بیدرنگ - مرور
موارد استفاده
- از تعریف موردی استفاده کنید
- طراحی پروژه
- کد walk-through
- اجرا و تحلیل کنید
نتیجه
- مراحل بعدی