دوره آموزشی الگوهای طراحی پردازش جریان با اسپارک

دوره آموزشی الگوهای طراحی پردازش جریان با اسپارک

1 ساعت 9 دقیقهپیشرفته2020-10-14

مدرسین

Kumaran Ponnambalam

Kumaran Ponnambalam

Working with data for 20+ years

جزئیات دوره

با تولید داده های بیشتر و بیشتر توسط وب سایت ها، دستگاه ها و ارتباطات، پردازش جریان محبوب تر می شود. آپاچی اسپارک یک پلتفرم پیشرو است که پردازش جریانی مقیاس‌پذیر و سریع را ارائه می‌دهد، اما همچنان برای دستیابی به حداکثر کارایی به طراحی هوشمندانه نیاز دارد. این دوره به توسعه دهندگان کمک می کند تا از بهترین شیوه ها و الگوهای طراحی معتبر برای پیاده سازی پردازش جریان در Apache Spark استفاده کنند. مربی Kumaran Ponnambalam نحوه تنظیم محیط خود را نشان می دهد و سپس در چهار الگوی طراحی و موارد استفاده در دنیای واقعی قدم می گذارد: تجزیه و تحلیل جریان، هشدارها و آستانه ها، تابلوهای امتیازات، و پیش بینی های زمان واقعی. در فصل ششم، او پروژه‌ای از شروع تا پایان را معرفی می‌کند که نشان می‌دهد چگونه با استفاده از Spark، Apache Kafka، MariaDB و Redis از طراحی به کار اجرا شده برویم. در پایان دوره، تمام قابلیت های این پلتفرم قدرتمند را خواهید فهمید و می توانید آن را در راه حل های مهندسی داده خود بگنجانید.

اهداف یادگیری
فرصت ها و چالش های جریانی
راه اندازی محیط
تجزیه و تحلیل بخار با اسپارک
نظارت بر هشدارها و آستانه ها با Spark
ایجاد تابلوهای امتیازات با Spark
ایجاد پیش‌بینی در زمان واقعی با Spark
پروژه استریم عملی Spark

مهارت ها

Apache SparkApacheData EngineeringData ScienceDeep Dive (X:Y)

سرفصل ها

مقدمه

  • استریم با اسپارک
  • پیش نیازها

پردازش جریان با اسپارک

  • استریم پردازش چیست
  • فرصت ها و چالش های استریمینگ
  • استریم با آپاچی اسپارک
  • Spark Structured Streaming API و SQL
  • تنظیم فایل های تمرین
  • راه اندازی کافکا
  • راه اندازی MariaDB و Redis

جریان تجزیه و تحلیل

  • تحلیل جریان - الگو
  • تحلیل جریان - طراحی مورد استفاده
  • تحلیل جریان - کلاس های کمکی
  • تحلیل جریان - پیاده سازی خط لوله
  • تحلیل جریان - بررسی نتایج

هشدارها و آستانه ها

  • هشدارها و آستانه ها - الگو
  • هشدارها و آستانه ها - طراحی مورد استفاده
  • هشدارها و آستانه ها - کلاس های کمکی
  • هشدارها و آستانه ها - اجرای خط لوله
  • هشدارها و آستانه ها - بررسی

تابلوهای امتیازات

  • تابلوهای امتیاز - الگو
  • تابلوهای امتیاز - طراحی کیس استفاده کنید
  • Leaderboards - کلاس های کمکی
  • Leaderboards - اجرای خط لوله
  • Leaderboards - نقد و بررسی

پیش بینی های زمان واقعی

  • پیش‌بینی‌های بی‌درنگ - الگو
  • پیش‌بینی‌های بی‌درنگ - از طراحی موردی استفاده کنید
  • پیش‌بینی‌های بی‌درنگ - کلاس‌های کمکی
  • پیش‌بینی‌های بی‌درنگ - اجرای خط لوله
  • پیش‌بینی‌های بی‌درنگ - مرور

موارد استفاده

  • از تعریف موردی استفاده کنید
  • طراحی پروژه
  • کد walk-through
  • اجرا و تحلیل کنید

نتیجه

  • مراحل بعدی
۴۰,۰۰۰ تومان