دوره آموزشی Apache Flink: مهندسی داده حالت دسته ای

دوره آموزشی Apache Flink: مهندسی داده حالت دسته ای

1 ساعت 7 دقیقهپیشرفته2020-02-20

مدرسین

Kumaran Ponnambalam

Kumaran Ponnambalam

Working with data for 20+ years

جزئیات دوره

مهندسی داده بنیادی برای امکان استفاده از برنامه های تجزیه و تحلیل و علوم داده در دنیای داده های بزرگ است. این نیاز به ساخت خطوط لوله پردازش داده های مقیاس پذیر و تحویل آنها در بازه های زمانی کوتاه دارد. Apache Flink ، پلت فرم قدرتمند و محبوب پردازش جریان ، برای کمک به شما در دستیابی به این اهداف طراحی شده است. در این دوره ، به Kumaran Ponnambalam بپیوندید زیرا او در مورد چگونگی ساخت خطوط داده داده حالت دسته ای با Apache Flink تمرکز دارد. کوماران با مرور ویژگی ها و معماری Apache Flink مسیر خود را آغاز می کند. وی سپس نگاهی عمیق تر به API DataSet می اندازد و قابلیت های مختلف موجود برای تبدیل ، تجمیع و ترکیب داده ها را بررسی می کند. وی برای پایان دادن به دوره ، یک پروژه مورد استفاده را ارائه می دهد که به شما امکان می دهد از مهارت های جدید خود استفاده کنید.

موضوعات مورد بحث عبارتند از:
- معماری Apache Flink
- ویژگیهای API DataSet
- استفاده از کلاسهای POJO برای تایپ DataSet
- کار با همکاری در Flink
- استفاده از MySQL با Flink
- استفاده از متغیرهای پخش برای به اشتراک گذاری و جمع آوری داده ها

مهارت ها

FlinkApacheData EngineeringData ScienceDeep Dive (X:Y)

سرفصل ها

مقدمه

  • مهندسی حالت دسته ای

Apache Flink

  • Apache Flink چیست؟
  • ویژگی های Apache Flink
  • معماری آپاچی فلینک
  • ساختار برنامه Flink
  • جریان اجرای Flink

راه اندازی Flink

  • نصب Flink به صورت مستقل
  • ایجاد پروژه Flink
  • نمونه برنامه Flink بسازید
  • اجرای مشاغل روی خوشه
  • استفاده از رابط وب Flink
  • تنظیم فایل های تمرین

Dataset API

  • مفاهیم DataSet API
  • خواندن یک فایل CSV
  • استفاده از نقشه
  • استفاده از FlatMap
  • استفاده از فیلتر
  • استفاده از سنگدانه ها
  • استفاده از Reduce

قابلیت های پیشرفته

  • استفاده از کلاس های POJO
  • عملیات را بپیوندید
  • استفاده از MySQL با Flink
  • استفاده از متغیرهای پخش

از پروژه Case استفاده کنید

  • تعریف مسئله
  • محاسبه نمره کل
  • چاپ نمرات فیزیک
  • محاسبه میانگین نمرات در بین موضوعات
  • دانش آموز برتر را برای هر موضوع پیدا کنید

نتیجه

  • مراحل بعدی
۴۰,۰۰۰ تومان