دوره آموزشی Apache Flink: مهندسی داده حالت دسته ای
1 ساعت 7 دقیقهپیشرفته2020-02-20
مدرسین

Kumaran Ponnambalam
Working with data for 20+ years
جزئیات دوره
مهندسی داده بنیادی برای امکان استفاده از برنامه های تجزیه و تحلیل و علوم داده در دنیای داده های بزرگ است. این نیاز به ساخت خطوط لوله پردازش داده های مقیاس پذیر و تحویل آنها در بازه های زمانی کوتاه دارد. Apache Flink ، پلت فرم قدرتمند و محبوب پردازش جریان ، برای کمک به شما در دستیابی به این اهداف طراحی شده است. در این دوره ، به Kumaran Ponnambalam بپیوندید زیرا او در مورد چگونگی ساخت خطوط داده داده حالت دسته ای با Apache Flink تمرکز دارد. کوماران با مرور ویژگی ها و معماری Apache Flink مسیر خود را آغاز می کند. وی سپس نگاهی عمیق تر به API DataSet می اندازد و قابلیت های مختلف موجود برای تبدیل ، تجمیع و ترکیب داده ها را بررسی می کند. وی برای پایان دادن به دوره ، یک پروژه مورد استفاده را ارائه می دهد که به شما امکان می دهد از مهارت های جدید خود استفاده کنید.
موضوعات مورد بحث عبارتند از:
- معماری Apache Flink
- ویژگیهای API DataSet
- استفاده از کلاسهای POJO برای تایپ DataSet
- کار با همکاری در Flink
- استفاده از MySQL با Flink
- استفاده از متغیرهای پخش برای به اشتراک گذاری و جمع آوری داده ها
موضوعات مورد بحث عبارتند از:
- معماری Apache Flink
- ویژگیهای API DataSet
- استفاده از کلاسهای POJO برای تایپ DataSet
- کار با همکاری در Flink
- استفاده از MySQL با Flink
- استفاده از متغیرهای پخش برای به اشتراک گذاری و جمع آوری داده ها
مهارت ها
FlinkApacheData EngineeringData ScienceDeep Dive (X:Y)
سرفصل ها
مقدمه
- مهندسی حالت دسته ای
Apache Flink
- Apache Flink چیست؟
- ویژگی های Apache Flink
- معماری آپاچی فلینک
- ساختار برنامه Flink
- جریان اجرای Flink
راه اندازی Flink
- نصب Flink به صورت مستقل
- ایجاد پروژه Flink
- نمونه برنامه Flink بسازید
- اجرای مشاغل روی خوشه
- استفاده از رابط وب Flink
- تنظیم فایل های تمرین
Dataset API
- مفاهیم DataSet API
- خواندن یک فایل CSV
- استفاده از نقشه
- استفاده از FlatMap
- استفاده از فیلتر
- استفاده از سنگدانه ها
- استفاده از Reduce
قابلیت های پیشرفته
- استفاده از کلاس های POJO
- عملیات را بپیوندید
- استفاده از MySQL با Flink
- استفاده از متغیرهای پخش
از پروژه Case استفاده کنید
- تعریف مسئله
- محاسبه نمره کل
- چاپ نمرات فیزیک
- محاسبه میانگین نمرات در بین موضوعات
- دانش آموز برتر را برای هر موضوع پیدا کنید
نتیجه
- مراحل بعدی