دوره آموزشی Apache Flink: مهندسی داده در زمان واقعی
1 ساعت 11 دقیقهپیشرفته2020-02-20
مدرسین

Kumaran Ponnambalam
Working with data for 20+ years
جزئیات دوره
از منظر مهندسی، مقیاس پذیری یکی از مهمترین چالشهای علم داده است. Apache Flink، پلت فرم قدرتمند و محبوب پردازش جریان، ویژگی ها و قابلیت هایی را ارائه می دهد که می تواند به توسعه دهندگان کمک کند تا از پس این چالش برآیند. در این دوره، نحوه ساخت خط لوله پردازش جریان در زمان واقعی با Apache Flink را بیاموزید. مربی Kumaran Ponnambalam با مرور مفاهیم اصلی جریان و ویژگی های Apache Flink شروع می شود. سپس وی نگاه عمیق تری به API DataStream می اندازد و قابلیت های مختلف موجود برای پردازش جریان در زمان واقعی را بررسی می کند، از جمله windowsing و join. وی پس از بررسی ویژگی های پردازش زمان رویداد و مدیریت حالت پلت فرم، وی یک پروژه مورد استفاده را ارائه می دهد که به شما امکان می دهد مهارت های جدید خود را امتحان کنید.
موضوعات مورد بحث عبارتند از:
- پخش زنده با Apache Flink
- استفاده از DataStream API برای پردازش اولیه جریان
- کار با توابع فرآیند
- پنجره بندی و پیوستن
- تنظیم پردازش زمان رویداد
- مدیریت دولت در فلینک
موضوعات مورد بحث عبارتند از:
- پخش زنده با Apache Flink
- استفاده از DataStream API برای پردازش اولیه جریان
- کار با توابع فرآیند
- پنجره بندی و پیوستن
- تنظیم پردازش زمان رویداد
- مدیریت دولت در فلینک
مهارت ها
FlinkApacheData EngineeringData ScienceDeep Dive (X:Y)
سرفصل ها
0. مقدمه
- 01- پردازش و تجزیه و تحلیل بلادرنگ
1. Apache Flink
- 02-Apache Flink چیست؟
- 03-استریم با آپاچی فلینک
- 04-DataStream API
- 05-دوره های پیش نیاز مرتبط
- 06-تنظیم فایل های تمرینی
2. DataStream API
- 07-تنظیم محیط Flink
- 08- خواندن از منبع جریان
- 09- پردازش داده های جریانی
- 10-نوشتن به سینک جریان
- 11- استفاده از جریان های کلید دار
- 12-ProcessFunction
- 13- شکافتن یک جریان
- 14-ادغام چند جریان
3. پنجره
- 15-مفاهیم پنجره
- 16-استفاده از منبع استریم کافکا
- 17-استفاده از پنجره های کشویی
- 18-استفاده از Session windows
- 19-پنجره می پیوندد
4. پردازش زمان رویداد
- ویژگی های 20-Time در Flink
- 21- واترمارک
- 22-تنظیم زمان رویداد
- 23- پردازش با زمان رویداد
- 24-نوشتن به سینک کافکا
5. مدیریت دولتی
- 25-مدیریت ایالت در فلینک
- 26-تعریف حالات
- 27- استفاده از حالت ها
- 28-مدیریت دولتی پیشرفته
6. از پروژه Case استفاده کنید
- 29-تعریف مسئله
- 30-محاسبات خلاصه شمارش
- 31-مدت زمان فعالیت محاسباتی
نتیجه
- 32- مراحل بعدی