دوره آموزشی پیشرفته جریان داده گوگل

جزئیات دوره

هنگامی که بر اصول اولیه Google Dataflow مسلط شدید، ممکن است تعجب کنید که چه کارهای دیگری می توانید با آن انجام دهید. این دوره بر روی کاربردهای پیشرفته تر پرتوهای Apache و Dataflow تمرکز دارد. مربی Kishan Iyer پس از ارائه یک نمای کلی، شما را با پردازش جریانی با Dataflow آشنا می کند. او به شما نشان می‌دهد که چگونه پیام‌ها را در Pub/Sub منتشر کنید، به پیام‌های منتشر شده در آنجا دسترسی داشته باشید و خط لوله‌ای را راه‌اندازی کنید که با Pub/Sub و BigQuery کار می‌کند. کیشان همچنین به نحوه خواندن و نظارت بر پیام ها در Pub/Sub می پردازد. در مرحله بعد، او شما را از طریق چندین عملیات مختلف پنجره و پیوستن به عملیات در Dataflow راهنمایی می کند. کیشان پردازش جریان بدون کد، آماده شدن برای استفاده از Dataflow SQL، اجرای کارها با Dataflow SQL و ایجاد پرس و جوهای پارامتری شده با Dataflow SQL را پوشش می دهد. به علاوه، او درباره نحوه راه‌اندازی مشاغل استریم با یک الگو و تأیید نتایج برای یک کار قالب بحث می‌کند.

سرفصل ها

0. مقدمه

01 - مروری بر فناوری سریع

1. مروری سریع بر پرتو آپاچی و جریان داده

02 - پردازش جریان با پرتو آپاچی
03 - فعال کردن Google Cloud API برای برنامه های Dataflow
04 - تنظیم اعتبار حساب خدمات
05 - ایجاد پروژه Apache Beam با Maven
06 - خواندن داده ها از فضای ذخیره سازی Google Cloud
07 - چاپ عناصر روی کنسول
08 - اجرای یک برنامه پردازش دسته ای

2. مقدمه ای بر پردازش جریانی با Dataflow

09 - در جریان داده ها تغییر شکل می دهد
10 - پردازش داده های جریان
11 - انجام تجمیع در جریان داده ها
12 - تعریف پنجره برای تجمیع
13 - استفاده از جمع کننده سفارشی

3. پخش جریانی پیام ها با Pub Sub

14 - انتشار پیام به Pub Sub
15 - دسترسی به پیام ها از Pub Sub
16 - راه اندازی Pub Sub و BigQuery
17 - خواندن پیام ها از Pub Sub
18 - نظارت بر پیام ها در Pub Sub

4. عملیات پنجره در Dataflow

19 - عملیات پنجره
20 - نوشتن نتایج در BigQuery
21 - بررسی خروجی خط لوله
22 - محاسبه میانگین روی یک پنجره
23 - تنظیم مجدد اندازه پنجره
24 - اجرای پنجره های کشویی
25 - به روز رسانی مشاغل در حال اجرا

5. به عملیات در Dataflow بپیوندید

26 - پیوستن به PCCollection های محدود
27 - پیاده سازی stream-stream joins
28 - تغذیه ورودی برای پیوستن به جریان

6. استفاده از Dataflow SQL Service

29 - پردازش جریان بدون کد
30 - آماده شدن برای استفاده از Dataflow SQL
31 - اجرای کارها با Dataflow SQL
32 - پرس و جوهای پارامتری شده با Dataflow SQL

7. استفاده از Dataflow Streaming Templates

33 - راه اندازی مشاغل پخش با قالب
34 - بررسی نتایج برای یک کار قالب

نتیجه

35 - خلاصه و مراحل بعدی