دوره آموزشی علم داده در پلتفرم ابری گوگل: ایجاد خطوط لوله داده

جزئیات دوره

رایانش ابری مقیاس پذیری و کشش نامحدودی را برای کاربردهای علم داده به ارمغان می آورد. تخصص در پلتفرم‌های اصلی، مانند Google Cloud Platform (GCP)، برای متخصصان فناوری اطلاعات ضروری است. این دوره - یکی از مجموعه‌های متخصص مهندسی ابر کهنه کار و دانشمندان داده Kumaran Ponnambalam - نشان می‌دهد که چگونه از آخرین فناوری‌ها در GCP برای ایجاد خط لوله داده بزرگی استفاده کنیم که داده‌ها را به طور کامل در فضای ابری جذب، انتقال و تبدیل می‌کند. با نحوه تنظیم کارهای پردازش داده با استفاده از پرتو Apache و Cloud Dataflow آشنا شوید. نحوه استفاده از Cloud Pub/Sub را برای دریافت جریان و پیام‌رسانی بی‌درنگ کشف کنید. در نهایت، نحوه پردازش رویدادهای جریان در Cloud Dataflow را بیاموزید. این دوره از یک مورد استفاده نهایی استفاده می کند که نشان می دهد چگونه می توان دانش و بهترین شیوه های دوره را در یک گردش کار عملی علم داده به کار برد.

اهداف یادگیری
محصولات GCP برای خطوط لوله داده
راه اندازی خط لوله با پرتو Apache و Cloud Dataflow
پردازش داده ها با Beam و Dataflow
دریافت جریان‌ها با Cloud Pub/Sub
انجام تحلیل جریان با Dataflow

سرفصل ها

0. مقدمه

01 - آنچه به خط لوله داده می رود
02 - ماژول های علم داده تحت پوشش

1. محصولات خط لوله داده GCP

03 - گزینه های خط لوله داده های GCP
04 - Cloud Dataproc
05 - Cloud Dataflow
06 - Cloud Pub Sub

2. پرتو آپاچی

07 - پرتو آپاچی چیست
08 - خطوط لوله پرتو
09 - PCCollections
10 - تبدیل می شود
11 - Pipeline IO
12 - دونده ها

3. راه اندازی Dataflow

13 - راه اندازی GCP برای Dataflow
14 - راه اندازی پایتون
15 - ایجاد خط لوله ساده
16 - اجرا در Dataflow

4. پردازش داده با Beam و Dataflow

17 - خواندن فایل های متنی
18 - پاردو
19 - GroupBy
20 - نقشه
21 - ترکیب کنید
22 - نوشتن داده ها در فایل های متنی
23 - سایر قابلیت ها

5. Cloud Pub Sub

24 - Pub Sub چیست
25 - موضوعات و پیام ها
26 - ناشران
27 - مشترکین
28 - یک موضوع ایجاد کنید
29 - اشتراک ایجاد کنید
30 - انتشار و دریافت کنید
31 - Python SDK

6. جریان با Dataflow

32 - استریم با Dataflow
33 - پنجره سازی با Dataflow
34 - مثال جریان و پنجره

نتیجه

35 - مراحل بعدی