دوره آموزشی علم داده در پلتفرم ابری گوگل: ایجاد خطوط لوله داده

دوره آموزشی علم داده در پلتفرم ابری گوگل: ایجاد خطوط لوله داده

1 ساعت 8 دقیقهمتوسط2018-08-22

مدرسین

Kumaran Ponnambalam

Kumaran Ponnambalam

Working with data for 20+ years

جزئیات دوره

رایانش ابری مقیاس پذیری و کشش نامحدودی را برای کاربردهای علم داده به ارمغان می آورد. تخصص در پلتفرم‌های اصلی، مانند Google Cloud Platform (GCP)، برای متخصصان فناوری اطلاعات ضروری است. این دوره - یکی از مجموعه‌های متخصص مهندسی ابر کهنه کار و دانشمندان داده Kumaran Ponnambalam - نشان می‌دهد که چگونه از آخرین فناوری‌ها در GCP برای ایجاد خط لوله داده بزرگی استفاده کنیم که داده‌ها را به طور کامل در فضای ابری جذب، انتقال و تبدیل می‌کند. با نحوه تنظیم کارهای پردازش داده با استفاده از پرتو Apache و Cloud Dataflow آشنا شوید. نحوه استفاده از Cloud Pub/Sub را برای دریافت جریان و پیام‌رسانی بی‌درنگ کشف کنید. در نهایت، نحوه پردازش رویدادهای جریان در Cloud Dataflow را بیاموزید. این دوره از یک مورد استفاده نهایی استفاده می کند که نشان می دهد چگونه می توان دانش و بهترین شیوه های دوره را در یک گردش کار عملی علم داده به کار برد.

اهداف یادگیری
محصولات GCP برای خطوط لوله داده
راه اندازی خط لوله با پرتو Apache و Cloud Dataflow
پردازش داده ها با Beam و Dataflow
دریافت جریان‌ها با Cloud Pub/Sub
انجام تحلیل جریان با Dataflow

مهارت ها

Google CloudData Science FoundationsGoogleSoftware Development ToolsCloud PlatformsCloud ComputingData ScienceSoftware DevelopmentOne-Off

سرفصل ها

مقدمه

  • آنچه به خط لوله داده می رود
  • ماژول های علم داده تحت پوشش

محصولات خط لوله داده GCP

  • گزینه های خط لوله داده های GCP
  • Cloud Dataproc
  • Cloud Dataflow
  • Cloud Pub Sub

پرتو آپاچی

  • پرتو آپاچی چیست
  • خطوط لوله پرتو
  • PCCollections
  • تبدیل می شود
  • Pipeline IO
  • دونده ها

راه اندازی Dataflow

  • راه اندازی GCP برای Dataflow
  • راه اندازی پایتون
  • ایجاد خط لوله ساده
  • اجرا در Dataflow

پردازش داده با Beam و Dataflow

  • خواندن فایل های متنی
  • پاردو
  • GroupBy
  • نقشه
  • ترکیب کنید
  • نوشتن داده ها در فایل های متنی
  • سایر قابلیت ها

Cloud Pub Sub

  • Pub Sub چیست
  • موضوعات و پیام ها
  • ناشران
  • مشترکین
  • یک موضوع ایجاد کنید
  • اشتراک ایجاد کنید
  • انتشار و دریافت کنید
  • Python SDK

جریان با Dataflow

  • استریم با Dataflow
  • پنجره سازی با Dataflow
  • مثال جریان و پنجره

نتیجه

  • مراحل بعدی
۴۰,۰۰۰ تومان