دوره آموزشی یادگیری جامع آپاچی اسپارک

دوره آموزشی یادگیری جامع آپاچی اسپارک

1 ساعت 27 دقیقهمتوسط2017-04-03

مدرسین

Ben Sullins

Ben Sullins

Data Geek, Tech Consultant

جزئیات دوره

آپاچی اسپارک یک پلتفرم قدرتمند است که راه های جدیدی را برای ذخیره و استفاده از داده های بزرگ در اختیار کاربران قرار می دهد. در این دوره، با Spark به سرعت عمل کنید و کشف کنید که چگونه از این موتور پردازش محبوب برای ارائه بینش مؤثر و جامع در مورد داده های خود استفاده کنید. مربی بن سالینز یک نمای کلی از پلتفرم ارائه می دهد و به اجزای مختلف سازنده آپاچی اسپارک می پردازد. او نحوه تجزیه و تحلیل داده‌ها را در Spark با استفاده از PySpark و Spark SQL نشان می‌دهد، الگوریتم‌های یادگیری ماشینی در حال اجرا را با استفاده از Mlib بررسی می‌کند، نحوه ایجاد یک برنامه تحلیل جریانی با استفاده از Spark Streaming و موارد دیگر را نشان می‌دهد.

اهداف یادگیری
درک اسپارک
بررسی اجزای اسپارک
جایی که اسپارک می درخشد
درک رابط های داده
کار با فایل های متنی
بارگیری داده های CSV در DataFrames
استفاده از Spark SQL برای تجزیه و تحلیل داده ها
اجرای الگوریتم های یادگیری ماشین با استفاده از Mlib
پرس و جو داده های جریان
اتصال ابزارهای BI به Spark

مهارت ها

Apache SparkApacheData EngineeringData Science

سرفصل ها

0. مقدمه

  • 01 - خوش آمدید
  • 02 - آنچه باید قبل از تماشای این دوره بدانید
  • 03 - استفاده از فایل‌های تمرین

1. معرفی آپاچی اسپارک

  • 04 - درک اسپارک
  • 05 - Origins of Spark
  • 06 - مروری بر اجزای Spark
  • 07 - جایی که اسپارک می‌درخشد
  • 08 - مروری بر Databricks
  • 09 - مقدمه ای بر نوت بوک و PySpark

2. تجزیه‌و‌تحلیل داده‌ها در Spark

  • 10 - درک رابط‌های داده
  • 11 - کار با فایل‌های متنی
  • 12 - بارگذاری داده‌های CSV در DataFrames
  • 13 - کاوش داده‌ها در DataFrames
  • 14 - نتایج خود را ذخیره کنید

3. استفاده از Spark SQL برای تجزیه‌و‌تحلیل داده ها

  • 15 - ایجاد جداول
  • 16 - کوئری‌ داده‌ها با Spark SQL
  • 17 - تجسم داده‌ها در نوت بوک‌های Databricks

4. اجرای الگوریتم‌های یادگیری ماشین با استفاده از MLlib

  • 18 - مقدمه ای بر یادگیری ماشین با اسپارک
  • 19 - آماده سازی داده‌ها برای یادگیری ماشین
  • 20 - ساخت مدل رگرسیون خطی
  • 21 - ارزیابی مدل رگرسیون خطی
  • 22 - تجسم مدل رگرسیون خطی

5. تجزیه‌و‌تحلیل داده‌ها در زمان واقعی با جریان اسپارک

  • 23 - مقدمه ای بر تحلیل جریانی
  • 24 - تنظیم زمینه جریان
  • 25 - استعلام داده‌های جریانی

6. اتصال BI Tools به Spark

  • 26 - راه‌اندازی اسپارک به صورت محلی
  • 27 - اتصال نوت بوک‌های Jupyter به Spark
  • 28 - سایر گزینه‌های اتصال

نتیجه

  • 29 - مراحل بعدی
۴۰,۰۰۰ تومان