دوره آموزشی Cloud Hadoop: پیمایش آپاچی اسپارک

فناوری‌های Apache Hadoop و Apache Spark امکان استخراج بینش‌های ارزشمند کسب‌وکار از کلان‌داده‌ها (Big Data) را فراهم می‌کنند. با توجه به اینکه رایانش ابری آمازون (AWS) مجموعه‌ای از خدمات متنوع برای پردازش داده‌های حجیم ارائه می‌دهد، این پلتفرم به گزینه‌ای طبیعی و ایده‌آل برای اجرای این ابزارهای قدرتمند تبدیل شده است.

در این دوره، لین لانگیت، معمار کلان‌داده، نحوه پیاده‌سازی جریان‌های کاری Hadoop و Spark در AWS را آموزش می‌دهد. شما یاد خواهید گرفت که چگونه وظایف پردازشی مقیاس‌پذیر را با روش‌های مختلف اجرا کنید، از جمله:

ماشین‌های مجازی (EC2) برای اجرای بارهای کاری
خوشه‌های Spark مدیریت‌شده (EMR) برای پردازش کارآمد داده‌ها
کانتینرهای Kubernetes (EKS) برای انعطاف‌پذیری بیشتر
علاوه بر این، این دوره نحوه پیکربندی و مدیریت خوشه‌های Hadoop و Spark را با استفاده از Databricks بررسی کرده و چگونگی وارد کردن داده‌ها، اجرای وظایف پردازشی با Python یا سایر زبان‌های برنامه‌نویسی را آموزش می‌دهد.

آنچه در این دوره خواهید آموخت:
آشنایی با سیستم‌های فایل Hadoop و Spark
کار با پلتفرم Databricks برای مدیریت پردازش‌های داده‌ای
بارگذاری داده‌ها در جداول برای پردازش‌های تحلیلی
راه‌اندازی خوشه‌های Hadoop و Spark در محیط ابری
اجرای وظایف Spark با کارایی بالا
وارد کردن و صادر کردن دفترچه‌های Python (Python Notebooks)
اجرای وظایف Spark در Databricks با Python و Scala
پیاده‌سازی تحولات (Transformations) و عملیات (Actions) Spark
کش کردن داده‌ها (Data Caching) برای پردازش‌های بهینه
استفاده از کتابخانه‌های Spark شامل:
Spark SQL برای تحلیل داده
SparkR برای پردازش داده‌های آماری
Spark ML برای یادگیری ماشین
Spark Streaming برای پردازش داده‌های جریانی
مقیاس‌گذاری Spark در AWS و GCP برای پردازش‌های سنگین داده
این دوره به شما کمک می‌کند تا بهترین گزینه استقرار Hadoop و Spark را متناسب با بار کاری (Workload) و نیازهای پروژه خود انتخاب کنید و به طور کارآمد از فناوری‌های پیشرفته برای پردازش و تحلیل داده‌های کلان بهره ببرید.