دوره آموزشی یادگیری اصولی PySpark: معرفی ساخت خطوط پردازش داده

کتابخانه‌ی PySpark توانمندی‌های محاسبات توزیع‌شده‌ی Apache Spark را به زبان پایتون می‌آورد و ابزاری کلیدی برای پردازش داده‌های بزرگ و مقیاس‌پذیر به شکلی کارآمد است.
در این دوره، مهندس داده و تحلیلگر، Sam Bail، یک معرفی ساختاریافته و عملی از PySpark ارائه می‌دهد. دوره با مروری بر Apache Spark، معماری آن و اکوسیستم مربوطه آغاز می‌شود.
شما با مفاهیم پایه‌ای Spark مانند API دیتافریم‌ها، تبدیلات (transformations)، ارزیابی تنبل (lazy evaluation) و عملیات (actions) آشنا می‌شوید، سپس محیط آزمایشی (lab) راه‌اندازی کرده و روی یک مجموعه داده واقعی کار خواهید کرد.
همچنین، نکاتی درباره جایگاه PySpark در اکوسیستم مهندسی داده و بهترین روش‌ها برای اجرای PySpark در محیط تولید (production) ارائه می‌شود.

اهداف یادگیری
درک عمیق مفاهیم اصلی Spark و PySpark
یادگیری نصب PySpark، بارگذاری، دستکاری و تحلیل داده‌های بزرگ در محیط نوت‌بوک
آشنایی با جایگاه PySpark در اکوسیستم گسترده‌تر مهندسی داده
آشنایی با بهترین شیوه‌های اجرای PySpark در محیط تولید