دوره آموزشی پای‌اسپارک پر‌قدرت: راهکارهای پیشرفته برای پردازش بهینه داده‌ها

استاد داده‌ها شو با دوره پیشرفته PySpark!
اگر می‌خوای توی پردازش داده‌های بزرگ حرفه‌ای بشی، این دوره مخصوص مهندس‌های داده مثل تو طراحی شده. با استاد آمینا انصاری همراه شو و یاد بگیر چطور داده‌ها رو سریع و تمیز کنی، ساختارهای درست تعریف کنی و فرمت‌ها و روش‌های فشرده‌سازی مختلف رو به کار ببری تا هر چقدر داده هم داشته باشی، سیستم‌ت روان و بهینه کار کنه.

در پایان این دوره، می‌تونی با استفاده از PySpark، پایپلاین‌های پردازش داده‌ای بسازی که هم مقیاس‌پذیر باشن و هم کارآمد.

اهداف یادگیری
تسلط به تکنیک‌های پاک‌سازی داده، از جمله مقابله با مقادیر گمشده، شناسایی داده‌های پرت، نرمال‌سازی و تبدیل داده‌ها
تعریف ساختارهای داده (Schema) به‌گونه‌ای که عملکرد و مقیاس‌پذیری افزایش پیدا کنه
آشنایی با فرمت‌های مختلف داده مثل Parquet، ORC، Avro، JSON و CSV و استفاده بهینه از هر کدوم
استفاده از تکنیک‌های فشرده‌سازی مثل Gzip، Snappy و LZO برای صرفه‌جویی در فضا و افزایش سرعت پردازش
به حداقل رساندن مشکلاتی مثل داده‌های نابرابر (Skew) و جابجایی بیش از حد داده‌ها (Shuffle) و بهینه‌سازی عملیات Join، Aggregation و Repartition