دوره آموزشی راهنمای کامل آپاچی کافکا برای مبتدیان

دوره آموزشی راهنمای کامل آپاچی کافکا برای مبتدیان

8 ساعت 14 دقیقهمبتدی2023-05-10

مدرسین

Stephane Maarek

Stephane Maarek

Solutions architect and trainer on Apache Kafka, Apache NiFi, and AWS

جزئیات دوره

کافکا (Kafka) پیشروترین فناوری استریمینگ داده‌های منبع باز و مقیاس‌پذیر برای سازمان‌ها است. این ابزار به شما کمک می‌کند داده‌هایتان را در زمان واقعی به جایی که نیاز دارید منتقل کنید و مشکلاتی که از ادغام سیستم‌های مختلف منبع و مقصد ایجاد می‌شود را کاهش می‌دهد. این دوره آموزشی به شما کمک می‌کند با تمام عملیات پایه‌ای کافکا شروع کنید، رابط خط فرمان (CLI) و API های کافکا را بررسی کنید و کارهای کلیدی مانند ساخت تولیدکنندگان و مصرف‌کنندگان خود را انجام دهید. یاد بگیرید چگونه یک کلاستر شخصی کافکا را در سیستم‌عامل‌های مک، ویندوز یا لینوکس راه‌اندازی کنید؛ مفاهیم بنیادی مانند موضوعات، پارتیشن‌ها، بروکرها، تولیدکنندگان و مصرف‌کنندگان را به طور کامل یاد بگیرید؛ و شروع به نوشتن، ذخیره‌سازی و خواندن داده‌ها با استفاده از تولیدکنندگان، موضوعات و مصرف‌کنندگان کنید. مدرس دوره، استفان مارک، شامل موارد کاربردی و مثال‌هایی از دنیای واقعی مانند مصرف داده‌ها از منابعی مانند ویکی‌پدیا و الکترالاستیک‌سرچ می‌شود که معماری‌های واقعی و استقرارهای تولیدی را شامل می‌شود. استفان دوره را با نگاهی به موضوعات پیشرفته مانند سیاست‌های پاکسازی لاگ و پیام‌های بزرگ در کافکا به پایان می‌رساند.

اهداف یادگیری:
آشنایی با عملیات پایه‌ای کافکا
استفاده از رابط خط فرمان (CLI) و API کافکا
یادگیری مفاهیم بنیادی کافکا مانند موضوعات، پارتیشن‌ها و بروکرها
ساخت تولیدکنندگان و مصرف‌کنندگان داده
راه‌اندازی کلاستر شخصی کافکا در سیستم‌های مک، ویندوز و لینوکس
مصرف داده از منابع مختلف مانند ویکی‌پدیا و الکترالاستیک‌سرچ
مدیریت پیام‌های بزرگ و سیاست‌های پاکسازی لاگ در کافکا

مهارت ها

KafkaApacheData EngineeringLearningData Science

سرفصل ها

مقدمه

  • مقدمه دوره کافکا
  • آپاچی کافکا در پنج دقیقه
  • اهداف دوره

نظریه کافکا

  • موضوعات، پارتیشن‌ها و انحراف ها
  • تولیدکنندگان و کلیدهای پیام
  • مصرف کنندگان و سریال زدایی
  • گروه‌های مصرف کننده و جبران مصرف کنندگان
  • کارگزاران و موضوعات
  • تکرار موضوع
  • قدردانی سازنده و ماندگاری موضوع
  • ZooKeeper
  • Kafka KRaft - حذف ZooKeeper
  • جمع بندی نظریه

شروع کافکا

  • مهم - شروع کافکا و ترتیب سخنرانی
  • شروع کافکا با Conduktor - چند پلتفرم
  • macOS X - کافکا را در PATH دانلود و راه‌اندازی کنید
  • macOS X - ZooKeeper و Kafka را راه‌اندازی کنید
  • macOS X - استفاده از دم
  • لینوکس - کافکا را در PATH دانلود و راه‌اندازی کنید
  • لینوکس - ZooKeeper و Kafka را راه‌اندازی کنید
  • Windows WSL2 - راه‌اندازی Kafka and PATH را دانلود کنید
  • Windows WSL2 - ZooKeeper و Kafka را راه‌اندازی کنید
  • Windows WSL2 - نحوه رفع مشکلات
  • ویندوز غیر WSL2 - ZooKeeper و Kafka را راه‌اندازی کنید

شروع کافکا بدون ZooKeeper

  • macOS X - کافکا را در حالت KRaft راه‌اندازی کنید
  • لینوکس - کافکا را در حالت KRaft راه‌اندازی کنید
  • Windows WSL2 - کافکا را در حالت KRaft راه‌اندازی کنید

CLI (واسط خط فرمان) 101

  • مقدمه CLI
  • موضوعات کافکا CLI
  • تولید کننده کنسول کافکا CLI
  • CLI مصرف کننده کنسول کافکا
  • مصرف کنندگان کافکا در گروه
  • گروه‌های مصرف کننده کافکا CLI
  • تنظیم مجدد انحراف ها

رابط کاربری کافکا

  • Conductor - Demo

برنامه نویسی جاوا کافکا 101

  • لیست کافکا SDK
  • ایجاد پروژه کافکا
  • تولید کننده جاوا
  • تماس‌های تولید کننده جاوا
  • تولید کننده جاوا با کلید
  • مصرف کننده جاوا
  • مصرف کننده جاوا - خاموش شدن برازنده
  • مصرف کننده جاوا در داخل گروه مصرف کننده
  • تعادل مجدد تعاونی افزایشی مصرف کننده جاوا و عضویت گروه ایستا
  • تعادل مجدد تعاونی افزایشی مصرف کننده جاوا - تمرین
  • رفتار مرتکب جبران خودکار مصرف کننده جاوا
  • برنامه نویسی - آموزش‌های پیشرفته

پروژه دنیای واقعی کافکا

  • نمای کلی پروژه در دنیای واقعی

سازنده ویکی‌مدیا کافکا و پیکربندی‌های سازنده پیشرفته

  • راه‌اندازی پروژه تولید کننده ویکی مدیا
  • اجرای تولید کننده ویکی مدیا
  • اجرای تولید کننده ویکی مدیا
  • تولید کننده ویکی مدیا - معرفی پیکربندی سازنده
  • قدردانی سازنده شیرجه عمیق
  • تهیه کننده دوباره تلاش می‌کند
  • تولید کننده بی توان
  • تنظیمات ایمن تولید کننده کافکا
  • اجرای ایمن تولیدکننده ویکی مدیا
  • فشرده سازی پیام کافکا
  • تنظیمات تولیدکننده linger.ms و batch.size
  • اجرای ویکی‌مدیا با توان عملیاتی بالا
  • پارتیشن ساز پیش فرض و پارتیشن چسبنده سازنده
  • max.block.ms و buffer.memory پیشرفته

OpenSearch Consumer and Advanced Consumer Configurations

  • مصرف کننده OpenSearch - نمای کلی پروژه
  • مصرف کننده OpenSearch - راه‌اندازی پروژه
  • راه‌اندازی OpenSearch در Docker
  • راه‌اندازی OpenSearch در Cloud
  • OpenSearch 101
  • اجرای OpenSearch مصرف کننده - قسمت 1
  • اجرای OpenSearch مصرف کننده - قسمت 2
  • معناشناسی تحویل مصرف کننده
  • اجرای OpenSearch مصرف کننده - قسمت 3 idempotence
  • استراتژی‌های متعهد به جبران هزینه‌های مصرف کننده
  • اجرای OpenSearch مصرف کننده - قسمت 4 معناشناسی تحویل
  • اجرای OpenSearch مصرف کننده - قسمت 5 دسته بندی داده ها
  • رفتار بازنشانی انحراف مصرف کننده
  • اجرای OpenSearch مصرف کننده - قسمت 6 پخش مجدد داده ها
  • موضوعات داخلی مصرف کننده
  • واکشی ماکت مصرف کننده - آگاهی رک

Kafka Extended APIs for Developers

  • API‌های توسعه یافته کافکا - بررسی اجمالی
  • مقدمه کافکا کانکت
  • Kafka Connect Wikimedia و Elasticsearch عملی
  • معرفی جریان‌های کافکا
  • کافکا استریمز به صورت دستی
  • معرفی رجیستری طرحواره کافکا
  • ثبت طرحواره کافکا عملی
  • کدام API کافکا را باید استفاده کنید

بینش‌های دنیای واقعی و مطالعات موردی - داده‌های بزرگ و داده‌های سریع

  • انتخاب تعداد پارتیشن و ضریب تکرار
  • قرارداد نامگذاری موضوعات کافکا
  • مطالعه موردی - MovieFlix
  • مطالعه موردی - GetTaxi
  • مطالعه موردی - MySocial Media
  • مطالعه موردی - مای بانک
  • مطالعه موردی - مصرف کلان داده
  • مطالعه موردی - ورود به سیستم و متریک تجمیع

کافکا در Enterprise for Admins

  • نمای کلی معماری سطح بالا راه‌اندازی خوشه کافکا
  • نظارت و عملیات کافکا
  • امنیت کافکا
  • کافکا چند خوشه ای و آینه ساز
  • شنوندگان تبلیغاتی - پروتکل ارتباطی مشتری و سرور کافکا

تنظیمات موضوعات پیشرفته

  • تغییر پیکربندی موضوع
  • بخش و نمایه
  • سیاست‌های پاکسازی گزارش
  • پاکسازی گزارش حذف
  • تئوری تراکم لاگ
  • تمرین تراکم کنده
  • انتخاب رهبر ناپاک
  • پیام‌های بزرگ در کافکا

نتیجه

  • بعد چه می‌شود
۱۵۰,۰۰۰ تومان