دوره آموزشی راهنمای کامل آپاچی کافکا برای مبتدیان
8 ساعت 14 دقیقهمبتدی2023-05-10
مدرسین

Stephane Maarek
Solutions architect and trainer on Apache Kafka, Apache NiFi, and AWS
جزئیات دوره
کافکا (Kafka) پیشروترین فناوری استریمینگ دادههای منبع باز و مقیاسپذیر برای سازمانها است. این ابزار به شما کمک میکند دادههایتان را در زمان واقعی به جایی که نیاز دارید منتقل کنید و مشکلاتی که از ادغام سیستمهای مختلف منبع و مقصد ایجاد میشود را کاهش میدهد. این دوره آموزشی به شما کمک میکند با تمام عملیات پایهای کافکا شروع کنید، رابط خط فرمان (CLI) و API های کافکا را بررسی کنید و کارهای کلیدی مانند ساخت تولیدکنندگان و مصرفکنندگان خود را انجام دهید. یاد بگیرید چگونه یک کلاستر شخصی کافکا را در سیستمعاملهای مک، ویندوز یا لینوکس راهاندازی کنید؛ مفاهیم بنیادی مانند موضوعات، پارتیشنها، بروکرها، تولیدکنندگان و مصرفکنندگان را به طور کامل یاد بگیرید؛ و شروع به نوشتن، ذخیرهسازی و خواندن دادهها با استفاده از تولیدکنندگان، موضوعات و مصرفکنندگان کنید. مدرس دوره، استفان مارک، شامل موارد کاربردی و مثالهایی از دنیای واقعی مانند مصرف دادهها از منابعی مانند ویکیپدیا و الکترالاستیکسرچ میشود که معماریهای واقعی و استقرارهای تولیدی را شامل میشود. استفان دوره را با نگاهی به موضوعات پیشرفته مانند سیاستهای پاکسازی لاگ و پیامهای بزرگ در کافکا به پایان میرساند.
اهداف یادگیری:
آشنایی با عملیات پایهای کافکا
استفاده از رابط خط فرمان (CLI) و API کافکا
یادگیری مفاهیم بنیادی کافکا مانند موضوعات، پارتیشنها و بروکرها
ساخت تولیدکنندگان و مصرفکنندگان داده
راهاندازی کلاستر شخصی کافکا در سیستمهای مک، ویندوز و لینوکس
مصرف داده از منابع مختلف مانند ویکیپدیا و الکترالاستیکسرچ
مدیریت پیامهای بزرگ و سیاستهای پاکسازی لاگ در کافکا
اهداف یادگیری:
آشنایی با عملیات پایهای کافکا
استفاده از رابط خط فرمان (CLI) و API کافکا
یادگیری مفاهیم بنیادی کافکا مانند موضوعات، پارتیشنها و بروکرها
ساخت تولیدکنندگان و مصرفکنندگان داده
راهاندازی کلاستر شخصی کافکا در سیستمهای مک، ویندوز و لینوکس
مصرف داده از منابع مختلف مانند ویکیپدیا و الکترالاستیکسرچ
مدیریت پیامهای بزرگ و سیاستهای پاکسازی لاگ در کافکا
مهارت ها
KafkaApacheData EngineeringLearningData Science
سرفصل ها
مقدمه
- مقدمه دوره کافکا
- آپاچی کافکا در پنج دقیقه
- اهداف دوره
نظریه کافکا
- موضوعات، پارتیشنها و انحراف ها
- تولیدکنندگان و کلیدهای پیام
- مصرف کنندگان و سریال زدایی
- گروههای مصرف کننده و جبران مصرف کنندگان
- کارگزاران و موضوعات
- تکرار موضوع
- قدردانی سازنده و ماندگاری موضوع
- ZooKeeper
- Kafka KRaft - حذف ZooKeeper
- جمع بندی نظریه
شروع کافکا
- مهم - شروع کافکا و ترتیب سخنرانی
- شروع کافکا با Conduktor - چند پلتفرم
- macOS X - کافکا را در PATH دانلود و راهاندازی کنید
- macOS X - ZooKeeper و Kafka را راهاندازی کنید
- macOS X - استفاده از دم
- لینوکس - کافکا را در PATH دانلود و راهاندازی کنید
- لینوکس - ZooKeeper و Kafka را راهاندازی کنید
- Windows WSL2 - راهاندازی Kafka and PATH را دانلود کنید
- Windows WSL2 - ZooKeeper و Kafka را راهاندازی کنید
- Windows WSL2 - نحوه رفع مشکلات
- ویندوز غیر WSL2 - ZooKeeper و Kafka را راهاندازی کنید
شروع کافکا بدون ZooKeeper
- macOS X - کافکا را در حالت KRaft راهاندازی کنید
- لینوکس - کافکا را در حالت KRaft راهاندازی کنید
- Windows WSL2 - کافکا را در حالت KRaft راهاندازی کنید
CLI (واسط خط فرمان) 101
- مقدمه CLI
- موضوعات کافکا CLI
- تولید کننده کنسول کافکا CLI
- CLI مصرف کننده کنسول کافکا
- مصرف کنندگان کافکا در گروه
- گروههای مصرف کننده کافکا CLI
- تنظیم مجدد انحراف ها
رابط کاربری کافکا
- Conductor - Demo
برنامه نویسی جاوا کافکا 101
- لیست کافکا SDK
- ایجاد پروژه کافکا
- تولید کننده جاوا
- تماسهای تولید کننده جاوا
- تولید کننده جاوا با کلید
- مصرف کننده جاوا
- مصرف کننده جاوا - خاموش شدن برازنده
- مصرف کننده جاوا در داخل گروه مصرف کننده
- تعادل مجدد تعاونی افزایشی مصرف کننده جاوا و عضویت گروه ایستا
- تعادل مجدد تعاونی افزایشی مصرف کننده جاوا - تمرین
- رفتار مرتکب جبران خودکار مصرف کننده جاوا
- برنامه نویسی - آموزشهای پیشرفته
پروژه دنیای واقعی کافکا
- نمای کلی پروژه در دنیای واقعی
سازنده ویکیمدیا کافکا و پیکربندیهای سازنده پیشرفته
- راهاندازی پروژه تولید کننده ویکی مدیا
- اجرای تولید کننده ویکی مدیا
- اجرای تولید کننده ویکی مدیا
- تولید کننده ویکی مدیا - معرفی پیکربندی سازنده
- قدردانی سازنده شیرجه عمیق
- تهیه کننده دوباره تلاش میکند
- تولید کننده بی توان
- تنظیمات ایمن تولید کننده کافکا
- اجرای ایمن تولیدکننده ویکی مدیا
- فشرده سازی پیام کافکا
- تنظیمات تولیدکننده linger.ms و batch.size
- اجرای ویکیمدیا با توان عملیاتی بالا
- پارتیشن ساز پیش فرض و پارتیشن چسبنده سازنده
- max.block.ms و buffer.memory پیشرفته
OpenSearch Consumer and Advanced Consumer Configurations
- مصرف کننده OpenSearch - نمای کلی پروژه
- مصرف کننده OpenSearch - راهاندازی پروژه
- راهاندازی OpenSearch در Docker
- راهاندازی OpenSearch در Cloud
- OpenSearch 101
- اجرای OpenSearch مصرف کننده - قسمت 1
- اجرای OpenSearch مصرف کننده - قسمت 2
- معناشناسی تحویل مصرف کننده
- اجرای OpenSearch مصرف کننده - قسمت 3 idempotence
- استراتژیهای متعهد به جبران هزینههای مصرف کننده
- اجرای OpenSearch مصرف کننده - قسمت 4 معناشناسی تحویل
- اجرای OpenSearch مصرف کننده - قسمت 5 دسته بندی داده ها
- رفتار بازنشانی انحراف مصرف کننده
- اجرای OpenSearch مصرف کننده - قسمت 6 پخش مجدد داده ها
- موضوعات داخلی مصرف کننده
- واکشی ماکت مصرف کننده - آگاهی رک
Kafka Extended APIs for Developers
- APIهای توسعه یافته کافکا - بررسی اجمالی
- مقدمه کافکا کانکت
- Kafka Connect Wikimedia و Elasticsearch عملی
- معرفی جریانهای کافکا
- کافکا استریمز به صورت دستی
- معرفی رجیستری طرحواره کافکا
- ثبت طرحواره کافکا عملی
- کدام API کافکا را باید استفاده کنید
بینشهای دنیای واقعی و مطالعات موردی - دادههای بزرگ و دادههای سریع
- انتخاب تعداد پارتیشن و ضریب تکرار
- قرارداد نامگذاری موضوعات کافکا
- مطالعه موردی - MovieFlix
- مطالعه موردی - GetTaxi
- مطالعه موردی - MySocial Media
- مطالعه موردی - مای بانک
- مطالعه موردی - مصرف کلان داده
- مطالعه موردی - ورود به سیستم و متریک تجمیع
کافکا در Enterprise for Admins
- نمای کلی معماری سطح بالا راهاندازی خوشه کافکا
- نظارت و عملیات کافکا
- امنیت کافکا
- کافکا چند خوشه ای و آینه ساز
- شنوندگان تبلیغاتی - پروتکل ارتباطی مشتری و سرور کافکا
تنظیمات موضوعات پیشرفته
- تغییر پیکربندی موضوع
- بخش و نمایه
- سیاستهای پاکسازی گزارش
- پاکسازی گزارش حذف
- تئوری تراکم لاگ
- تمرین تراکم کنده
- انتخاب رهبر ناپاک
- پیامهای بزرگ در کافکا
نتیجه
- بعد چه میشود