دوره آموزشی راهنمای کامل آپاچی کافکا برای مبتدیان
8 ساعت 14 دقیقهمبتدی2023-05-10
مدرسین

Stephane Maarek
Solutions architect and trainer on Apache Kafka, Apache NiFi, and AWS
جزئیات دوره
کافکا (Kafka) پیشروترین فناوری استریمینگ دادههای منبع باز و مقیاسپذیر برای سازمانها است. این ابزار به شما کمک میکند دادههایتان را در زمان واقعی به جایی که نیاز دارید منتقل کنید و مشکلاتی که از ادغام سیستمهای مختلف منبع و مقصد ایجاد میشود را کاهش میدهد. این دوره آموزشی به شما کمک میکند با تمام عملیات پایهای کافکا شروع کنید، رابط خط فرمان (CLI) و API های کافکا را بررسی کنید و کارهای کلیدی مانند ساخت تولیدکنندگان و مصرفکنندگان خود را انجام دهید. یاد بگیرید چگونه یک کلاستر شخصی کافکا را در سیستمعاملهای مک، ویندوز یا لینوکس راهاندازی کنید؛ مفاهیم بنیادی مانند موضوعات، پارتیشنها، بروکرها، تولیدکنندگان و مصرفکنندگان را به طور کامل یاد بگیرید؛ و شروع به نوشتن، ذخیرهسازی و خواندن دادهها با استفاده از تولیدکنندگان، موضوعات و مصرفکنندگان کنید. مدرس دوره، استفان مارک، شامل موارد کاربردی و مثالهایی از دنیای واقعی مانند مصرف دادهها از منابعی مانند ویکیپدیا و الکترالاستیکسرچ میشود که معماریهای واقعی و استقرارهای تولیدی را شامل میشود. استفان دوره را با نگاهی به موضوعات پیشرفته مانند سیاستهای پاکسازی لاگ و پیامهای بزرگ در کافکا به پایان میرساند.
اهداف یادگیری:
آشنایی با عملیات پایهای کافکا
استفاده از رابط خط فرمان (CLI) و API کافکا
یادگیری مفاهیم بنیادی کافکا مانند موضوعات، پارتیشنها و بروکرها
ساخت تولیدکنندگان و مصرفکنندگان داده
راهاندازی کلاستر شخصی کافکا در سیستمهای مک، ویندوز و لینوکس
مصرف داده از منابع مختلف مانند ویکیپدیا و الکترالاستیکسرچ
مدیریت پیامهای بزرگ و سیاستهای پاکسازی لاگ در کافکا
اهداف یادگیری:
آشنایی با عملیات پایهای کافکا
استفاده از رابط خط فرمان (CLI) و API کافکا
یادگیری مفاهیم بنیادی کافکا مانند موضوعات، پارتیشنها و بروکرها
ساخت تولیدکنندگان و مصرفکنندگان داده
راهاندازی کلاستر شخصی کافکا در سیستمهای مک، ویندوز و لینوکس
مصرف داده از منابع مختلف مانند ویکیپدیا و الکترالاستیکسرچ
مدیریت پیامهای بزرگ و سیاستهای پاکسازی لاگ در کافکا
مهارت ها
KafkaApacheData EngineeringLearningData Science
سرفصل ها
0. مقدمه
- 01 - مقدمه دوره کافکا
- 02 - آپاچی کافکا در پنج دقیقه
- 03 - اهداف دوره
1. نظریه کافکا
- 04 - موضوعات، پارتیشنها و انحراف ها
- 05 - تولیدکنندگان و کلیدهای پیام
- 06 - مصرف کنندگان و سریال زدایی
- 07 - گروههای مصرف کننده و جبران مصرف کنندگان
- 08 - کارگزاران و موضوعات
- 09 - تکرار موضوع
- 10 - قدردانی سازنده و ماندگاری موضوع
- 11 - ZooKeeper
- 12 - Kafka KRaft - حذف ZooKeeper
- 13 - جمع بندی نظریه
2. شروع کافکا
- 14 - مهم - شروع کافکا و ترتیب سخنرانی
- 15 - شروع کافکا با Conduktor - چند پلتفرم
- 16 - macOS X - کافکا را در PATH دانلود و راهاندازی کنید
- 17 - macOS X - ZooKeeper و Kafka را راهاندازی کنید
- 18 - macOS X - استفاده از دم
- 19 - لینوکس - کافکا را در PATH دانلود و راهاندازی کنید
- 20 - لینوکس - ZooKeeper و Kafka را راهاندازی کنید
- 21 - Windows WSL2 - راهاندازی Kafka and PATH را دانلود کنید
- 22 - Windows WSL2 - ZooKeeper و Kafka را راهاندازی کنید
- 23 - Windows WSL2 - نحوه رفع مشکلات
- 24 - ویندوز غیر WSL2 - ZooKeeper و Kafka را راهاندازی کنید
3. شروع کافکا بدون ZooKeeper
- 25 - macOS X - کافکا را در حالت KRaft راهاندازی کنید
- 26 - لینوکس - کافکا را در حالت KRaft راهاندازی کنید
- 27 - Windows WSL2 - کافکا را در حالت KRaft راهاندازی کنید
4. CLI (واسط خط فرمان) 101
- 28 - مقدمه CLI
- 29 - موضوعات کافکا CLI
- 30 - تولید کننده کنسول کافکا CLI
- 31 - CLI مصرف کننده کنسول کافکا
- 32 - مصرف کنندگان کافکا در گروه
- 33 - گروههای مصرف کننده کافکا CLI
- 34 - تنظیم مجدد انحراف ها
5. رابط کاربری کافکا
- 35 - Conductor - Demo
6. برنامه نویسی جاوا کافکا 101
- 36 - لیست کافکا SDK
- 37 - ایجاد پروژه کافکا
- 38 - تولید کننده جاوا
- 39 - تماسهای تولید کننده جاوا
- 40 - تولید کننده جاوا با کلید
- 41 - مصرف کننده جاوا
- 42 - مصرف کننده جاوا - خاموش شدن برازنده
- 43 - مصرف کننده جاوا در داخل گروه مصرف کننده
- 44 - تعادل مجدد تعاونی افزایشی مصرف کننده جاوا و عضویت گروه ایستا
- 45 - تعادل مجدد تعاونی افزایشی مصرف کننده جاوا - تمرین
- 46 - رفتار مرتکب جبران خودکار مصرف کننده جاوا
- 47 - برنامه نویسی - آموزشهای پیشرفته
7. پروژه دنیای واقعی کافکا
- 48 - نمای کلی پروژه در دنیای واقعی
8. سازنده ویکیمدیا کافکا و پیکربندیهای سازنده پیشرفته
- 49 - راهاندازی پروژه تولید کننده ویکی مدیا
- 50 - اجرای تولید کننده ویکی مدیا
- 51 - اجرای تولید کننده ویکی مدیا
- 52 - تولید کننده ویکی مدیا - معرفی پیکربندی سازنده
- 53 - قدردانی سازنده شیرجه عمیق
- 54 - تهیه کننده دوباره تلاش میکند
- 55 - تولید کننده بی توان
- 56 - تنظیمات ایمن تولید کننده کافکا
- 57 - اجرای ایمن تولیدکننده ویکی مدیا
- 58 - فشرده سازی پیام کافکا
- 59 - تنظیمات تولیدکننده linger.ms و batch.size
- 60 - اجرای ویکیمدیا با توان عملیاتی بالا
- 61 - پارتیشن ساز پیش فرض و پارتیشن چسبنده سازنده
- 62 - max.block.ms و buffer.memory پیشرفته
9. OpenSearch Consumer and Advanced Consumer Configurations
- 63 - مصرف کننده OpenSearch - نمای کلی پروژه
- 64 - مصرف کننده OpenSearch - راهاندازی پروژه
- 65 - راهاندازی OpenSearch در Docker
- 66 - راهاندازی OpenSearch در Cloud
- 67 - OpenSearch 101
- 68 - اجرای OpenSearch مصرف کننده - قسمت 1
- 69 - اجرای OpenSearch مصرف کننده - قسمت 2
- 70 - معناشناسی تحویل مصرف کننده
- 71 - اجرای OpenSearch مصرف کننده - قسمت 3 idempotence
- 72 - استراتژیهای متعهد به جبران هزینههای مصرف کننده
- 73 - اجرای OpenSearch مصرف کننده - قسمت 4 معناشناسی تحویل
- 74 - اجرای OpenSearch مصرف کننده - قسمت 5 دسته بندی داده ها
- 75 - رفتار بازنشانی انحراف مصرف کننده
- 76 - اجرای OpenSearch مصرف کننده - قسمت 6 پخش مجدد داده ها
- 77 - موضوعات داخلی مصرف کننده
- 78 - واکشی ماکت مصرف کننده - آگاهی رک
10. Kafka Extended APIs for Developers
- 79 - APIهای توسعه یافته کافکا - بررسی اجمالی
- 80 - مقدمه کافکا کانکت
- 81 - Kafka Connect Wikimedia و Elasticsearch عملی
- 82 - معرفی جریانهای کافکا
- 83 - کافکا استریمز به صورت دستی
- 84 - معرفی رجیستری طرحواره کافکا
- 85 - ثبت طرحواره کافکا عملی
- 86 - کدام API کافکا را باید استفاده کنید
11. بینشهای دنیای واقعی و مطالعات موردی - دادههای بزرگ و دادههای سریع
- 87 - انتخاب تعداد پارتیشن و ضریب تکرار
- 88 - قرارداد نامگذاری موضوعات کافکا
- 89 - مطالعه موردی - MovieFlix
- 90 - مطالعه موردی - GetTaxi
- 91 - مطالعه موردی - MySocial Media
- 92 - مطالعه موردی - مای بانک
- 93 - مطالعه موردی - مصرف کلان داده
- 94 - مطالعه موردی - ورود به سیستم و متریک تجمیع
12. کافکا در Enterprise for Admins
- 95 - نمای کلی معماری سطح بالا راهاندازی خوشه کافکا
- 96 - نظارت و عملیات کافکا
- 97 - امنیت کافکا
- 98 - کافکا چند خوشه ای و آینه ساز
- 99 - شنوندگان تبلیغاتی - پروتکل ارتباطی مشتری و سرور کافکا
13. تنظیمات موضوعات پیشرفته
- 100 - تغییر پیکربندی موضوع
- 101 - بخش و نمایه
- 102 - سیاستهای پاکسازی گزارش
- 103 - پاکسازی گزارش حذف
- 104 - تئوری تراکم لاگ
- 105 - تمرین تراکم کنده
- 106 - انتخاب رهبر ناپاک
- 107 - پیامهای بزرگ در کافکا
نتیجه
- 108 - بعد چه میشود
دوره های مرتبط
- دوره آموزشی یادگیری جامع شروع به کار با آپاچی کافکا
- دوره آموزشی عیب یابی و رفع اشکال کافکا
- دوره آموزشی یادگیری جامع آپاچی کافکا: برنامه های مقیاس پذیر (2021)
- دوره آموزشی تنظیم کافکا
- دوره آموزشی استقرار و اجرای آپاچی کافکا در کوبرنتیس
- دوره آموزشی یادگیری جامع آپاچی کافکا: برنامه های مقیاس پذیر (2021)
- دوره آموزشی یادگیری جامع شروع به کار با آپاچی کافکا (2021)
- دوره آموزشی الگوهای طراحی پردازش جریان با Kafka Streams