دوره آموزشی آزمون کیفیت داده با Great Expectations
50 دقیقهمتوسط2026-04-16
مدرسین

Sam Bail
جزئیات دوره
کیفیت دادهها، سنگبنای هر نوع تحلیل قابلاعتماد و مدلسازی ماشینلرنینگ است؛ چرا که حتی پیشرفتهترین پلتفرمهای تحلیلی یا مدلهای هوش مصنوعی نیز بدون داشتن دادههای دقیق و قابلاطمینان، کارایی نخواهند داشت. در این دوره آموزشی، Sam Bail (مهندس داده خبره)، به شما میآموزد که چگونه از Great Expectations، یک چارچوب (Framework) متنباز و قدرتمند برای تست و اعتبارسنجی دادهها، استفاده کنید. شما در این مسیر یاد میگیرید که در چه بخشهایی از پایپلاین، تست کیفیت داده بیشترین اهمیت را دارد و چگونه نسخههای متنباز (Open-source) و ابری (Cloud-based) این ابزار را برای جریانهای کاری خود پیکربندی کنید. این دوره با ارائه مثالهای عملی به شما کمک میکند تا تستهای کیفیت داده را پیادهسازی کرده، نتایج را تفسیر کنید و مشکلات رایج را دیباگ کنید تا بتوانید پایپلاینهای دادهای مستحکم و قابلاعتمادی بسازید که خطاهای دادهای را پیش از ایجاد آسیب در مراحل بعدی، شناسایی و متوقف میکنند.
اهداف یادگیری
درک اهمیت کیفیت داده: شناسایی مراحل کلیدی در پایپلاینهای داده که انجام تست کیفیت در آنها حیاتی است.
پیکربندی و پیادهسازی: نصب و تنظیم Great Expectations (هر دو نسخه متنباز و ابری) و اجرای تستهای استاندارد کیفیت داده.
تفسیر و دیباگ: تحلیل نتایج تستها، عیبیابی موارد شکستخورده (Failed tests) و اصلاح مشکلات دادهای.
ساخت پایپلاینهای مقاوم: یادگیری اصول طراحی جریانهای کاری داده که با شناسایی بهموقع ناهنجاریها، از خطاهای آتی در مدلها و گزارشها جلوگیری میکنند.
اهداف یادگیری
درک اهمیت کیفیت داده: شناسایی مراحل کلیدی در پایپلاینهای داده که انجام تست کیفیت در آنها حیاتی است.
پیکربندی و پیادهسازی: نصب و تنظیم Great Expectations (هر دو نسخه متنباز و ابری) و اجرای تستهای استاندارد کیفیت داده.
تفسیر و دیباگ: تحلیل نتایج تستها، عیبیابی موارد شکستخورده (Failed tests) و اصلاح مشکلات دادهای.
ساخت پایپلاینهای مقاوم: یادگیری اصول طراحی جریانهای کاری داده که با شناسایی بهموقع ناهنجاریها، از خطاهای آتی در مدلها و گزارشها جلوگیری میکنند.
سرفصل ها
مقدمه
- تست کیفیت دادهها با معرفی GX
مقدمهای بر تست کیفیت دادهها
- چرا کیفیت داده اهمیت دارد
- منظور ما از کیفیت داده چیست؟
- از تست دستی تا تست خودکار
- انتظارات بزرگ (GX) چیست؟
شروع کار با GX Core
- ایجاد یک زمینه داده GX
- اتصال به دادهها
- ایجاد یک منبع داده
- ایجاد یک دارایی داده
- ایجاد تعریف دستهای
- تعریف انتظارات
- اجرای اعتبارسنجیها
- استفاده از اسناد داده
اشکالزدایی و حفظ کیفیت دادهها
- شروع اقدامات با استفاده از نقاط کنترل
- درک شکستهای تست داده
- تحلیل ریشهای علل شکستهای آزمایشی
- رویکردهایی برای اشکالزدایی و رفع مشکلات کیفیت دادهها
- ایجاد انتظارات مبهم
- بهروزرسانی و حذف انتظارات در یک مجموعه انتظارات
- ایجاد انتظارات سفارشی
- نظارت مداوم بر کیفیت دادهها
ادغام GX در خطوط تولید داده
- چگونه GX در مجموعه دادههای شما جای میگیرد
- گردشهای کاری GX
- بررسی اجمالی GX Cloud
نتیجهگیری
- مراحل بعدی